chi2_contingency: expected frequencies has a zero element
Bài 4/7 · Chương 13
Lỗi và hiểu sai thường gặp
- 7 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 10
Thông báo "expected frequencies has a zero element" là lỗi chi2_contingency() của scipy báo khi bảng chéo có một hàng hay một cột toàn số 0. Khi đó một ô mong đợi bằng 0, và thống kê χ² phải chia cho ô đó. Bạn hay gặp nó khi một nhóm không ai chọn vẫn nằm trong bảng, như một món chưa bán ly nào ở cả ba chi nhánh.
Cần biết trước: kiểm định chi bình phương và bảng tần suất hai chiều với crosstab.
Bảng tra nhanh: lỗi expected frequencies và cách sửa
Bảng dưới đếm số ly theo chi nhánh và đồ uống trong một buổi sáng. Sinh tố mới lên thực đơn nên chưa ai gọi:
import pandas as pd
from scipy import stats
bang = pd.DataFrame({"cà phê": [18, 25, 30], "trà": [12, 9, 14],
"sinh tố": [0, 0, 0]},
index=["Huế", "Đà Lạt", "Hà Nội"])
stats.chi2_contingency(bang)
Dòng cuối của thông báo lỗi:
ValueError: The internally computed table of expected frequencies has a zero element at (np.int64(0), np.int64(2)).
Python gọi lỗi này là ValueError. Phần at (np.int64(0), np.int64(2)) là vị trí ô mong đợi bằng 0, đếm từ 0: hàng đầu, cột thứ ba, đúng cột sinh tố.
Nguyên nhân | Dấu hiệu | Cách sửa |
|---|---|---|
Một cột toàn 0 |
| bỏ cột: |
Một hàng toàn 0 |
| bỏ hàng: |
| cột kiểu | bỏ cột toàn 0 như trên |
Nhiều ô mong đợi dưới 5 (không báo lỗi) |
| gộp nhóm ít người, hay kiểm định chính xác Fisher cho bảng 2 × 2 |
Ô mong đợi của hàng i, cột j là tổng hàng i nhân tổng cột j chia tổng cả bảng, như bài kiểm định chi bình phương, bài mẹ của trang này, đã tính. Cột tổng bằng 0 nên mọi ô mong đợi của cột đó bằng 0.
Bỏ hàng, cột toàn 0 rồi kiểm định
Một nhóm không có quan sát nào không cho thông tin gì về việc hai biến có liên quan hay không, nên bỏ nó đi là đúng. Lọc theo tổng cột rồi chạy lại:
import pandas as pd
from scipy import stats
bang = pd.DataFrame({"cà phê": [18, 25, 30], "trà": [12, 9, 14],
"sinh tố": [0, 0, 0]},
index=["Huế", "Đà Lạt", "Hà Nội"])
gon = bang.loc[:, bang.sum(axis=0) > 0]
kq = stats.chi2_contingency(gon)
print(list(gon.columns))
print(round(kq.statistic, 2), kq.dof, round(kq.pvalue, 3))
print(kq.expected_freq.round(1))KẾT QUẢ
['cà phê', 'trà']
1.34 2 0.511
[[20.3 9.7]
[23. 11. ]
[29.7 14.3]]χ² = 1,34 với 2 bậc tự do, p = 0,511: ở mức ý nghĩa 5%, dữ liệu này chưa đủ bằng chứng để nói lựa chọn cà phê hay trà khác nhau giữa ba chi nhánh. Mọi ô mong đợi đều từ 9,7 trở lên, nên phép xấp xỉ χ² dùng được. Thử viết >= 0 thay cho > 0: chương trình báo lại đúng lỗi ở đầu trang.
Cột toàn 0 hay đến từ pd.crosstab() khi cột đồ uống có kiểu category và bạn gọi với dropna=False: pandas giữ cả những nhóm không có dòng nào. Bài crosstab() nói các tham số đó.
Quy tắc ô mong đợi từ 5 trở lên
Không có ô 0 thì scipy chạy, nhưng p-value của χ² chỉ là xấp xỉ, và xấp xỉ kém khi ô mong đợi nhỏ. Quy tắc quen dùng: mọi ô mong đợi từ 5 trở lên; nới hơn, không ô nào dưới 1 và không quá 20% số ô dưới 5. Một khảo sát nhỏ ở hai chi nhánh cho thấy điều đó:
import pandas as pd
from scipy import stats
bang = pd.DataFrame({"cà phê": [9, 6], "trà": [3, 5],
"sinh tố": [1, 3]}, index=["Huế", "Đà Lạt"])
kq = stats.chi2_contingency(bang)
print(kq.expected_freq.round(1))
nho = (kq.expected_freq < 5).sum()
print(nho, "trên", kq.expected_freq.size, "ô")KẾT QUẢ
[[7.2 3.9 1.9]
[7.8 4.1 2.1]]
4 trên 6 ôBốn trên sáu ô mong đợi dưới 5, quá xa mốc 20%. Đổi [1, 3] thành [6, 9] rồi chạy lại: dòng cuối in 2 trên 6 ô, vẫn quá mốc. Gộp hai đồ uống ít người chọn thành một nhóm "khác" làm ô mong đợi lớn lên, và với bảng 2 × 2 còn lại có thể đối chiếu bằng kiểm định chính xác Fisher, phép kiểm không dùng xấp xỉ:
import pandas as pd
from scipy import stats
bang = pd.DataFrame({"cà phê": [9, 6], "trà": [3, 5],
"sinh tố": [1, 3]}, index=["Huế", "Đà Lạt"])
gop = pd.DataFrame({"cà phê": bang["cà phê"],
"khác": bang["trà"] + bang["sinh tố"]})
kq = stats.chi2_contingency(gop)
print(kq.expected_freq.round(1))
print(round(kq.pvalue, 3), round(stats.fisher_exact(gop).pvalue, 3))KẾT QUẢ
[[7.2 5.8]
[7.8 6.2]]
0.322 0.252Sau khi gộp, ô mong đợi nhỏ nhất là 5,8. Hai p-value (0,322 và 0,252) cùng lớn hơn 0,05, nên ở mức ý nghĩa 5% chưa đủ bằng chứng về khác biệt giữa hai chi nhánh. Với 27 người, điều đó không có nghĩa hai chi nhánh giống nhau: mẫu nhỏ chỉ phát hiện được khác biệt lớn.
Kiểm tra nhanh
Bảng chéo ba chi nhánh nhân ba đồ uống, cột sinh tố là
[0, 0, 0]. Vì sao chi2_contingency() báo lỗi?- Vì bảng có số lẻ hàng
- Vì tổng cột sinh tố bằng 0 nên ô mong đợi của cả cột bằng 0
- Vì scipy không nhận chữ có dấu trong tên cột
Bảng 2 × 3 có bốn trên sáu ô mong đợi dưới 5. Những cách nào hợp lý?
- Gộp các nhóm ít người chọn rồi kiểm định lại
- Đổi bảng sang phần trăm theo hàng
- Với bảng 2 × 2 sau khi gộp, đối chiếu bằng
stats.fisher_exact() - Bỏ qua, vì scipy không báo lỗi
Trong ví dụ đổi sang phần trăm, vì sao p đổi từ 0,511 thành 0,122?
- Vì χ² phụ thuộc số quan sát, và phần trăm coi mỗi chi nhánh như có đúng 100 người
- Vì phần trăm làm mất cột trà
- Vì scipy làm tròn phần trăm trước khi tính
Bài tập
Bỏ hàng, cột toàn 0 rồi kiểm chi bình phương
Viết hàm p_chi2(bang) nhận một bảng chéo số đếm (DataFrame) và trả về p-value của stats.chi2_contingency() sau khi bỏ mọi hàng có tổng bằng 0 và mọi cột có tổng bằng 0. Gọi chi2_contingency() với tham số mặc định.
Hàm không sửa bảng bang của nơi gọi. Ví dụ: bảng ba chi nhánh của trang (có cột sinh tố toàn 0) cho p khoảng 0,511.
Trả về: p-value, một float.
import pandas as pd
from scipy import stats
def p_chi2(bang):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Lỗi expected frequencies has a zero element nghĩa là bảng có một hàng hay một cột toàn 0.
Vị trí
at (…)trong thông báo chỉ ô mong đợi bằng 0, đếm từ 0.Bỏ hàng, cột toàn 0 bằng
bang.loc[bang.sum(axis=1) > 0, bang.sum(axis=0) > 0].Ô mong đợi nên từ 5 trở lên; nhiều ô nhỏ hơn thì gộp nhóm hay dùng Fisher cho bảng 2 × 2.
Luôn truyền số đếm; phần trăm làm χ² và p-value sai mà không báo lỗi.
Câu hỏi thường gặp
Chi square expected frequency less than 5 thì còn dùng được không?
Một hai ô hơi dưới 5 trong bảng lớn thường vẫn tạm được theo mốc 20%; nhiều ô nhỏ thì không. In kq.expected_freq để đếm, gộp nhóm ít người, hay thu thêm dữ liệu. Bài kiểm định chi bình phương nói các giả định của phép kiểm.
Có nên cộng 0,5 vào mọi ô để hết số 0 không?
Không. Cộng một hằng số vào mọi ô là bịa thêm quan sát, đổi χ² và p-value theo con số bạn chọn. Nhóm không có ai thì bỏ đi; nhóm ít người thì gộp.
chi2_contingency có tự hiệu chỉnh gì với bảng 2 × 2 không?
Có. Với bảng 2 × 2, chi2_contingency() mặc định hiệu chỉnh Yates (correction=True), làm p lớn hơn một chút. Muốn đối chiếu với cách tính tay không hiệu chỉnh thì truyền correction=False và ghi rõ trong báo cáo.
Chủ đề
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.