Goodness of fit test: kiểm định phù hợp với chisquare()
Bài 7/14 · Chương 10
Các kiểm định thường dùng
- 8 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 11
Kiểm định phù hợp chi bình phương (goodness of fit test) kiểm xem số đếm của một biến phân loại có khớp với một phân phối cho trước không. Ví dụ: một xúc xắc có cân, hay doanh số các món có đúng tỉ lệ dự kiến. Cách tính: lấy tần số mong đợi E = n nhân tỉ lệ, cộng (O − E)² / E, rồi tra p-value.
Cần biết trước: kiểm định chi bình phương độc lập và đếm giá trị bằng value_counts().
Công thức phù hợp
Bản độc lập so hai biến với nhau. Bản phù hợp chỉ có một biến chia k nhóm, và H₀ là tỉ lệ thật của các nhóm bằng những tỉ lệ cho trước. Với n lần quan sát, nhóm thứ i mong đợi E = n nhân tỉ lệ của nó:
Trong đó:
k (
len(O)): số nhóm, như sáu mặt xúc xắc.Oᵢ (
O): số lần quan sát được ở nhóm i.Eᵢ (
E): số lần mong đợi ở nhóm i nếu H₀ đúng,n * ti_le.χ² (
x2): dưới H₀, nó gần phân phối chi bình phương với k − 1 bậc tự do.
Mất một bậc tự do vì tổng các O bị buộc bằng n: biết k − 1 nhóm là biết nhóm cuối. Điều kiện giống bản độc lập: từng E từ khoảng 5 trở lên.
Tính tay: 60 lần gieo một xúc xắc
Bạn gieo một xúc xắc nhựa 60 lần và đếm được (số tự đặt cho bài này):
Mặt | 1 | 2 | 3 | 4 | 5 | 6 |
|---|---|---|---|---|---|---|
O | 5 | 8 | 9 | 8 | 10 | 20 |
E | 10 | 10 | 10 | 10 | 10 | 10 |
(O − E)² / E | 2,5 | 0,4 | 0,1 | 0,4 | 0 | 10 |
H₀: sáu mặt cùng xác suất một phần sáu, α = 0,05. χ² = 13,4 với 5 bậc tự do. Mặt 6 đóng góp 10 trong 13,4.
from scipy.stats import chi2
O = [5, 8, 9, 8, 10, 20]
n = sum(O)
E = n / 6
x2 = sum((o - E) ** 2 / E for o in O)
df = len(O) - 1
print("E mỗi mặt:", E)
print("chi2 =", round(x2, 2), "| df =", df)
print("p =", round(chi2.sf(x2, df), 3))KẾT QUẢ
E mỗi mặt: 10.0
chi2 = 13.4 | df = 5
p = 0.02Ở mức ý nghĩa 5%, dữ liệu đủ bằng chứng để bác bỏ H₀ rằng xúc xắc cân (χ² = 13,4, bậc tự do 5, p = 0,020): mặt 6 ra 20 lần, gấp đôi mong đợi.
Đổi 10, 20] thành 10, 14] rồi chạy lại: chỉ còn 54 lần gieo, E thành 9 và dòng cuối in p = 0.43.
scipy.stats.chisquare() và phân phối không đều
stats.chisquare(f_obs, f_exp) làm cả hai bước. Bỏ f_exp thì nó so với phân phối đều. Khi tỉ lệ dự kiến không đều, bạn tự nhân ra số đếm mong đợi rồi đưa vào f_exp.
File lua_chon_do_uong.csv là số giả lập của AIDev: 1.500 ly đồ uống của một quán. Giả sử khi lên thực đơn, quán dự kiến bạc xỉu 25%, cà phê sữa 30%, sinh tố bơ 15%, trà đào 30%. Số bán có khớp kế hoạch đó không?
import numpy as np
import pandas as pd
from scipy import stats
ly = pd.read_csv("lua_chon_do_uong.csv")
dem = ly["do_uong"].value_counts().sort_index()
ke_hoach = pd.Series({"Bạc xỉu": 0.25, "Cà phê sữa": 0.30,
"Sinh tố bơ": 0.15, "Trà đào": 0.30})
E = ke_hoach[dem.index] * dem.sum()
kq = stats.chisquare(dem, f_exp=E)
print(pd.DataFrame({"O": dem, "E": E}))
w = np.sqrt(kq.statistic / dem.sum())
print("chi2:", round(kq.statistic, 2), "| p:", round(kq.pvalue, 3))
print("Cohen w =", round(w, 3))KẾT QUẢ
O E
do_uong
Bạc xỉu 352 375.0
Cà phê sữa 474 450.0
Sinh tố bơ 265 225.0
Trà đào 409 450.0
chi2: 13.54 | p: 0.004
Cohen w = 0.095Ở mức ý nghĩa 5%, dữ liệu đủ bằng chứng để bác bỏ H₀ rằng tỉ lệ bán đúng kế hoạch (χ² = 13,54, bậc tự do 3, p = 0,004). Sinh tố bơ bán 17,7% thay cho 15%, trà đào 27,3% thay cho 30%. Độ lớn hiệu ứng (effect size) Cohen's w = √(χ² / n) ≈ 0,095 là nhỏ: lệch có thật nhưng chỉ vài điểm phần trăm, đủ để chỉnh lượng nguyên liệu, chưa đủ để đổi thực đơn. sort_index() và ke_hoach[dem.index] giữ cho O và E cùng thứ tự món.
Mô phỏng một xúc xắc cân
p = 0,020 nghĩa là: nếu H₀ đúng, xác suất có được kết quả lệch ít nhất như thế này là p. Để thấy điều đó, cho NumPy gieo một xúc xắc cân 60 lần, lặp 10.000 lượt, đếm bao nhiêu lượt χ² đạt từ 13,4 trở lên. integers(1, 7) của NumPy random rút số nguyên từ 1 đến 6:
import numpy as np
rng = np.random.default_rng(80)
gieo = rng.integers(1, 7, size=(10_000, 60))
O = np.stack([(gieo == mat).sum(axis=1) for mat in range(1, 7)],
axis=1)
x2 = ((O - 10) ** 2 / 10).sum(axis=1)
print("Tỉ lệ chi2 >= 13.4:", round((x2 >= 13.4).mean(), 3))KẾT QUẢ
Tỉ lệ chi2 >= 13.4: 0.018Lần chạy này cho 0,018, sát p = 0,020. Đổi hạt giống thành default_rng(10) thì in 0.023: dao động quanh cùng giá trị. Nghĩa là cứ khoảng 50 xúc xắc cân thì có một chiếc cho kết quả lệch cỡ này, nên một lần p = 0,020 chưa phải bằng chứng tuyệt đối.
Kiểm tra nhanh
Gieo một xúc xắc 120 lần. Bậc tự do của kiểm định phù hợp với phân phối đều là bao nhiêu?
- 6
- 119
- 5
- 10
Những cách nào gọi đúng chisquare() cho số đếm O = [30, 50, 20] với tỉ lệ dự kiến 0,3, 0,5, 0,2?
stats.chisquare([30, 50, 20], f_exp=[30, 50, 20])stats.chisquare([30, 50, 20], f_exp=[0.3, 0.5, 0.2])stats.chisquare([30, 50, 20], f_exp=np.array([0.3, 0.5, 0.2]) * 100)stats.chisquare([0.3, 0.5, 0.2], f_exp=[30, 50, 20])
Kiểm định phù hợp cho p = 0,35 với α = 0,05. Câu nào đúng?
- Xúc xắc chắc chắn cân
- Chấp nhận H₀
- Ở mức ý nghĩa 5%, chưa đủ bằng chứng để bác bỏ H₀; xúc xắc lệch nhẹ vẫn có thể cho kết quả này
- Xác suất xúc xắc cân là 35%
Quán bán 30.000 ly, kiểm định phù hợp cho p < 0,001 nhưng Cohen's w = 0,02. Nên đọc thế nào?
- Lệch rất lớn vì p rất nhỏ
- Lệch có thật về thống kê nhưng rất nhỏ; mẫu lớn làm p nhỏ
- Kết quả sai vì w phải lớn khi p nhỏ
Bài tập
Viết hàm kiểm định phù hợp
quan_sat là list số đếm của k nhóm (k ít nhất 2), ti_le là list k tỉ lệ dương cộng lại bằng 1, cùng thứ tự nhóm. Viết thân hàm phu_hop(quan_sat, ti_le): tính E = tổng số đếm nhân tỉ lệ, χ² theo công thức của bài, rồi p-value bằng chi2.sf() với k − 1 bậc tự do.
Không dùng chisquare() hay power_divergence(). Hàm không sửa list của nơi gọi.
Trả về: p-value, một float.
Ví dụ phu_hop([5, 8, 9, 8, 10, 20], [1 / 6] * 6) cho khoảng 0.0199.
import numpy as np
from scipy.stats import chi2
def phu_hop(quan_sat, ti_le):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Kiểm định phù hợp so số đếm của một biến với các tỉ lệ cho trước: E = n nhân tỉ lệ.
χ² = Σ (O − E)² / E với k − 1 bậc tự do; cần từng E từ khoảng 5 trở lên.
stats.chisquare(O)so với phân phối đều;f_exp=nhận số đếm mong đợi cùng tổng với O, không nhận tỉ lệ.Giữ O và E cùng thứ tự nhóm, chẳng hạn bằng
sort_index().Báo kèm Cohen's w = √(χ² / n): mẫu lớn cho p nhỏ cả khi lệch nhỏ.
Câu hỏi thường gặp
Chisquare python khác chi2_contingency thế nào?
chisquare() nhận một dãy số đếm và so với tỉ lệ cho trước. chi2_contingency() nhận một bảng hai chiều và kiểm hai biến có độc lập không, như ở bài kiểm định chi bình phương độc lập.
Tỉ lệ mong đợi lấy từ chính dữ liệu thì sao?
Mỗi tham số ước lượng từ dữ liệu làm mất thêm một bậc tự do. Truyền ddof= cho chisquare(): chẳng hạn ước lượng một tham số rồi kiểm, stats.chisquare(O, f_exp=E, ddof=1).
Kiểm định một biến số liên tục có theo phân phối chuẩn không thì dùng gì?
Chia khoảng rồi đếm có thể làm, nhưng kết quả phụ thuộc cách chia. Nên dùng Shapiro-Wilk hay biểu đồ Q-Q ở bài kiểm định phân phối chuẩn.
Chủ đề
Dữ liệu của bài
- Tải xuống
lua_chon_do_uong.csv
CSV · 52.35 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.