Sai lầm loại 1 và loại 2, lực kiểm định (power) mô phỏng
Bài 4/7 · Chương 9
Kiểm định giả thuyết: ý tưởng
- 9 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 10
Sai lầm loại 1 và loại 2 là hai cách một phép kiểm định có thể kết luận sai: loại 1 là bác bỏ H₀ khi H₀ đúng, loại 2 là không bác bỏ H₀ khi H₀ sai. Cách tính cả hai đều quy về một câu hỏi: quy tắc bác bỏ của bạn bác bỏ bao nhiêu phần trăm số thí nghiệm, khi H₀ đúng và khi H₁ đúng. Bài này đếm tay, rồi mô phỏng 2.000 thí nghiệm để thấy vì sao mẫu nhỏ hay bỏ sót hiệu ứng thật.
Cần biết trước: mức ý nghĩa, p-value, kiểm định giả thuyết, phân phối mẫu, mô phỏng Monte Carlo và ký hiệu thống kê.
Hai loại sai lầm và lực kiểm định
Mỗi phép kiểm định kết thúc bằng một trong hai quyết định, còn sự thật cũng có hai khả năng, nên có bốn ô:
H₀ đúng | H₀ sai (H₁ đúng) | |
|---|---|---|
Bác bỏ H₀ | Sai lầm loại I, xác suất α | Đúng, xác suất 1 − β (lực) |
Không bác bỏ H₀ | Đúng, xác suất 1 − α | Sai lầm loại II, xác suất β |
Sai lầm loại I (type I error): bác bỏ nhầm một H₀ đúng, báo "có hiệu ứng" khi không có. Xác suất của nó là α, mức ý nghĩa bạn đặt.
Sai lầm loại II (type II error): không bác bỏ một H₀ sai, bỏ sót hiệu ứng có thật. Xác suất của nó viết β.
Lực kiểm định (power) là 1 − β: xác suất phép kiểm định phát hiện được hiệu ứng khi hiệu ứng có thật.
Trong đó:
R (
bac_bo): biến cố quy tắc bác bỏ H₀, ví dụ p ≤ α."∣ H₁": xác suất tính khi H₁ đúng, với một hiệu ứng cụ thể (
p_that).β (
1 - luc): xác suất sai lầm loại II.
β không có một con số duy nhất: nó phụ thuộc hiệu ứng thật lớn cỡ nào và cỡ mẫu. Vì vậy câu hỏi luôn là "lực bao nhiêu khi tỉ lệ thật là 0,6 và tung 100 lần".
Tính tay α và lực cho mười lần tung
Quay lại đồng xu kỷ niệm, H₀: p = 0,5, hai phía. Với 10 lần tung, đặt quy tắc: bác bỏ H₀ khi số mặt ngửa T ≥ 9 hay T ≤ 1.
α là xác suất bác bỏ khi đồng xu cân: số dãy có T = 0, 1, 9, 10 là 1 + 10 + 10 + 1 = 22, nên α = 22/1.024 ≈ 0,021.
Lực khi đồng xu thật ra ngửa 70% số lần là xác suất T rơi vào {0, 1, 9, 10} khi p = 0,7. Mỗi giá trị có xác suất C(10, T) · 0,7ᵀ · 0,3¹⁰⁻ᵀ:
T | C(10, T) | Xác suất khi p = 0,7 |
|---|---|---|
0 | 1 | 0,0000 |
1 | 10 | 0,0001 |
9 | 10 | 0,1211 |
10 | 1 | 0,0282 |
Cộng | 0,1495 |
Lực chỉ khoảng 15%: một đồng xu lệch hẳn sang 70% mà mười lần tung bỏ sót nó 85% số lần. Python kiểm lại cả hai con số bằng math.comb, rồi bằng stats.binom của scipy:
import math
from scipy import stats
n, p_that = 10, 0.7
mien = [0, 1, 9, 10]
alpha = sum(math.comb(n, t) for t in mien) / 2 ** n
luc = sum(math.comb(n, t) * p_that**t * (1 - p_that) ** (n - t)
for t in mien)
tren = stats.binom.sf(8, n, p_that)
luc_scipy = tren + stats.binom.cdf(1, n, p_that)
print(f"α = {alpha:.4f}")
print(f"Lực = {luc:.4f}, scipy: {luc_scipy:.4f}, β = {1 - luc:.4f}")KẾT QUẢ
α = 0.0215
Lực = 0.1495, scipy: 0.1495, β = 0.8505stats.binom.sf(8, n, p) là P(T > 8), tức P(T ≥ 9). Đổi 0.7 thành 0.9 rồi chạy lại: dòng cuối in Lực = 0.7361, scipy: 0.7361, β = 0.2639. Hiệu ứng càng lớn thì càng dễ thấy.
Mô phỏng 2.000 thí nghiệm: cỡ mẫu và lực
Giờ dùng quy tắc thật của bài trước: bác bỏ khi p-value của binomtest() ≤ 0,05. Với mỗi cỡ mẫu n, ta tính sẵn p-value cho mọi T từ 0 tới n, rồi mô phỏng 2.000 thí nghiệm khi H₀ đúng (p = 0,5) và 2.000 thí nghiệm khi đồng xu lệch nhẹ (p = 0,6):
import numpy as np
from scipy import stats
rng = np.random.default_rng(70)
for n in [20, 50, 100, 200]:
p_t = [stats.binomtest(t, n).pvalue for t in range(n + 1)]
bac_bo = np.array(p_t) <= 0.05
t0 = rng.binomial(n, 0.5, size=2_000)
t1 = rng.binomial(n, 0.6, size=2_000)
print(f"n = {n:>3}: loại I {bac_bo[t0].mean():.3f},"
f" lực {bac_bo[t1].mean():.3f}")KẾT QUẢ
n = 20: loại I 0.042, lực 0.123
n = 50: loại I 0.029, lực 0.246
n = 100: loại I 0.037, lực 0.461
n = 200: loại I 0.043, lực 0.788bac_bo[t0] tra quyết định cho từng thí nghiệm theo số mặt ngửa của nó. Cột loại I nằm quanh hay dưới 0,05 ở mọi n: α không vượt 5% ở cỡ mẫu nào, và thường thấp hơn một chút vì kiểm định nhị thức là rời rạc: số mặt ngửa là số nguyên nên miền bác bỏ không chọn được đúng 5%. Cột lực tăng mạnh theo n: với 20 lần tung, đồng xu lệch 60% bị bỏ sót gần 9 trên 10 lần; với 200 lần tung, phần lớn thí nghiệm phát hiện được nó.
Hình dưới vẽ lực đúng (không mô phỏng) theo nhiều cỡ mẫu hơn, tính bằng tổng stats.binom.pmf trên miền bác bỏ:
import numpy as np
import matplotlib.pyplot as plt
from scipy import stats
cac_n = [10, 20, 50, 100, 200, 400]
luc = []
for n in cac_n:
t = np.arange(n + 1)
p_t = np.array([stats.binomtest(k, n).pvalue for k in t])
luc.append(stats.binom.pmf(t, n, 0.6)[p_t <= 0.05].sum())
fig, ax = plt.subplots(figsize=(6.4, 4), layout="constrained")
ax.bar([str(n) for n in cac_n], luc)
ax.axhline(0.8, color="black", linestyle="--")
ax.set(xlabel="Số lần tung n", ylabel="Lực khi tỉ lệ thật là 0,6")
plt.show()Nhiều nghiên cứu chọn cỡ mẫu sao cho lực đạt 0,8 với hiệu ứng nhỏ nhất họ quan tâm; đó là ý của power analysis. Ở đây, muốn thấy đồng xu 60% với lực 0,8 cần khoảng 200 lần tung. Lực không tăng đều theo n mà nhảy lên xuống một chút, cũng vì số mặt ngửa là số nguyên.
Kiểm tra nhanh
Một bộ lọc thư rác kiểm định H₀ "thư này bình thường". Nó chuyển nhầm thư của sếp vào mục rác. Đó là sai lầm gì?
- Sai lầm loại I
- Sai lầm loại II
- Không sai lầm, vì bộ lọc đã bác bỏ H₀
Những câu nào đúng về α, β và lực?
- α là xác suất bác bỏ H₀ khi H₀ đúng
- α + β luôn bằng 1
- Với cùng α, tăng cỡ mẫu thường làm β giảm
- Lực bằng 1 − β, tính với một hiệu ứng cụ thể
Sau
from scipy import stats,print(round(stats.binom.sf(8, 10, 0.5) + stats.binom.cdf(1, 10, 0.5), 4))in ra gì?0.02150.14950.0107
Thử 20 lần tung một đồng xu nghi lệch, được p = 0,50. Câu nào đọc đúng?
- Đồng xu cân, vì p lớn
- Có 50% khả năng đồng xu cân
- Chưa đủ bằng chứng để bác bỏ H₀; 20 lần tung có lực thấp nên dễ bỏ sót một độ lệch vừa phải
Bài tập
Mô phỏng lực của một quy tắc bác bỏ
Quy tắc của bạn bác bỏ H₀ "đồng xu cân" khi số mặt ngửa T trong n lần tung lệch khỏi n/2 ít nhất c, tức |T − n/2| ≥ c. Viết thân hàm luc_kiem_dinh(n, c, p_that, so_lan, rng): mô phỏng so_lan thí nghiệm bằng rng.binomial(), mỗi thí nghiệm tung n lần một đồng xu có tỉ lệ ngửa thật p_that, rồi trả về tỉ lệ thí nghiệm mà quy tắc bác bỏ H₀.
Không dùng math.comb() hay stats.binom (.pmf(), .cdf(), .sf()) để tính đúng. rng do nơi gọi tạo: không gọi np.random.seed(), không tạo bộ sinh số mới bằng np.random.default_rng() trong hàm.
Trả về: tỉ lệ thí nghiệm bị bác bỏ, một float từ 0 đến 1. Khi p_that là 0,5, số này là α của quy tắc.
Ví dụ luc_kiem_dinh(10, 4, 0.7, 20000, np.random.default_rng(1)) cho một số gần 0,149.
import numpy as np
def luc_kiem_dinh(n, c, p_that, so_lan, rng):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Sai lầm loại I: bác bỏ H₀ khi H₀ đúng, xác suất α. Sai lầm loại II: không bác bỏ H₀ khi H₀ sai, xác suất β.
Lực kiểm định là 1 − β, xác suất phát hiện một hiệu ứng có thật, tính với một hiệu ứng và một cỡ mẫu cụ thể.
Tính được bằng cách đếm trên miền bác bỏ (
stats.binom), hay mô phỏng nhiều thí nghiệm rồi đếm tỉ lệ bác bỏ.Với cùng α, mẫu lớn hơn và hiệu ứng lớn hơn cho lực cao hơn; đồng xu 60% cần khoảng 200 lần tung để có lực 0,8.
p > α trên mẫu nhỏ chỉ là chưa đủ bằng chứng, không cho thấy không có hiệu ứng.
Câu hỏi thường gặp
Giảm α có làm giảm cả hai loại sai lầm không?
Không. Với cùng cỡ mẫu, α nhỏ hơn làm miền bác bỏ hẹp lại, nên sai lầm loại I ít đi nhưng β tăng lên. Muốn giảm cả hai cùng lúc thì tăng cỡ mẫu.
Power analysis dùng để làm gì?
Để chọn cỡ mẫu trước khi thu dữ liệu: bạn nêu hiệu ứng nhỏ nhất đáng quan tâm, α và lực mong muốn (thường 0,8), rồi tìm n nhỏ nhất đạt lực đó. Mô phỏng như bài này làm được cho mọi phép kiểm định.
Sai lầm loại 1 hay loại 2 nguy hiểm hơn?
Tùy cái giá của mỗi loại trong tình huống của bạn. Báo động cháy nhầm (loại I) phiền nhưng rẻ, bỏ sót đám cháy (loại II) đắt, nên người ta chấp nhận α cao hơn. Nghiên cứu thuốc thì ngược lại.
Chủ đề
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.