Bỏ qua đến nội dung chính
Mục lục

Sai lầm loại 1 và loại 2, lực kiểm định (power) mô phỏng

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 4/7 · Chương 9

Kiểm định giả thuyết: ý tưởng

  • 9 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Sai lầm loại 1 và loại 2 là hai cách một phép kiểm định có thể kết luận sai: loại 1 là bác bỏ H₀ khi H₀ đúng, loại 2 là không bác bỏ H₀ khi H₀ sai. Cách tính cả hai đều quy về một câu hỏi: quy tắc bác bỏ của bạn bác bỏ bao nhiêu phần trăm số thí nghiệm, khi H₀ đúng và khi H₁ đúng. Bài này đếm tay, rồi mô phỏng 2.000 thí nghiệm để thấy vì sao mẫu nhỏ hay bỏ sót hiệu ứng thật.

Cần biết trước: mức ý nghĩa, p-value, kiểm định giả thuyết, phân phối mẫu, mô phỏng Monte Carlo và ký hiệu thống kê.

Hai loại sai lầm và lực kiểm định

Mỗi phép kiểm định kết thúc bằng một trong hai quyết định, còn sự thật cũng có hai khả năng, nên có bốn ô:

H₀ đúng

H₀ sai (H₁ đúng)

Bác bỏ H₀

Sai lầm loại I, xác suất α

Đúng, xác suất 1 − β (lực)

Không bác bỏ H₀

Đúng, xác suất 1 − α

Sai lầm loại II, xác suất β

  • Sai lầm loại I (type I error): bác bỏ nhầm một H₀ đúng, báo "có hiệu ứng" khi không có. Xác suất của nó là α, mức ý nghĩa bạn đặt.

  • Sai lầm loại II (type II error): không bác bỏ một H₀ sai, bỏ sót hiệu ứng có thật. Xác suất của nó viết β.

  • Lực kiểm định (power) là 1 − β: xác suất phép kiểm định phát hiện được hiệu ứng khi hiệu ứng có thật.

1−β=P(R∣H1)1 - \beta = P(\text{R} \mid H_1)

Trong đó:

  • R (bac_bo): biến cố quy tắc bác bỏ H₀, ví dụ p ≤ α.

  • "∣ H₁": xác suất tính khi H₁ đúng, với một hiệu ứng cụ thể (p_that).

  • β (1 - luc): xác suất sai lầm loại II.

β không có một con số duy nhất: nó phụ thuộc hiệu ứng thật lớn cỡ nào và cỡ mẫu. Vì vậy câu hỏi luôn là "lực bao nhiêu khi tỉ lệ thật là 0,6 và tung 100 lần".

Tính tay α và lực cho mười lần tung

Quay lại đồng xu kỷ niệm, H₀: p = 0,5, hai phía. Với 10 lần tung, đặt quy tắc: bác bỏ H₀ khi số mặt ngửa T ≥ 9 hay T ≤ 1.

α là xác suất bác bỏ khi đồng xu cân: số dãy có T = 0, 1, 9, 10 là 1 + 10 + 10 + 1 = 22, nên α = 22/1.024 ≈ 0,021.

Lực khi đồng xu thật ra ngửa 70% số lần là xác suất T rơi vào {0, 1, 9, 10} khi p = 0,7. Mỗi giá trị có xác suất C(10, T) · 0,7ᵀ · 0,3¹⁰⁻ᵀ:

T

C(10, T)

Xác suất khi p = 0,7

0

1

0,0000

1

10

0,0001

9

10

0,1211

10

1

0,0282

Cộng

0,1495

Lực chỉ khoảng 15%: một đồng xu lệch hẳn sang 70% mà mười lần tung bỏ sót nó 85% số lần. Python kiểm lại cả hai con số bằng math.comb, rồi bằng stats.binom của scipy:

python
import math
from scipy import stats

n, p_that = 10, 0.7
mien = [0, 1, 9, 10]
alpha = sum(math.comb(n, t) for t in mien) / 2 ** n
luc = sum(math.comb(n, t) * p_that**t * (1 - p_that) ** (n - t)
          for t in mien)
tren = stats.binom.sf(8, n, p_that)
luc_scipy = tren + stats.binom.cdf(1, n, p_that)
print(f"α = {alpha:.4f}")
print(f"Lực = {luc:.4f}, scipy: {luc_scipy:.4f}, β = {1 - luc:.4f}")

KẾT QUẢ

α = 0.0215
Lực = 0.1495, scipy: 0.1495, β = 0.8505

stats.binom.sf(8, n, p) là P(T > 8), tức P(T ≥ 9). Đổi 0.7 thành 0.9 rồi chạy lại: dòng cuối in Lực = 0.7361, scipy: 0.7361, β = 0.2639. Hiệu ứng càng lớn thì càng dễ thấy.

Mô phỏng 2.000 thí nghiệm: cỡ mẫu và lực

Giờ dùng quy tắc thật của bài trước: bác bỏ khi p-value của binomtest() ≤ 0,05. Với mỗi cỡ mẫu n, ta tính sẵn p-value cho mọi T từ 0 tới n, rồi mô phỏng 2.000 thí nghiệm khi H₀ đúng (p = 0,5) và 2.000 thí nghiệm khi đồng xu lệch nhẹ (p = 0,6):

python
import numpy as np
from scipy import stats

rng = np.random.default_rng(70)
for n in [20, 50, 100, 200]:
    p_t = [stats.binomtest(t, n).pvalue for t in range(n + 1)]
    bac_bo = np.array(p_t) <= 0.05
    t0 = rng.binomial(n, 0.5, size=2_000)
    t1 = rng.binomial(n, 0.6, size=2_000)
    print(f"n = {n:>3}: loại I {bac_bo[t0].mean():.3f},"
          f" lực {bac_bo[t1].mean():.3f}")

KẾT QUẢ

n =  20: loại I 0.042, lực 0.123
n =  50: loại I 0.029, lực 0.246
n = 100: loại I 0.037, lực 0.461
n = 200: loại I 0.043, lực 0.788

bac_bo[t0] tra quyết định cho từng thí nghiệm theo số mặt ngửa của nó. Cột loại I nằm quanh hay dưới 0,05 ở mọi n: α không vượt 5% ở cỡ mẫu nào, và thường thấp hơn một chút vì kiểm định nhị thức là rời rạc: số mặt ngửa là số nguyên nên miền bác bỏ không chọn được đúng 5%. Cột lực tăng mạnh theo n: với 20 lần tung, đồng xu lệch 60% bị bỏ sót gần 9 trên 10 lần; với 200 lần tung, phần lớn thí nghiệm phát hiện được nó.

Hình dưới vẽ lực đúng (không mô phỏng) theo nhiều cỡ mẫu hơn, tính bằng tổng stats.binom.pmf trên miền bác bỏ:

python
import numpy as np
import matplotlib.pyplot as plt
from scipy import stats

cac_n = [10, 20, 50, 100, 200, 400]
luc = []
for n in cac_n:
    t = np.arange(n + 1)
    p_t = np.array([stats.binomtest(k, n).pvalue for k in t])
    luc.append(stats.binom.pmf(t, n, 0.6)[p_t <= 0.05].sum())
fig, ax = plt.subplots(figsize=(6.4, 4), layout="constrained")
ax.bar([str(n) for n in cac_n], luc)
ax.axhline(0.8, color="black", linestyle="--")
ax.set(xlabel="Số lần tung n", ylabel="Lực khi tỉ lệ thật là 0,6")
plt.show()
Cột lực kiểm định theo số lần tung khi tỉ lệ ngửa thật là 0,6: rất thấp ở 10 và 20 lần, khoảng một phần tư ở 50, gần một nửa ở 100, gần 0,8 ở 200 và gần 1 ở 400; đường đứt ngang ở mức 0,8.

Nhiều nghiên cứu chọn cỡ mẫu sao cho lực đạt 0,8 với hiệu ứng nhỏ nhất họ quan tâm; đó là ý của power analysis. Ở đây, muốn thấy đồng xu 60% với lực 0,8 cần khoảng 200 lần tung. Lực không tăng đều theo n mà nhảy lên xuống một chút, cũng vì số mặt ngửa là số nguyên.

Kiểm tra nhanh

  1. Một bộ lọc thư rác kiểm định H₀ "thư này bình thường". Nó chuyển nhầm thư của sếp vào mục rác. Đó là sai lầm gì?

    • Sai lầm loại I
    • Sai lầm loại II
    • Không sai lầm, vì bộ lọc đã bác bỏ H₀
  2. Những câu nào đúng về α, β và lực?

    • α là xác suất bác bỏ H₀ khi H₀ đúng
    • α + β luôn bằng 1
    • Với cùng α, tăng cỡ mẫu thường làm β giảm
    • Lực bằng 1 − β, tính với một hiệu ứng cụ thể
  3. Sau from scipy import stats, print(round(stats.binom.sf(8, 10, 0.5) + stats.binom.cdf(1, 10, 0.5), 4)) in ra gì?

    • 0.0215
    • 0.1495
    • 0.0107
  4. Thử 20 lần tung một đồng xu nghi lệch, được p = 0,50. Câu nào đọc đúng?

    • Đồng xu cân, vì p lớn
    • Có 50% khả năng đồng xu cân
    • Chưa đủ bằng chứng để bác bỏ H₀; 20 lần tung có lực thấp nên dễ bỏ sót một độ lệch vừa phải
Đúng hết lần đầu +15 XP

Bài tập

Mô phỏng lực của một quy tắc bác bỏ

Quy tắc của bạn bác bỏ H₀ "đồng xu cân" khi số mặt ngửa T trong n lần tung lệch khỏi n/2 ít nhất c, tức |T − n/2| ≥ c. Viết thân hàm luc_kiem_dinh(n, c, p_that, so_lan, rng): mô phỏng so_lan thí nghiệm bằng rng.binomial(), mỗi thí nghiệm tung n lần một đồng xu có tỉ lệ ngửa thật p_that, rồi trả về tỉ lệ thí nghiệm mà quy tắc bác bỏ H₀.

Không dùng math.comb() hay stats.binom (.pmf(), .cdf(), .sf()) để tính đúng. rng do nơi gọi tạo: không gọi np.random.seed(), không tạo bộ sinh số mới bằng np.random.default_rng() trong hàm.

Trả về: tỉ lệ thí nghiệm bị bác bỏ, một float từ 0 đến 1. Khi p_that là 0,5, số này là α của quy tắc.

Ví dụ luc_kiem_dinh(10, 4, 0.7, 20000, np.random.default_rng(1)) cho một số gần 0,149.

python
import numpy as np


def luc_kiem_dinh(n, c, p_that, so_lan, rng):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • Sai lầm loại I: bác bỏ H₀ khi H₀ đúng, xác suất α. Sai lầm loại II: không bác bỏ H₀ khi H₀ sai, xác suất β.

  • Lực kiểm định là 1 − β, xác suất phát hiện một hiệu ứng có thật, tính với một hiệu ứng và một cỡ mẫu cụ thể.

  • Tính được bằng cách đếm trên miền bác bỏ (stats.binom), hay mô phỏng nhiều thí nghiệm rồi đếm tỉ lệ bác bỏ.

  • Với cùng α, mẫu lớn hơn và hiệu ứng lớn hơn cho lực cao hơn; đồng xu 60% cần khoảng 200 lần tung để có lực 0,8.

  • p > α trên mẫu nhỏ chỉ là chưa đủ bằng chứng, không cho thấy không có hiệu ứng.

Câu hỏi thường gặp

Giảm α có làm giảm cả hai loại sai lầm không?

Không. Với cùng cỡ mẫu, α nhỏ hơn làm miền bác bỏ hẹp lại, nên sai lầm loại I ít đi nhưng β tăng lên. Muốn giảm cả hai cùng lúc thì tăng cỡ mẫu.

Power analysis dùng để làm gì?

Để chọn cỡ mẫu trước khi thu dữ liệu: bạn nêu hiệu ứng nhỏ nhất đáng quan tâm, α và lực mong muốn (thường 0,8), rồi tìm n nhỏ nhất đạt lực đó. Mô phỏng như bài này làm được cho mọi phép kiểm định.

Sai lầm loại 1 hay loại 2 nguy hiểm hơn?

Tùy cái giá của mỗi loại trong tình huống của bạn. Báo động cháy nhầm (loại I) phiền nhưng rẻ, bỏ sót đám cháy (loại II) đắt, nên người ta chấp nhận α cao hơn. Nghiên cứu thuốc thì ngược lại.

Chủ đề

sai lầm loại 1 và loại 2

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập