Bỏ qua đến nội dung chính
Mục lục

So sánh nhiều lần, p-hacking và hiệu chỉnh Bonferroni

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 12/14 · Chương 10

Các kiểm định thường dùng

  • 7 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

P-hacking là thử nhiều kiểm định, nhiều cách cắt dữ liệu hay nhiều biến, rồi chỉ báo cáo cái cho p < 0,05. Mỗi kiểm định có 5% cơ hội báo nhầm, nên chạy đủ nhiều thì gần như chắc chắn có kết quả "có ý nghĩa". Cách chữa là hiệu chỉnh: Bonferroni chia α cho số kiểm định, còn Benjamini-Hochberg kiểm soát tỉ lệ phát hiện sai.

Cần biết trước: sai lầm loại 1 và loại 2 và mức ý nghĩa.

Chạy m kiểm định thì báo nhầm bao nhiêu

Nếu H₀ đúng cho cả m kiểm định độc lập, mỗi cái có xác suất α báo nhầm. Xác suất không cái nào báo nhầm là (1 − α) mũ m, nên:

FWER=1−(1−α)m\text{FWER} = 1 - (1 - \alpha)^m

Trong đó:

  • α (alpha): mức ý nghĩa của từng kiểm định, thường 0,05.

  • m (m): số kiểm định chạy, tức số phép so sánh nhiều lần (multiple comparisons).

  • FWER (fwer): tỉ lệ sai lầm của cả họ (family-wise error rate), khả năng có ít nhất một dương tính giả.

Với α = 0,05: m = 1 cho 5%, m = 10 cho 40%, m = 20 cho 64%. Hai mươi kiểm định trên dữ liệu không có gì vẫn có khoảng hai phần ba cơ hội cho ít nhất một "phát hiện".

python
alpha = 0.05
for m in [1, 3, 10, 20, 50]:
    fwer = 1 - (1 - alpha) ** m
    print("m =", m, "| ít nhất một lần báo nhầm:", round(fwer, 3))

KẾT QUẢ

m = 1 | ít nhất một lần báo nhầm: 0.05
m = 3 | ít nhất một lần báo nhầm: 0.143
m = 10 | ít nhất một lần báo nhầm: 0.401
m = 20 | ít nhất một lần báo nhầm: 0.642
m = 50 | ít nhất một lần báo nhầm: 0.923

Đổi alpha = 0.05 thành alpha = 0.01 rồi chạy lại: hạ mức ý nghĩa thì dòng m = 20 còn m = 20 | ít nhất một lần báo nhầm: 0.182.

Mô phỏng 20 kiểm định không có hiệu ứng

Một cửa hàng trực tuyến so 20 chỉ số (thời gian xem trang, số lần bấm, giá trị giỏ…) giữa hai nhóm khách, mỗi nhóm 30 người. Mọi chỉ số được sinh từ cùng một phân phối, nên không có khác biệt nào thật. Lặp 2.000 lần bằng mô phỏng NumPy:

python
import numpy as np
from scipy import stats

rng = np.random.default_rng(85)
a = rng.normal(0, 1, size=(2000, 20, 30))
b = rng.normal(0, 1, size=(2000, 20, 30))
p = stats.ttest_ind(a, b, axis=2).pvalue
it_nhat_mot = (p.min(axis=1) <= 0.05).mean()
sau_bonf = (p.min(axis=1) <= 0.05 / 20).mean()
print("Có ít nhất một p <= 0.05:", round(it_nhat_mot, 3))
print("Sau Bonferroni:", round(sau_bonf, 3))
so_p_nho = (p <= 0.05).sum(axis=1).mean()
print("Trung bình số p <= 0.05:", round(so_p_nho, 2))

KẾT QUẢ

Có ít nhất một p <= 0.05: 0.647
Sau Bonferroni: 0.056
Trung bình số p <= 0.05: 0.99

Lần chạy này: 64,7% số lần có ít nhất một chỉ số "có ý nghĩa", khớp con số 0,642 của công thức, và trung bình mỗi lần có một chỉ số như vậy. Sau Bonferroni còn 5,6%. Đổi hạt giống thành default_rng(15) thì ba dòng in 0.639, 0.047 và 0.97.

Bonferroni và Benjamini-Hochberg

Hiệu chỉnh Bonferroni rất đơn giản: so mỗi p với α / m. Nó giữ tỉ lệ sai lầm của cả họ ở α, nhưng với m lớn ngưỡng rất nhỏ và bỏ lỡ nhiều hiệu ứng thật.

Thủ tục Benjamini-Hochberg (BH) kiểm soát một thứ khác: tỉ lệ phát hiện sai (false discovery rate), tức trong các kiểm định bị bác bỏ, trung bình bao nhiêu phần là báo nhầm. Cách làm: sắp p từ nhỏ tới lớn, p thứ k (đánh hạng từ 1) so với ngưỡng k / m · α. Tìm hạng k lớn nhất còn đạt ngưỡng, rồi bác bỏ mọi kiểm định có hạng từ 1 tới k, kể cả những cái trước đó có lỡ vượt ngưỡng riêng. scipy.stats.false_discovery_control(p) trả về các p đã hiệu chỉnh: bác bỏ khi p hiệu chỉnh ≤ α.

Mười p-value của mười thay đổi trên trang (số tự đặt cho bài này):

python
import numpy as np
from scipy import stats

p = np.array([0.042, 0.008, 0.36, 0.074, 0.001,
              0.205, 0.039, 0.06, 0.212, 0.041])
m = len(p)
print("Không hiệu chỉnh:", np.flatnonzero(p <= 0.05).tolist())
print("Bonferroni:", np.flatnonzero(p <= 0.05 / m).tolist())
p_bh = stats.false_discovery_control(p, method="bh")
print("BH:", np.flatnonzero(p_bh <= 0.05).tolist())
print("p hiệu chỉnh BH:", p_bh.round(3).tolist())

KẾT QUẢ

Không hiệu chỉnh: [0, 1, 4, 6, 9]
Bonferroni: [4]
BH: [1, 4]
p hiệu chỉnh BH: [0.084, 0.04, 0.36, 0.106, 0.01, 0.236, 0.084, 0.1, 0.236, 0.084]

Năm thay đổi có p ≤ 0,05 khi không hiệu chỉnh. Bonferroni (ngưỡng 0,005) chỉ giữ thay đổi số 4 (p = 0,001). BH giữ thêm số 1 (p = 0,008 so với ngưỡng 2 / 10 · 0,05 = 0,01). Ba thay đổi có p từ 0,039 đến 0,042 không qua được hiệu chỉnh nào: một mình mỗi cái trông "có ý nghĩa", nhưng giữa mười phép thử thì chúng rất có thể chỉ là dao động.

Dùng Bonferroni khi một lần báo nhầm là tốn kém (ví dụ quyết định đổi cả hệ thống). Dùng BH khi bạn sàng lọc nhiều ứng viên để kiểm tiếp và chấp nhận một phần nhỏ báo nhầm.

Kiểm tra nhanh

  1. Chạy 5 kiểm định độc lập, mỗi cái α = 0,05, H₀ đúng cho cả năm. Khả năng có ít nhất một lần báo nhầm xấp xỉ bao nhiêu?

    • 0,05
    • 0,25
    • 0,23
    • 0,01
  2. Có 8 kiểm định với α = 0,05. Theo Bonferroni, những p-value nào bị bác bỏ?

    • 0,004
    • 0,02
    • 0,006
    • 0,0071
  3. Bạn đọc báo cáo: "Khách dùng điện thoại vào cuối tuần ở miền Trung chi nhiều hơn (p = 0,03)". Điều gì nên hỏi trước tiên?

    • p = 0,03 đã đủ nhỏ chưa
    • Đã thử bao nhiêu cách chia nhóm trước khi chọn nhóm này
    • Vì sao không dùng α = 0,01
  4. Những việc nào là p-hacking?

    • Bỏ các ngày có kết quả "lạ" sau khi thấy p = 0,08
    • Ghi trước chỉ số chính và kiểm định trong kế hoạch phân tích
    • Chạy t-test, thấy p = 0,07, đổi sang Mann-Whitney vì nó cho p = 0,04
    • Thu thêm dữ liệu từng ngày và dừng ngay khi p < 0,05
Đúng hết lần đầu +15 XP

Bài tập

Viết thủ tục Benjamini-Hochberg

p_values là list các p-value (ít nhất một), alpha là mức tỉ lệ phát hiện sai. Viết thân hàm bh(p_values, alpha) theo thủ tục của bài. Sắp các p từ nhỏ tới lớn và so p hạng k (từ 1) với ngưỡng k / m · alpha. Tìm hạng k lớn nhất có p ≤ ngưỡng, rồi bác bỏ mọi kiểm định có hạng từ 1 tới k.

Không dùng false_discovery_control(). Hàm không sửa list của nơi gọi.

Trả về: một list các vị trí (theo thứ tự trong p_values, tăng dần) của các kiểm định bị bác bỏ.

Ví dụ bh([0.042, 0.008, 0.36, 0.074, 0.001, 0.205, 0.039, 0.06, 0.212, 0.041], 0.05) cho [1, 4].

python
def bh(p_values, alpha):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • m kiểm định độc lập ở mức α cho khả năng ít nhất một dương tính giả 1 − (1 − α) mũ m: 64% với m = 20.

  • Bonferroni: so mỗi p với α / m, giữ tỉ lệ sai lầm của cả họ ở α nhưng bảo thủ.

  • Benjamini-Hochberg: stats.false_discovery_control(p) rồi bác bỏ khi p hiệu chỉnh ≤ α; kiểm soát tỉ lệ phát hiện sai.

  • P-hacking là để p quyết định cách cắt dữ liệu, chọn kiểm định hay lúc dừng.

  • Viết kế hoạch phân tích trước, đếm mọi phép thử và hiệu chỉnh theo số đó.

Câu hỏi thường gặp

P hacking có phải gian lận không?

Thường không cố ý: mỗi lựa chọn riêng trông hợp lí. Nhưng kết quả cuối cùng có p-value không còn nghĩa như bài p-value mô tả, vì nó là p nhỏ nhất của nhiều phép thử.

Hiệu chỉnh Bonferroni có cần cho Tukey HSD không?

Không. Tukey đã giữ tỉ lệ sai lầm của cả họ khi so mọi cặp trung bình, xem bài Tukey HSD. Bonferroni hay BH dùng khi ghép các kiểm định khác loại hay các cặp Mann-Whitney.

Multiple comparisons trong A/B test với nhiều chỉ số xử lí thế nào?

Chọn trước một chỉ số chính để quyết định và kiểm nó ở α. Các chỉ số phụ báo kèm, có hiệu chỉnh BH, và đọc như gợi ý cho lần thử sau. Bài lỗi thường gặp khi A/B test có thêm các bẫy khác.

Chủ đề

p hacking

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập