So sánh nhiều lần, p-hacking và hiệu chỉnh Bonferroni
Bài 12/14 · Chương 10
Các kiểm định thường dùng
- 7 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 10
P-hacking là thử nhiều kiểm định, nhiều cách cắt dữ liệu hay nhiều biến, rồi chỉ báo cáo cái cho p < 0,05. Mỗi kiểm định có 5% cơ hội báo nhầm, nên chạy đủ nhiều thì gần như chắc chắn có kết quả "có ý nghĩa". Cách chữa là hiệu chỉnh: Bonferroni chia α cho số kiểm định, còn Benjamini-Hochberg kiểm soát tỉ lệ phát hiện sai.
Cần biết trước: sai lầm loại 1 và loại 2 và mức ý nghĩa.
Chạy m kiểm định thì báo nhầm bao nhiêu
Nếu H₀ đúng cho cả m kiểm định độc lập, mỗi cái có xác suất α báo nhầm. Xác suất không cái nào báo nhầm là (1 − α) mũ m, nên:
Trong đó:
α (
alpha): mức ý nghĩa của từng kiểm định, thường 0,05.m (
m): số kiểm định chạy, tức số phép so sánh nhiều lần (multiple comparisons).FWER (
fwer): tỉ lệ sai lầm của cả họ (family-wise error rate), khả năng có ít nhất một dương tính giả.
Với α = 0,05: m = 1 cho 5%, m = 10 cho 40%, m = 20 cho 64%. Hai mươi kiểm định trên dữ liệu không có gì vẫn có khoảng hai phần ba cơ hội cho ít nhất một "phát hiện".
alpha = 0.05
for m in [1, 3, 10, 20, 50]:
fwer = 1 - (1 - alpha) ** m
print("m =", m, "| ít nhất một lần báo nhầm:", round(fwer, 3))KẾT QUẢ
m = 1 | ít nhất một lần báo nhầm: 0.05
m = 3 | ít nhất một lần báo nhầm: 0.143
m = 10 | ít nhất một lần báo nhầm: 0.401
m = 20 | ít nhất một lần báo nhầm: 0.642
m = 50 | ít nhất một lần báo nhầm: 0.923Đổi alpha = 0.05 thành alpha = 0.01 rồi chạy lại: hạ mức ý nghĩa thì dòng m = 20 còn m = 20 | ít nhất một lần báo nhầm: 0.182.
Mô phỏng 20 kiểm định không có hiệu ứng
Một cửa hàng trực tuyến so 20 chỉ số (thời gian xem trang, số lần bấm, giá trị giỏ…) giữa hai nhóm khách, mỗi nhóm 30 người. Mọi chỉ số được sinh từ cùng một phân phối, nên không có khác biệt nào thật. Lặp 2.000 lần bằng mô phỏng NumPy:
import numpy as np
from scipy import stats
rng = np.random.default_rng(85)
a = rng.normal(0, 1, size=(2000, 20, 30))
b = rng.normal(0, 1, size=(2000, 20, 30))
p = stats.ttest_ind(a, b, axis=2).pvalue
it_nhat_mot = (p.min(axis=1) <= 0.05).mean()
sau_bonf = (p.min(axis=1) <= 0.05 / 20).mean()
print("Có ít nhất một p <= 0.05:", round(it_nhat_mot, 3))
print("Sau Bonferroni:", round(sau_bonf, 3))
so_p_nho = (p <= 0.05).sum(axis=1).mean()
print("Trung bình số p <= 0.05:", round(so_p_nho, 2))KẾT QUẢ
Có ít nhất một p <= 0.05: 0.647
Sau Bonferroni: 0.056
Trung bình số p <= 0.05: 0.99Lần chạy này: 64,7% số lần có ít nhất một chỉ số "có ý nghĩa", khớp con số 0,642 của công thức, và trung bình mỗi lần có một chỉ số như vậy. Sau Bonferroni còn 5,6%. Đổi hạt giống thành default_rng(15) thì ba dòng in 0.639, 0.047 và 0.97.
Bonferroni và Benjamini-Hochberg
Hiệu chỉnh Bonferroni rất đơn giản: so mỗi p với α / m. Nó giữ tỉ lệ sai lầm của cả họ ở α, nhưng với m lớn ngưỡng rất nhỏ và bỏ lỡ nhiều hiệu ứng thật.
Thủ tục Benjamini-Hochberg (BH) kiểm soát một thứ khác: tỉ lệ phát hiện sai (false discovery rate), tức trong các kiểm định bị bác bỏ, trung bình bao nhiêu phần là báo nhầm. Cách làm: sắp p từ nhỏ tới lớn, p thứ k (đánh hạng từ 1) so với ngưỡng k / m · α. Tìm hạng k lớn nhất còn đạt ngưỡng, rồi bác bỏ mọi kiểm định có hạng từ 1 tới k, kể cả những cái trước đó có lỡ vượt ngưỡng riêng. scipy.stats.false_discovery_control(p) trả về các p đã hiệu chỉnh: bác bỏ khi p hiệu chỉnh ≤ α.
Mười p-value của mười thay đổi trên trang (số tự đặt cho bài này):
import numpy as np
from scipy import stats
p = np.array([0.042, 0.008, 0.36, 0.074, 0.001,
0.205, 0.039, 0.06, 0.212, 0.041])
m = len(p)
print("Không hiệu chỉnh:", np.flatnonzero(p <= 0.05).tolist())
print("Bonferroni:", np.flatnonzero(p <= 0.05 / m).tolist())
p_bh = stats.false_discovery_control(p, method="bh")
print("BH:", np.flatnonzero(p_bh <= 0.05).tolist())
print("p hiệu chỉnh BH:", p_bh.round(3).tolist())KẾT QUẢ
Không hiệu chỉnh: [0, 1, 4, 6, 9]
Bonferroni: [4]
BH: [1, 4]
p hiệu chỉnh BH: [0.084, 0.04, 0.36, 0.106, 0.01, 0.236, 0.084, 0.1, 0.236, 0.084]Năm thay đổi có p ≤ 0,05 khi không hiệu chỉnh. Bonferroni (ngưỡng 0,005) chỉ giữ thay đổi số 4 (p = 0,001). BH giữ thêm số 1 (p = 0,008 so với ngưỡng 2 / 10 · 0,05 = 0,01). Ba thay đổi có p từ 0,039 đến 0,042 không qua được hiệu chỉnh nào: một mình mỗi cái trông "có ý nghĩa", nhưng giữa mười phép thử thì chúng rất có thể chỉ là dao động.
Dùng Bonferroni khi một lần báo nhầm là tốn kém (ví dụ quyết định đổi cả hệ thống). Dùng BH khi bạn sàng lọc nhiều ứng viên để kiểm tiếp và chấp nhận một phần nhỏ báo nhầm.
Kiểm tra nhanh
Chạy 5 kiểm định độc lập, mỗi cái α = 0,05, H₀ đúng cho cả năm. Khả năng có ít nhất một lần báo nhầm xấp xỉ bao nhiêu?
- 0,05
- 0,25
- 0,23
- 0,01
Có 8 kiểm định với α = 0,05. Theo Bonferroni, những p-value nào bị bác bỏ?
- 0,004
- 0,02
- 0,006
- 0,0071
Bạn đọc báo cáo: "Khách dùng điện thoại vào cuối tuần ở miền Trung chi nhiều hơn (p = 0,03)". Điều gì nên hỏi trước tiên?
- p = 0,03 đã đủ nhỏ chưa
- Đã thử bao nhiêu cách chia nhóm trước khi chọn nhóm này
- Vì sao không dùng α = 0,01
Những việc nào là p-hacking?
- Bỏ các ngày có kết quả "lạ" sau khi thấy p = 0,08
- Ghi trước chỉ số chính và kiểm định trong kế hoạch phân tích
- Chạy t-test, thấy p = 0,07, đổi sang Mann-Whitney vì nó cho p = 0,04
- Thu thêm dữ liệu từng ngày và dừng ngay khi p < 0,05
Bài tập
Viết thủ tục Benjamini-Hochberg
p_values là list các p-value (ít nhất một), alpha là mức tỉ lệ phát hiện sai. Viết thân hàm bh(p_values, alpha) theo thủ tục của bài. Sắp các p từ nhỏ tới lớn và so p hạng k (từ 1) với ngưỡng k / m · alpha. Tìm hạng k lớn nhất có p ≤ ngưỡng, rồi bác bỏ mọi kiểm định có hạng từ 1 tới k.
Không dùng false_discovery_control(). Hàm không sửa list của nơi gọi.
Trả về: một list các vị trí (theo thứ tự trong p_values, tăng dần) của các kiểm định bị bác bỏ.
Ví dụ bh([0.042, 0.008, 0.36, 0.074, 0.001, 0.205, 0.039, 0.06, 0.212, 0.041], 0.05) cho [1, 4].
def bh(p_values, alpha):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
m kiểm định độc lập ở mức α cho khả năng ít nhất một dương tính giả 1 − (1 − α) mũ m: 64% với m = 20.
Bonferroni: so mỗi p với α / m, giữ tỉ lệ sai lầm của cả họ ở α nhưng bảo thủ.
Benjamini-Hochberg:
stats.false_discovery_control(p)rồi bác bỏ khi p hiệu chỉnh ≤ α; kiểm soát tỉ lệ phát hiện sai.P-hacking là để p quyết định cách cắt dữ liệu, chọn kiểm định hay lúc dừng.
Viết kế hoạch phân tích trước, đếm mọi phép thử và hiệu chỉnh theo số đó.
Câu hỏi thường gặp
P hacking có phải gian lận không?
Thường không cố ý: mỗi lựa chọn riêng trông hợp lí. Nhưng kết quả cuối cùng có p-value không còn nghĩa như bài p-value mô tả, vì nó là p nhỏ nhất của nhiều phép thử.
Hiệu chỉnh Bonferroni có cần cho Tukey HSD không?
Không. Tukey đã giữ tỉ lệ sai lầm của cả họ khi so mọi cặp trung bình, xem bài Tukey HSD. Bonferroni hay BH dùng khi ghép các kiểm định khác loại hay các cặp Mann-Whitney.
Multiple comparisons trong A/B test với nhiều chỉ số xử lí thế nào?
Chọn trước một chỉ số chính để quyết định và kiểm nó ở α. Các chỉ số phụ báo kèm, có hiệu chỉnh BH, và đọc như gợi ý cho lần thử sau. Bài lỗi thường gặp khi A/B test có thêm các bẫy khác.
Chủ đề
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.