Lỗi A/B test: nhìn trộm, dừng sớm, lệch tỉ lệ chia (SRM)
Bài 4/6 · Chương 12
A/B test
- 9 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 11
Lỗi A/B test hay gặp nằm ở cách chạy, ít khi ở công thức. Nhìn kết quả mỗi ngày rồi dừng khi thấy B "thắng" (peeking) đẩy tỉ lệ thắng giả từ 5% lên vài chục phần trăm. Bài này kể năm lỗi, mô phỏng hai lỗi bằng A/A test, tức hai nhóm thấy cùng một phiên bản, và kiểm lệch tỉ lệ chia (sample ratio mismatch, SRM) bằng kiểm định chi bình phương phù hợp.
Cần biết trước: phân tích A/B test, so sánh nhiều lần và kiểm định phù hợp.
Năm lỗi và công thức kiểm tra SRM
Nhìn trộm rồi dừng sớm: kiểm định mỗi ngày và dừng ở lần đầu p < 0,05.
Nhiều chỉ số, nhiều nhóm con: đo mười chỉ số hay cắt theo mười nhóm người dùng, rồi báo cáo cái nào "thắng".
Lệch tỉ lệ chia (SRM): kế hoạch chia 50/50 nhưng số người hai nhóm lệch quá mức ngẫu nhiên, dấu hiệu của lỗi kỹ thuật (B tải chậm nên bị mất lượt ghi, bot chỉ vào một nhóm).
Bỏ qua A/A test: chưa kiểm hệ thống chia và đo trên hai nhóm giống hệt nhau, nên không biết tỉ lệ thắng giả thật là bao nhiêu.
Chạy không trọn tuần: dừng ở ngày 10 làm mẫu lệch về ngày thường hay cuối tuần (bài A/B test là gì).
Kiểm tra SRM là kiểm định phù hợp chi bình phương với 1 bậc tự do. H₀: tỉ lệ chia thật đúng như kế hoạch:
Trong đó:
O với chỉ số A, B (
so_a,so_b): số người dùng đếm được ở mỗi nhóm.n(so_a + so_b): tổng số người dùng.q với chỉ số A (
ti_le_a): tỉ lệ dành cho A theo kế hoạch, 0,5 khi chia đôi.E với chỉ số A, B: số người kỳ vọng ở mỗi nhóm.
p-value là stats.chi2.sf(chi2, 1). Ngưỡng hay dùng cho SRM chặt hơn, p < 0,001, vì kiểm tra này chạy ở từng thí nghiệm và một báo động giả làm dừng việc oan.
Tính tay SRM trên dữ liệu bốn tuần
ab_test.csv (số giả lập của AIDev) có 11.251 lượt xem ở A và 11.162 ở B, tổng 22.413, kế hoạch 50/50. Kỳ vọng mỗi nhóm 11.206,5, lệch 44,5. Vậy χ² = 2 · 44,5²/11.206,5 ≈ 0,353:
import pandas as pd
from scipy import stats
ab = pd.read_csv("ab_test.csv")
so = ab.groupby("phien_ban")["luot_xem"].sum()
ky_vong = so.sum() / 2
chi2 = ((so - ky_vong) ** 2 / ky_vong).sum()
print(so.to_dict(), "| kỳ vọng mỗi nhóm:", ky_vong)
p = stats.chi2.sf(chi2, 1)
print("chi² =", round(chi2, 4), f"| p = {p:.3f}")
kq = stats.chisquare(so.to_numpy())
print("chisquare():", round(kq.statistic, 4),
f"| p = {kq.pvalue:.3f}")KẾT QUẢ
{'A': 11251, 'B': 11162} | kỳ vọng mỗi nhóm: 11206.5
chi² = 0.3534 | p = 0.552
chisquare(): 0.3534 | p = 0.552Ở mức 0,001 (và cả 5%), dữ liệu chưa đủ bằng chứng để bác bỏ H₀ chia đều: không có dấu hiệu SRM, nên kết quả của bài phân tích dùng được. stats.chisquare() cho cùng số, mặc định kỳ vọng chia đều.
Đổi so_nguoi = [10240, 9760] thành so_nguoi = [1024, 976] rồi chạy lại: dòng đầu in Số đếm: p = 0.2831, vì cùng tỉ lệ lệch trên ít người hơn không còn là bằng chứng.
Mô phỏng A/A test: nhìn trộm và dừng sớm
Khối dưới chạy 1.000 A/A test: hai nhóm cùng tỉ lệ 5%, mỗi nhóm 400 người mỗi ngày, 28 ngày. Mỗi ngày kiểm định z hai tỉ lệ trên số cộng dồn. Cách đúng chỉ xem p ở ngày 28. Cách nhìn trộm dừng ngay lần đầu p < 0,05:
import numpy as np
from scipy import stats
rng = np.random.default_rng(98)
so_tn, so_ngay, moi_ngay = 1_000, 28, 400
moi_ngay_ab = rng.binomial(moi_ngay, 0.05, (2, so_tn, so_ngay))
k_a, k_b = moi_ngay_ab.cumsum(axis=2)
n = moi_ngay * np.arange(1, so_ngay + 1)
p_gop = (k_a + k_b) / (2 * n)
se = np.sqrt(p_gop * (1 - p_gop) * 2 / n)
z = (k_b - k_a) / n / se
p = 2 * stats.norm.sf(np.abs(z))
print("Chỉ xem ngày 28:", np.mean(p[:, -1] < 0.05))
print("Nhìn trộm mỗi ngày:", np.mean((p < 0.05).any(axis=1)))KẾT QUẢ
Chỉ xem ngày 28: 0.048
Nhìn trộm mỗi ngày: 0.283Lần chạy này cho cách đúng khoảng 5% thắng giả, đúng α. Nhìn trộm mỗi ngày cho gần 28%: hơn một phần tư số thí nghiệm không có gì khác nhau vẫn được báo "B thắng". p-value dao động lên xuống theo ngày, nên đủ nhiều lần nhìn thì sớm muộn nó chạm dưới 0,05.
Khối dưới vẽ tỉ lệ thắng giả theo số ngày đã nhìn trộm, cùng cách mô phỏng. |z| > 1,96 tương đương p < 0,05 ở kiểm định hai phía:
import numpy as np
import matplotlib.pyplot as plt
rng = np.random.default_rng(98)
k_a, k_b = rng.binomial(400, 0.05, (2, 1_000, 28)).cumsum(axis=2)
n = 400 * np.arange(1, 29)
p_gop = (k_a + k_b) / (2 * n)
z = (k_b - k_a) / n / np.sqrt(p_gop * (1 - p_gop) * 2 / n)
thang = np.maximum.accumulate(np.abs(z) > 1.96, axis=1)
fig, ax = plt.subplots(figsize=(6.4, 4), layout="constrained")
ax.plot(np.arange(1, 29), thang.mean(axis=0) * 100, marker="o")
ax.axhline(5, color="C3", linestyle="--")
ax.set(xlabel="Số ngày đã nhìn trộm", ylabel="Báo thắng (%)",
title="Thắng giả tăng theo số lần nhìn trộm (vạch đứt: α)")
plt.show()Cách sửa: chốt cỡ mẫu trước và chỉ kết luận khi đủ. Nếu buộc phải xem giữa chừng, dùng phương pháp kiểm định tuần tự với ngưỡng chặt hơn ở mỗi lần xem (ví dụ một ngưỡng chung chia đều α cho số lần xem đã định).
Mô phỏng nhiều chỉ số và vai trò của A/A test
Lỗi 2 cùng gốc với lỗi 1: nhiều phép thử, mỗi phép 5% thắng giả. Với m chỉ số độc lập, xác suất có ít nhất một chỉ số thắng giả là 1 − 0,95ᵐ. Khối dưới mô phỏng 1.000 A/A test, mỗi test đo 10 chỉ số; khi H₀ đúng, p-value phân bố đều trên [0, 1], nên khối rút thẳng p bằng rng.random() thay cho chạy kiểm định:
import numpy as np
rng = np.random.default_rng(98)
p = rng.random((1_000, 10))
print("Ít nhất 1 chỉ số p < 0,05:", np.mean((p < 0.05).any(axis=1)))
print("Lý thuyết:", round(1 - 0.95 ** 10, 3))
print("Bonferroni p < 0,005:", np.mean((p < 0.05 / 10).any(axis=1)))KẾT QUẢ
Ít nhất 1 chỉ số p < 0,05: 0.412
Lý thuyết: 0.401
Bonferroni p < 0,005: 0.044Cách sửa là chọn một chỉ số chính trước khi chạy. Các chỉ số phụ và nhóm con chỉ dùng để tìm câu hỏi cho thí nghiệm sau, hay được hiệu chỉnh như bài so sánh nhiều lần. Chạy một A/A test thật trên hệ thống trước thí nghiệm đầu tiên kiểm cả ba điều: tỉ lệ chia có đúng (không SRM), số đo hai nhóm có khớp, và tỉ lệ báo thắng có quanh α.
Kiểm tra nhanh
Theo dõi 10 chỉ số độc lập ở α = 0,05 khi B không có tác dụng,
print(round(1 - 0.95 ** 10, 2))in ra gì?0.40.050.5
Vì sao nhìn trộm mỗi ngày rồi dừng ở lần đầu p < 0,05 là sai?
- Vì p-value chỉ tính được ở ngày cuối
- Vì mỗi lần nhìn là một cơ hội thắng giả, nên tỉ lệ thắng giả cộng dồn vượt xa α
- Vì cỡ mẫu mỗi ngày quá nhỏ để kiểm định
- Vì B thắng chắc chắn nếu nhìn đủ lâu
Trong khung bẫy, vì sao
stats.chisquare([51.2, 48.8])cho p = 0,81?- Vì lệch 51,2/48,8 là bình thường
- Vì kiểm định coi phần trăm như số đếm của 100 người
- Vì
chisquare()cần thêm tham sốddof=1
A/A test giúp phát hiện những điều nào?
- Hệ thống chia nhóm bị lệch tỉ lệ (SRM)
- Tỉ lệ báo thắng giả của quy trình phân tích cao hơn α
- Phiên bản B tốt hơn A bao nhiêu
- Số đo của hai nhóm bị ghi khác nhau
Bài tập
Kiểm tra lệch tỉ lệ chia (SRM)
Viết thân hàm p_srm(so_a, so_b, ti_le_a=0.5) trả p-value của kiểm tra SRM theo công thức của bài: kỳ vọng E_A = n · ti_le_a, E_B = n · (1 − ti_le_a) với n = so_a + so_b, thống kê χ² = Σ(O − E)²/E, p-value là stats.chi2.sf(chi2, 1). so_a, so_b là số nguyên dương, ti_le_a nằm giữa 0 và 1.
Không dùng chisquare(), power_divergence() hay binomtest().
Trả về: p-value, một float.
Ví dụ p_srm(11251, 11162) cho khoảng 0.5522.
from scipy import stats
def p_srm(so_a, so_b, ti_le_a=0.5):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Nhìn trộm mỗi ngày rồi dừng ở lần đầu p < 0,05 đẩy tỉ lệ thắng giả từ 5% lên khoảng 28% sau 28 lần nhìn.
Nhiều chỉ số hay nhiều nhóm con: xác suất có ít nhất một kết quả thắng giả là 1 − 0,95ᵐ; chọn một chỉ số chính.
SRM: kiểm định phù hợp chi bình phương trên số người đếm được, thường với ngưỡng p < 0,001.
A/A test chạy hai nhóm giống nhau để kiểm hệ thống chia, số đo và tỉ lệ thắng giả.
Chạy đủ cỡ mẫu đã chốt và trọn tuần, rồi mới kết luận.
Câu hỏi thường gặp
Nhìn trộm (peeking) trong AB test là gì?
Là xem kết quả nhiều lần trong lúc thí nghiệm chạy và dừng khi thấy có ý nghĩa thống kê. Mỗi lần xem là một phép kiểm định, nên tỉ lệ báo thắng giả cộng dồn vượt xa α đã đặt.
Lệch tỉ lệ chia (SRM) thì làm gì?
Dừng đọc kết quả, vì nhóm bị mất người không còn là mẫu ngẫu nhiên. Tìm nguyên nhân kỹ thuật (lỗi chuyển hướng, bot, ghi log), sửa, rồi chạy lại thí nghiệm.
A/A test cần chạy thường xuyên không?
Chạy một lần khi dựng hệ thống thí nghiệm, và chạy lại khi đổi cách chia nhóm, cách ghi số đo hay công cụ phân tích. Nhiều nhóm chạy A/A test song song cố định để theo dõi liên tục.
Chủ đề
Dữ liệu của bài
- Tải xuống
ab_test.csv
CSV · 3.37 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.