Cỡ mẫu A/B test: MDE và lực kiểm định
Bài 2/6 · Chương 12
A/B test
- 7 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 11
Cỡ mẫu A/B test là số người dùng mỗi nhóm cần có để một chênh lệch bằng MDE (hiệu ứng nhỏ nhất cần phát hiện) được kiểm định phát hiện với xác suất đủ cao. Cách tính: n mỗi nhóm = (z₁₋α/₂ + z₁₋β)² · (p₁(1 − p₁) + p₂(1 − p₂)) / (p₂ − p₁)², với p₂ = p₁ + MDE và z lấy bằng norm.ppf().
Cần biết trước: A/B test là gì, cỡ mẫu và sai lầm loại 1, loại 2.
MDE, lực kiểm định và công thức cỡ mẫu
Kế hoạch A/B test cần bốn số trước khi tính:
Tỉ lệ nền p₁: tỉ lệ chuyển đổi hiện tại của A, lấy từ số liệu các tuần trước.
MDE (minimum detectable effect): chênh lệch nhỏ nhất đáng để phát hiện, tính bằng điểm phần trăm. Đây là quyết định kinh doanh: B tăng 0,1 điểm có đáng làm không?
α: xác suất sai lầm loại I, thường 5%, hai phía.
Lực kiểm định 1 − β: xác suất phát hiện khi chênh lệch thật bằng MDE, thường 80%.
Trong đó:
n: số người dùng mỗi nhóm, làm tròn lên (math.ceil()).z với chỉ số 1 − α/2 (
stats.norm.ppf(1 - alpha / 2)): 1,96 khi α = 5%.z với chỉ số 1 − β (
stats.norm.ppf(power)): 0,84 khi lực 80%.p₁, p₂ (
p1,p1 + mde): tỉ lệ của A và tỉ lệ của B nếu B hơn đúng một MDE.
Công thức mở rộng cỡ mẫu cho một tỉ lệ của bài cỡ mẫu sang hai nhóm: hai phương sai cộng lại, và thêm z₁₋β để kiểm định đủ lực. MDE nằm ở mẫu số dưới dạng bình phương, nên MDE giảm một nửa thì n tăng gấp bốn.
Tính tay cho trang đăng ký
Tỉ lệ nền 4,6%, muốn phát hiện B tăng 1 điểm lên 5,6%, α = 5%, lực 80%. Tra bảng chuẩn tắc: z = 1,96 + 0,84 = 2,80, bình phương 7,85. Phần phương sai là 0,046 · 0,954 + 0,056 · 0,944 ≈ 0,0968. Vậy n ≈ 7,85 · 0,0968 / 0,0001 ≈ 7.600 người mỗi nhóm, tổng khoảng 15.200 người. Khối dưới làm lại bằng math với z = 2,8016 ít làm tròn hơn, nên ra 7.594:
import math
p1, mde = 0.046, 0.01
p2 = p1 + mde
z = 1.96 + 0.8416
phuong_sai = p1 * (1 - p1) + p2 * (1 - p2)
n = math.ceil(z ** 2 * phuong_sai / mde ** 2)
print("Mỗi nhóm:", n, "| Tổng:", 2 * n)
so_ngay = math.ceil(2 * n / 1000)
print("Nếu 1.000 người xem mỗi ngày:", so_ngay, "ngày")KẾT QUẢ
Mỗi nhóm: 7594 | Tổng: 15188
Nếu 1.000 người xem mỗi ngày: 16 ngàyVới 1.000 người mỗi ngày, cần 16 ngày, làm tròn lên 21 ngày để chạy trọn ba tuần.
Đổi 0.01 trên dòng p1, mde thành 0.005 rồi chạy lại: dòng đầu in Mỗi nhóm: 28974 | Tổng: 57948, gần gấp bốn. Hàm co_mau() ở mục sau lấy z chính xác bằng norm.ppf() nên cho 28.973, lệch một người vì khối này làm tròn z thành 1,96 + 0,8416.
Viết thành hàm với norm.ppf()
stats.norm.ppf() của SciPy cho phân vị chuẩn ở α và lực bất kỳ, không cần tra bảng. Gói công thức vào một hàm:
import math
from scipy import stats
def co_mau(p1, mde, alpha=0.05, power=0.8):
p2 = p1 + mde
z = stats.norm.ppf(1 - alpha / 2) + stats.norm.ppf(power)
phuong_sai = p1 * (1 - p1) + p2 * (1 - p2)
return math.ceil(z ** 2 * phuong_sai / mde ** 2)
print("Chuẩn 5%, 80%:", co_mau(0.046, 0.01))
print("Lực 90%:", co_mau(0.046, 0.01, power=0.9))
print("α 1%:", co_mau(0.046, 0.01, alpha=0.01))KẾT QUẢ
Chuẩn 5%, 80%: 7594
Lực 90%: 10166
α 1%: 11300Tăng lực từ 80% lên 90% hay hạ α xuống 1% đều đòi thêm vài nghìn người mỗi nhóm. statsmodels có NormalIndPower cho cùng việc, dùng cách đo hiệu ứng khác (Cohen's h) nên số lệch rất ít so với công thức này (7.580 so với 7.594).
Mô phỏng: n đó cho lực bao nhiêu?
Công thức dựa trên xấp xỉ chuẩn. Mô phỏng kiểm lại: rút 4.000 thí nghiệm, mỗi nhóm 7.594 người, A thật 4,6%, B thật 5,6%, chạy kiểm định z hai tỉ lệ cho mỗi thí nghiệm rồi đếm tỉ lệ p < 0,05:
import numpy as np
from scipy import stats
rng = np.random.default_rng(96)
n, so_lan = 7_594, 4_000
k_a = rng.binomial(n, 0.046, size=so_lan)
k_b = rng.binomial(n, 0.056, size=so_lan)
p_gop = (k_a + k_b) / (2 * n)
se = np.sqrt(p_gop * (1 - p_gop) * 2 / n)
z = (k_b - k_a) / n / se
p = 2 * stats.norm.sf(np.abs(z))
print("Lực ước lượng:", round(np.mean(p < 0.05), 3))KẾT QUẢ
Lực ước lượng: 0.806Lần chạy này cho lực gần 80%, đúng như kế hoạch. Đổi 0.056 thành 0.051 rồi chạy lại để thấy lực tụt mạnh: với chênh lệch thật chỉ 0,5 điểm, n này không đủ.
Khối dưới vẽ cỡ mẫu mỗi nhóm theo MDE, cho thấy đường cong bình phương:
import numpy as np
import matplotlib.pyplot as plt
from scipy import stats
p1 = 0.046
mde = np.linspace(0.003, 0.02, 60)
z = stats.norm.ppf(0.975) + stats.norm.ppf(0.8)
p2 = p1 + mde
n = z ** 2 * (p1 * (1 - p1) + p2 * (1 - p2)) / mde ** 2
fig, ax = plt.subplots(figsize=(6.4, 4), layout="constrained")
ax.plot(mde * 100, n / 1000)
ax.set(xlabel="MDE (điểm phần trăm)", ylabel="Nghìn người mỗi nhóm",
title="Cỡ mẫu A/B test theo MDE, tỉ lệ nền 4,6%")
plt.show()Kiểm tra nhanh
Với
n_cu = 7594người mỗi nhóm ở MDE 1 điểm,print(round(n_cu * (1 / 0.5) ** 2))ước lượng n ở MDE 0,5 điểm là bao nhiêu?30376151883797
MDE là gì?
- Chênh lệch đo được sau khi chạy xong thí nghiệm
- Chênh lệch nhỏ nhất mà thí nghiệm được thiết kế để phát hiện với lực đã chọn
- Tỉ lệ chuyển đổi hiện tại của phiên bản A
- Mức ý nghĩa α
Trong khung bẫy, "tăng 10%" với tỉ lệ nền 4,6% là MDE tuyệt đối bao nhiêu?
- 10 điểm phần trăm
- 0,46 điểm phần trăm
- 4,6 điểm phần trăm
Những thay đổi nào làm cỡ mẫu mỗi nhóm tăng?
- Tăng lực kiểm định từ 80% lên 90%
- Hạ α từ 5% xuống 1%
- Giảm MDE
- Tăng MDE
Bài tập
Tính cỡ mẫu mỗi nhóm cho A/B test
Viết thân hàm co_mau_moi_nhom(p1, mde, alpha=0.05, power=0.8) theo công thức của bài: p₂ = p1 + mde (mde là chênh lệch tuyệt đối, có thể âm), z = z₁₋α/₂ + z của power lấy bằng stats.norm.ppf(), rồi n = z² · (p1(1 − p1) + p2(1 − p2)) / mde², làm tròn lên bằng math.ceil(). p1 và p1 + mde nằm giữa 0 và 1, mde khác 0.
Trả về: số người mỗi nhóm, một int.
Ví dụ co_mau_moi_nhom(0.046, 0.01) cho 7594.
import math
from scipy import stats
def co_mau_moi_nhom(p1, mde, alpha=0.05, power=0.8):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
MDE là chênh lệch nhỏ nhất đáng phát hiện, đặt trước, tính bằng điểm phần trăm tuyệt đối.
n mỗi nhóm = (z₁₋α/₂ + z₁₋β)² · (p₁q₁ + p₂q₂) / MDE², làm tròn lên.
MDE giảm một nửa thì n gần gấp bốn; lực cao hơn hay α nhỏ hơn cũng làm n tăng.
stats.norm.ppf()cho z ở α và lực bất kỳ; mô phỏng kiểm lại lực đạt được với n đó.Đổi cỡ mẫu thành số ngày bằng lưu lượng mỗi ngày, rồi làm tròn lên trọn tuần.
Câu hỏi thường gặp
MDE là gì và chọn bao nhiêu?
MDE là mức chênh lệch nhỏ nhất đáng để phát hiện. Chọn từ câu hỏi kinh doanh: chi phí làm B có bù được bằng mức tăng đó không. MDE quá nhỏ đòi cỡ mẫu vượt lưu lượng trang có được trong vài tuần.
Ab test sample size cho chỉ số trung bình (như doanh thu mỗi người) tính thế nào?
Thay phần phương sai bằng 2σ², với σ là độ lệch chuẩn của chỉ số đo từ số liệu cũ, và MDE là chênh lệch trung bình. Phần z giữ nguyên.
Không đủ lưu lượng để đạt cỡ mẫu thì làm gì?
Chọn MDE lớn hơn (chỉ thử thay đổi lớn), chạy lâu hơn, hay đổi sang chỉ số xảy ra nhiều hơn (như bấm nút thay cho thanh toán). Chạy với cỡ mẫu thiếu thì kết quả "chưa đủ bằng chứng" gần như chắc chắn.
Chủ đề
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.