Bỏ qua đến nội dung chính
Mục lục

Cỡ mẫu A/B test: MDE và lực kiểm định

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 2/6 · Chương 12

A/B test

  • 7 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Cỡ mẫu A/B test là số người dùng mỗi nhóm cần có để một chênh lệch bằng MDE (hiệu ứng nhỏ nhất cần phát hiện) được kiểm định phát hiện với xác suất đủ cao. Cách tính: n mỗi nhóm = (z₁₋α/₂ + z₁₋β)² · (p₁(1 − p₁) + p₂(1 − p₂)) / (p₂ − p₁)², với p₂ = p₁ + MDE và z lấy bằng norm.ppf().

Cần biết trước: A/B test là gì, cỡ mẫu và sai lầm loại 1, loại 2.

MDE, lực kiểm định và công thức cỡ mẫu

Kế hoạch A/B test cần bốn số trước khi tính:

  • Tỉ lệ nền p₁: tỉ lệ chuyển đổi hiện tại của A, lấy từ số liệu các tuần trước.

  • MDE (minimum detectable effect): chênh lệch nhỏ nhất đáng để phát hiện, tính bằng điểm phần trăm. Đây là quyết định kinh doanh: B tăng 0,1 điểm có đáng làm không?

  • α: xác suất sai lầm loại I, thường 5%, hai phía.

  • Lực kiểm định 1 − β: xác suất phát hiện khi chênh lệch thật bằng MDE, thường 80%.

n=(z1−α/2+z1−β)2[p1(1−p1)+p2(1−p2)](p2−p1)2n = \frac{\left(z_{1-\alpha/2} + z_{1-\beta}\right)^2 \left[p_1(1-p_1) + p_2(1-p_2)\right]}{(p_2 - p_1)^2}

Trong đó:

  • n: số người dùng mỗi nhóm, làm tròn lên (math.ceil()).

  • z với chỉ số 1 − α/2 (stats.norm.ppf(1 - alpha / 2)): 1,96 khi α = 5%.

  • z với chỉ số 1 − β (stats.norm.ppf(power)): 0,84 khi lực 80%.

  • p₁, p₂ (p1, p1 + mde): tỉ lệ của A và tỉ lệ của B nếu B hơn đúng một MDE.

Công thức mở rộng cỡ mẫu cho một tỉ lệ của bài cỡ mẫu sang hai nhóm: hai phương sai cộng lại, và thêm z₁₋β để kiểm định đủ lực. MDE nằm ở mẫu số dưới dạng bình phương, nên MDE giảm một nửa thì n tăng gấp bốn.

Tính tay cho trang đăng ký

Tỉ lệ nền 4,6%, muốn phát hiện B tăng 1 điểm lên 5,6%, α = 5%, lực 80%. Tra bảng chuẩn tắc: z = 1,96 + 0,84 = 2,80, bình phương 7,85. Phần phương sai là 0,046 · 0,954 + 0,056 · 0,944 ≈ 0,0968. Vậy n ≈ 7,85 · 0,0968 / 0,0001 ≈ 7.600 người mỗi nhóm, tổng khoảng 15.200 người. Khối dưới làm lại bằng math với z = 2,8016 ít làm tròn hơn, nên ra 7.594:

python
import math

p1, mde = 0.046, 0.01
p2 = p1 + mde
z = 1.96 + 0.8416
phuong_sai = p1 * (1 - p1) + p2 * (1 - p2)
n = math.ceil(z ** 2 * phuong_sai / mde ** 2)
print("Mỗi nhóm:", n, "| Tổng:", 2 * n)
so_ngay = math.ceil(2 * n / 1000)
print("Nếu 1.000 người xem mỗi ngày:", so_ngay, "ngày")

KẾT QUẢ

Mỗi nhóm: 7594 | Tổng: 15188
Nếu 1.000 người xem mỗi ngày: 16 ngày

Với 1.000 người mỗi ngày, cần 16 ngày, làm tròn lên 21 ngày để chạy trọn ba tuần.

Đổi 0.01 trên dòng p1, mde thành 0.005 rồi chạy lại: dòng đầu in Mỗi nhóm: 28974 | Tổng: 57948, gần gấp bốn. Hàm co_mau() ở mục sau lấy z chính xác bằng norm.ppf() nên cho 28.973, lệch một người vì khối này làm tròn z thành 1,96 + 0,8416.

Viết thành hàm với norm.ppf()

stats.norm.ppf() của SciPy cho phân vị chuẩn ở α và lực bất kỳ, không cần tra bảng. Gói công thức vào một hàm:

python
import math
from scipy import stats

def co_mau(p1, mde, alpha=0.05, power=0.8):
    p2 = p1 + mde
    z = stats.norm.ppf(1 - alpha / 2) + stats.norm.ppf(power)
    phuong_sai = p1 * (1 - p1) + p2 * (1 - p2)
    return math.ceil(z ** 2 * phuong_sai / mde ** 2)

print("Chuẩn 5%, 80%:", co_mau(0.046, 0.01))
print("Lực 90%:", co_mau(0.046, 0.01, power=0.9))
print("α 1%:", co_mau(0.046, 0.01, alpha=0.01))

KẾT QUẢ

Chuẩn 5%, 80%: 7594
Lực 90%: 10166
α 1%: 11300

Tăng lực từ 80% lên 90% hay hạ α xuống 1% đều đòi thêm vài nghìn người mỗi nhóm. statsmodels có NormalIndPower cho cùng việc, dùng cách đo hiệu ứng khác (Cohen's h) nên số lệch rất ít so với công thức này (7.580 so với 7.594).

Mô phỏng: n đó cho lực bao nhiêu?

Công thức dựa trên xấp xỉ chuẩn. Mô phỏng kiểm lại: rút 4.000 thí nghiệm, mỗi nhóm 7.594 người, A thật 4,6%, B thật 5,6%, chạy kiểm định z hai tỉ lệ cho mỗi thí nghiệm rồi đếm tỉ lệ p < 0,05:

python
import numpy as np
from scipy import stats

rng = np.random.default_rng(96)
n, so_lan = 7_594, 4_000
k_a = rng.binomial(n, 0.046, size=so_lan)
k_b = rng.binomial(n, 0.056, size=so_lan)
p_gop = (k_a + k_b) / (2 * n)
se = np.sqrt(p_gop * (1 - p_gop) * 2 / n)
z = (k_b - k_a) / n / se
p = 2 * stats.norm.sf(np.abs(z))
print("Lực ước lượng:", round(np.mean(p < 0.05), 3))

KẾT QUẢ

Lực ước lượng: 0.806

Lần chạy này cho lực gần 80%, đúng như kế hoạch. Đổi 0.056 thành 0.051 rồi chạy lại để thấy lực tụt mạnh: với chênh lệch thật chỉ 0,5 điểm, n này không đủ.

Khối dưới vẽ cỡ mẫu mỗi nhóm theo MDE, cho thấy đường cong bình phương:

python
import numpy as np
import matplotlib.pyplot as plt
from scipy import stats

p1 = 0.046
mde = np.linspace(0.003, 0.02, 60)
z = stats.norm.ppf(0.975) + stats.norm.ppf(0.8)
p2 = p1 + mde
n = z ** 2 * (p1 * (1 - p1) + p2 * (1 - p2)) / mde ** 2
fig, ax = plt.subplots(figsize=(6.4, 4), layout="constrained")
ax.plot(mde * 100, n / 1000)
ax.set(xlabel="MDE (điểm phần trăm)", ylabel="Nghìn người mỗi nhóm",
       title="Cỡ mẫu A/B test theo MDE, tỉ lệ nền 4,6%")
plt.show()
Đường cong cỡ mẫu mỗi nhóm theo MDE từ 0,3 đến 2 điểm phần trăm: khoảng 79 nghìn người ở 0,3 điểm, 7,6 nghìn ở 1 điểm, và chỉ khoảng 2 nghìn ở 2 điểm.

Kiểm tra nhanh

  1. Với n_cu = 7594 người mỗi nhóm ở MDE 1 điểm, print(round(n_cu * (1 / 0.5) ** 2)) ước lượng n ở MDE 0,5 điểm là bao nhiêu?

    • 30376
    • 15188
    • 3797
  2. MDE là gì?

    • Chênh lệch đo được sau khi chạy xong thí nghiệm
    • Chênh lệch nhỏ nhất mà thí nghiệm được thiết kế để phát hiện với lực đã chọn
    • Tỉ lệ chuyển đổi hiện tại của phiên bản A
    • Mức ý nghĩa α
  3. Trong khung bẫy, "tăng 10%" với tỉ lệ nền 4,6% là MDE tuyệt đối bao nhiêu?

    • 10 điểm phần trăm
    • 0,46 điểm phần trăm
    • 4,6 điểm phần trăm
  4. Những thay đổi nào làm cỡ mẫu mỗi nhóm tăng?

    • Tăng lực kiểm định từ 80% lên 90%
    • Hạ α từ 5% xuống 1%
    • Giảm MDE
    • Tăng MDE
Đúng hết lần đầu +15 XP

Bài tập

Tính cỡ mẫu mỗi nhóm cho A/B test

Viết thân hàm co_mau_moi_nhom(p1, mde, alpha=0.05, power=0.8) theo công thức của bài: p₂ = p1 + mde (mde là chênh lệch tuyệt đối, có thể âm), z = z₁₋α/₂ + z của power lấy bằng stats.norm.ppf(), rồi n = z² · (p1(1 − p1) + p2(1 − p2)) / mde², làm tròn lên bằng math.ceil(). p1 và p1 + mde nằm giữa 0 và 1, mde khác 0.

Trả về: số người mỗi nhóm, một int.

Ví dụ co_mau_moi_nhom(0.046, 0.01) cho 7594.

python
import math
from scipy import stats


def co_mau_moi_nhom(p1, mde, alpha=0.05, power=0.8):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • MDE là chênh lệch nhỏ nhất đáng phát hiện, đặt trước, tính bằng điểm phần trăm tuyệt đối.

  • n mỗi nhóm = (z₁₋α/₂ + z₁₋β)² · (p₁q₁ + p₂q₂) / MDE², làm tròn lên.

  • MDE giảm một nửa thì n gần gấp bốn; lực cao hơn hay α nhỏ hơn cũng làm n tăng.

  • stats.norm.ppf() cho z ở α và lực bất kỳ; mô phỏng kiểm lại lực đạt được với n đó.

  • Đổi cỡ mẫu thành số ngày bằng lưu lượng mỗi ngày, rồi làm tròn lên trọn tuần.

Câu hỏi thường gặp

MDE là gì và chọn bao nhiêu?

MDE là mức chênh lệch nhỏ nhất đáng để phát hiện. Chọn từ câu hỏi kinh doanh: chi phí làm B có bù được bằng mức tăng đó không. MDE quá nhỏ đòi cỡ mẫu vượt lưu lượng trang có được trong vài tuần.

Ab test sample size cho chỉ số trung bình (như doanh thu mỗi người) tính thế nào?

Thay phần phương sai bằng 2σ², với σ là độ lệch chuẩn của chỉ số đo từ số liệu cũ, và MDE là chênh lệch trung bình. Phần z giữ nguyên.

Không đủ lưu lượng để đạt cỡ mẫu thì làm gì?

Chọn MDE lớn hơn (chỉ thử thay đổi lớn), chạy lâu hơn, hay đổi sang chỉ số xảy ra nhiều hơn (như bấm nút thay cho thanh toán). Chạy với cỡ mẫu thiếu thì kết quả "chưa đủ bằng chứng" gần như chắc chắn.

Chủ đề

cỡ mẫu a b test

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập