Bayesian A/B test: phân phối beta, xác suất B tốt hơn A
Bài 5/6 · Chương 12
A/B test
- 8 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 11
Bayesian A/B test (A/B test theo cách Bayes) trả lời thẳng câu người làm sản phẩm hay hỏi: xác suất phiên bản B tốt hơn A là bao nhiêu, với dữ liệu đã có. Cách tính: tỉ lệ chuyển đổi của mỗi nhóm được mô tả bằng phân phối beta, cập nhật thành Beta(1 + k, 1 + n − k) sau k chuyển đổi trên n lượt xem. Rút 100.000 mẫu từ hai phân phối và đếm tỉ lệ lần mẫu của B lớn hơn của A.
Cần biết trước: công thức Bayes, phân tích A/B test và PMF, PDF, CDF.
Phân phối beta và công thức cập nhật
Phân phối beta Beta(α, β) sống trên đoạn [0, 1], nên hợp để mô tả một tỉ lệ chưa biết. Trước khi có dữ liệu, chọn tiên nghiệm Beta(1, 1): các tỉ lệ từ 0 đến 1 có khả năng như nhau. Sau khi thấy k chuyển đổi trong n lượt xem, công thức Bayes cho hậu nghiệm:
Trong đó:
k(chuyen_doi): số chuyển đổi đếm được.n(luot_xem): số lượt xem.1 + k và 1 + n − k (
a,bcủastats.beta): số "thành công" và "thất bại", mỗi bên cộng 1 từ tiên nghiệm.trung bình hậu nghiệm: gần p̂ = k/n khi n lớn.
Xác suất B tốt hơn A là P(p_B > p_A), tính trên hai hậu nghiệm độc lập. Không cần tích phân: rút nhiều mẫu từ mỗi hậu nghiệm rồi đếm.
Tính tay một hậu nghiệm
Một ngày chạy thử: 20 người xem trang, 3 người đăng ký. Hậu nghiệm là Beta(1 + 3, 1 + 17) = Beta(4, 18), trung bình 4/22 ≈ 0,182, hơi trên p̂ = 3/20 = 0,15 vì tiên nghiệm kéo về 0,5. stats.beta cho trung bình và khoảng tin cậy Bayes 95%, tức đoạn giữa hai phân vị 2,5% và 97,5% của hậu nghiệm:
from scipy import stats
k, n = 3, 20
hau = stats.beta(1 + k, 1 + n - k)
print(f"Beta({1 + k}, {1 + n - k})")
print("Trung bình:", round(hau.mean(), 4), "| p̂ =", k / n)
duoi, tren = hau.ppf([0.025, 0.975])
print("Khoảng 95%:", round(duoi, 3), "đến", round(tren, 3))
print("P(p > 0,3):", round(hau.sf(0.3), 3))KẾT QUẢ
Beta(4, 18)
Trung bình: 0.1818 | p̂ = 0.15
Khoảng 95%: 0.054 đến 0.363
P(p > 0,3): 0.086Với 20 người, khoảng còn rộng từ khoảng 5% đến 36%. Dòng cuối là một câu Bayes trả lời được: xác suất tỉ lệ thật trên 30% chỉ khoảng 9%.
Đổi k, n = 3, 20 thành k, n = 30, 200 rồi chạy lại: dòng trung bình in Trung bình: 0.1535 | p̂ = 0.15, và khoảng hẹp lại vì có gấp mười dữ liệu.
Vẽ hai hậu nghiệm từ ab_test.csv
ab_test.csv (số giả lập của AIDev): A có 517 đăng ký trên 11.251 lượt xem, B có 599 trên 11.162. Hai hậu nghiệm:
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from scipy import stats
ab = pd.read_csv("ab_test.csv")
gop = ab.groupby("phien_ban")[["luot_xem", "chuyen_doi"]].sum()
x = np.linspace(0.038, 0.062, 400)
fig, ax = plt.subplots(figsize=(6.4, 4), layout="constrained")
for ten, dong in gop.iterrows():
k, n = dong["chuyen_doi"], dong["luot_xem"]
ax.plot(x * 100, stats.beta.pdf(x, 1 + k, 1 + n - k), label=ten)
ax.set(xlabel="Tỉ lệ đăng ký (%)", ylabel="Mật độ hậu nghiệm",
title="Hậu nghiệm Beta của hai phiên bản")
ax.legend()
plt.show()Hai đường cong gần như tách rời: đỉnh A ở khoảng 4,6%, đỉnh B ở khoảng 5,4%, chỉ chồng lên nhau một mẩu nhỏ quanh 5%. Phần chồng nhau đó quyết định xác suất B tốt hơn A.
Mô phỏng: xác suất B tốt hơn A
rng.beta() rút mẫu từ phân phối beta. Rút 100.000 tỉ lệ cho mỗi nhóm, so từng cặp:
import numpy as np
rng = np.random.default_rng(99)
k_a, n_a, k_b, n_b = 517, 11251, 599, 11162
mau_a = rng.beta(1 + k_a, 1 + n_a - k_a, size=100_000)
mau_b = rng.beta(1 + k_b, 1 + n_b - k_b, size=100_000)
print("P(B > A):", round(np.mean(mau_b > mau_a), 4))
chenh = (mau_b - mau_a) * 100
duoi, tren = np.percentile(chenh, [2.5, 97.5])
print("Chênh lệch 95%:", round(duoi, 2), "đến", round(tren, 2))
print("P(B hơn A ≥ 0,5 điểm):", round(np.mean(chenh >= 0.5), 3))KẾT QUẢ
P(B > A): 0.9957
Chênh lệch 95%: 0.2 đến 1.34
P(B hơn A ≥ 0,5 điểm): 0.825Lần chạy này cho xác suất B tốt hơn A khoảng 99,6%. Khoảng chứa 95% chênh lệch gọi là khoảng khả tín 95% (credible interval), để khỏi nhầm với khoảng tin cậy tần suất. Nó gần trùng khoảng tin cậy của bài phân tích, vì với hàng nghìn lượt xem, tiên nghiệm Beta(1, 1) gần như không còn ảnh hưởng. Dòng cuối trả lời câu kinh doanh của bài trước bằng một con số: xác suất B hơn A từ 0,5 điểm trở lên khoảng 82%.
Đọc kết quả khác p-value. p = 0,008 nói: nếu A và B như nhau, dữ liệu cỡ này hiếm. P(B > A) = 0,996 nói: với tiên nghiệm đã chọn và dữ liệu này, B tốt hơn A gần như chắc. Câu thứ hai dễ đưa vào báo cáo hơn, nhưng nó phụ thuộc tiên nghiệm, và nhìn trộm rồi dừng sớm vẫn làm hỏng nó như ở bài lỗi A/B test.
Kiểm tra nhanh
Với tiên nghiệm Beta(1, 1),
k, n = 8, 40,print((1 + k) / (2 + n))cho trung bình hậu nghiệm bao nhiêu (làm tròn)?0.2140.20.225
P(B > A) = 0,996 nghĩa là gì?
- p-value của kiểm định là 0,004
- Với tiên nghiệm và dữ liệu đã có, xác suất tỉ lệ thật của B lớn hơn của A là khoảng 99,6%
- B tăng tỉ lệ chuyển đổi 99,6%
- 99,6% người dùng thích B hơn
Trong khung bẫy, vì sao
stats.beta(1 + k, 1 + n)cho trung bình 0,235 thay cho 0,30?- Vì
stats.betalàm tròn sai - Vì tham số thứ hai phải là 1 + số không chuyển đổi, n − k
- Vì tiên nghiệm Beta(1, 1) quá mạnh
- Vì
Những câu nào đúng về Bayesian A/B test với tiên nghiệm Beta(1, 1)?
- Hậu nghiệm sau k chuyển đổi trên n lượt xem là Beta(1 + k, 1 + n − k)
- Với n vài nghìn, kết quả gần như không phụ thuộc tiên nghiệm
- Nhìn trộm mỗi ngày rồi dừng sớm không còn là vấn đề
- P(B > A) tính được bằng cách rút mẫu hai hậu nghiệm rồi đếm
Bài tập
Mô phỏng xác suất B tốt hơn A
a và b là hai tuple (k, n): số chuyển đổi và số lượt xem của nhóm A và nhóm B, với 0 ≤ k ≤ n. Viết thân hàm xac_suat_b_hon(a, b, so_mau, rng): rút so_mau tỉ lệ từ hậu nghiệm Beta(1 + k, 1 + n − k) của A bằng rng.beta(), rồi so_mau tỉ lệ từ hậu nghiệm của B, và trả tỉ lệ số cặp có mẫu của B lớn hơn mẫu của A.
rng do nơi gọi tạo: không dùng np.random.seed(), không tạo bộ sinh số mới bằng np.random.default_rng() trong hàm. Xác suất phải đếm từ các mẫu rng.beta(): không tính sẵn bằng tích phân (scipy.integrate, quad()) rồi rút nhị thức bằng rng.binomial().
Trả về: xác suất B tốt hơn A ước lượng, một float từ 0 đến 1.
Ví dụ xac_suat_b_hon((3, 20), (5, 20), 20000, np.random.default_rng(1)) cho một số gần 0,77.
import numpy as np
def xac_suat_b_hon(a, b, so_mau, rng):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Phân phối beta mô tả một tỉ lệ chưa biết trên [0, 1]; tiên nghiệm Beta(1, 1) coi các tỉ lệ có khả năng như nhau.
Sau k chuyển đổi trên n lượt xem, hậu nghiệm là Beta(1 + k, 1 + n − k), trung bình (1 + k)/(2 + n).
rng.beta()rút 100.000 mẫu mỗi nhóm; P(B > A) là tỉ lệ cặp có mẫu B lớn hơn.P(B > A) là xác suất hậu nghiệm, khác p-value; với dữ liệu lớn, hai cách cho cùng hướng kết luận.
Tiên nghiệm và quy tắc dừng vẫn phải chốt trước khi chạy.
Câu hỏi thường gặp
Thống kê Bayes khác thống kê tần suất ở đâu?
Thống kê tần suất coi tỉ lệ thật là cố định và hỏi dữ liệu hiếm đến đâu nếu H₀ đúng. Thống kê Bayes coi tỉ lệ chưa biết là đại lượng có phân phối, cập nhật nó bằng dữ liệu, và trả lời xác suất cho chính câu hỏi quan tâm.
Có nên dùng tiên nghiệm khác Beta(1, 1)?
Có khi đã biết nhiều về tỉ lệ nền, ví dụ Beta(5, 95) cho một trang có lịch sử khoảng 5%. Tiên nghiệm mạnh kéo kết quả về mức cũ khi dữ liệu ít. Ghi tiên nghiệm vào kế hoạch trước khi xem số.
Ngưỡng P(B > A) bao nhiêu thì chọn B?
Không có mốc chung. Nhiều nhóm dùng 95%, kèm điều kiện mức tăng đủ lớn, như xác suất B hơn A từ một ngưỡng kinh doanh trở lên.
Chủ đề
Dữ liệu của bài
- Tải xuống
ab_test.csv
CSV · 3.37 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.