Ví dụ A/B test trọn vẹn: trang đăng ký, cỡ mẫu, báo cáo
Bài 6/6 · Chương 12
A/B test
- 8 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 8
Ví dụ A/B test này đi trọn một thí nghiệm trên trang đăng ký, theo đúng thứ tự làm thật. Chốt chỉ số và cỡ mẫu trước, kiểm tra lệch tỉ lệ chia (SRM), kiểm định hai tỉ lệ, đọc xác suất B tốt hơn A, rồi viết báo cáo quyết định. Dữ liệu là ab_test.csv, số giả lập của AIDev cho bốn tuần chạy thử.
Cần biết trước: cỡ mẫu A/B test, phân tích A/B test, lỗi A/B test và A/B test Bayes.
Chương trình sẽ làm gì
Trang đăng ký cũ (A) và trang mới rút gọn biểu mẫu (B) được chia ngẫu nhiên 50/50. File ab_test.csv có 112 dòng: mỗi ngày từ 02/03 đến 29/03/2026, mỗi phiên bản, mỗi loại thiết bị (Di động, Máy tính) một dòng, ghi số lượt xem và số lượt đăng ký (chuyen_doi).
Chương trình in một báo cáo ngắn: cỡ mẫu đã chốt, kết quả kiểm tra SRM, tỉ lệ đăng ký hai nhóm, chênh lệch với khoảng tin cậy 95%, p-value, xác suất B tốt hơn A và quyết định cuối. Cuối trang, bạn viết hàm trả quyết định cho một bảng kết quả bất kỳ.
Bước 1: Chốt chỉ số chính và cỡ mẫu trước khi chạy
Kế hoạch ghi trước khi có dữ liệu: chỉ số chính là tỉ lệ đăng ký trên lượt xem, tỉ lệ nền tháng trước là 4,6%. Mức tăng nhỏ nhất đáng làm (MDE) là 1 điểm phần trăm, α = 0,05, lực kiểm định 80%. Công thức của bài cỡ mẫu A/B test:
import math
from scipy import stats
p1, mde = 0.046, 0.01
p2 = p1 + mde
z = stats.norm.ppf(0.975) + stats.norm.ppf(0.8)
n = math.ceil(z**2 * (p1 * (1 - p1) + p2 * (1 - p2)) / mde**2)
moi_ngay = 300
so_ngay = math.ceil(n / moi_ngay)
print("Cỡ mẫu mỗi nhóm:", n)
print("Số ngày tối thiểu:", so_ngay)
print("Chạy trọn tuần:", 7 * math.ceil(so_ngay / 7), "ngày")KẾT QUẢ
Cỡ mẫu mỗi nhóm: 7594
Số ngày tối thiểu: 26
Chạy trọn tuần: 28 ngàyVới ước lượng 300 lượt xem mỗi nhóm mỗi ngày, cần 26 ngày, làm tròn thành 4 tuần để ngày thường và cuối tuần cân nhau. Kế hoạch cũng chốt hai điều: không xem p-value giữa chừng, và chỉ số theo thiết bị chỉ để tham khảo.
Bước 2: Đọc dữ liệu và kiểm tra SRM
Trước khi nhìn tỉ lệ đăng ký, kiểm tra số người hai nhóm có đúng 50/50 như kế hoạch không, với ngưỡng p < 0,001 của bài lỗi A/B test:
import pandas as pd
from scipy import stats
ab = pd.read_csv("ab_test.csv")
g = ab.groupby("phien_ban")[["luot_xem", "chuyen_doi"]].sum()
print(g)
p_srm = stats.chisquare(g["luot_xem"].to_numpy()).pvalue
print(f"p-value SRM: {p_srm:.3f}")
print("Đủ cỡ mẫu:", bool((g["luot_xem"] >= 7594).all()))KẾT QUẢ
luot_xem chuyen_doi
phien_ban
A 11251 517
B 11162 599
p-value SRM: 0.552
Đủ cỡ mẫu: Truep-value SRM khoảng 0,55, xa ngưỡng 0,001: không có dấu hiệu chia lệch. Cả hai nhóm vượt 7.594 lượt xem đã chốt, nên được đọc kết quả.
Bước 3: Kiểm định hai tỉ lệ và khoảng tin cậy
Kiểm định z hai tỉ lệ dùng tỉ lệ gộp cho p-value; khoảng tin cậy 95% của chênh lệch dùng sai số chuẩn không gộp, như bài phân tích A/B test:
import numpy as np
import pandas as pd
from scipy import stats
ab = pd.read_csv("ab_test.csv")
g = ab.groupby("phien_ban")[["luot_xem", "chuyen_doi"]].sum()
n, k = g["luot_xem"], g["chuyen_doi"]
p, p_gop = k / n, k.sum() / n.sum()
se_gop = np.sqrt(p_gop * (1 - p_gop) * (1 / n["A"] + 1 / n["B"]))
z = (p["B"] - p["A"]) / se_gop
se = np.sqrt((p * (1 - p) / n).sum())
chenh = p["B"] - p["A"]
print("Tỉ lệ (%):", (p * 100).round(2).to_dict())
print(f"z = {z:.3f} | p-value = {2 * stats.norm.sf(abs(z)):.4f}")
kc = 100 * (chenh + np.array([-1.96, 1.96]) * se)
print("KTC 95% (điểm %):", np.round(kc, 2))KẾT QUẢ
Tỉ lệ (%): {'A': 4.6, 'B': 5.37}
z = 2.654 | p-value = 0.0079
KTC 95% (điểm %): [0.2 1.34]B đăng ký 5,37% so với 4,60% của A, chênh khoảng 0,77 điểm. p-value khoảng 0,008, dưới 0,05: có bằng chứng B khác A. Khoảng tin cậy từ khoảng 0,2 đến 1,34 điểm nằm trọn bên dương. Nhưng đầu dưới 0,2 thấp hơn ngưỡng có lãi 0,5 điểm mà nhóm sản phẩm đã chốt (bước 4), nên mức tăng thật có thể chưa đáng triển khai. MDE 1 điểm ở bước 1 chỉ dùng để tính cỡ mẫu và lực.
Bước 4: Xác suất B tốt hơn A
Cách Bayes của bài A/B test Bayes cho hai con số dễ đưa vào báo cáo: xác suất B tốt hơn A, và xác suất B hơn A từ 0,5 điểm trở lên. 0,5 điểm là ngưỡng nhóm sản phẩm coi là đáng triển khai:
import numpy as np
rng = np.random.default_rng(100)
k_a, n_a, k_b, n_b = 517, 11251, 599, 11162
mau_a = rng.beta(1 + k_a, 1 + n_a - k_a, size=100_000)
mau_b = rng.beta(1 + k_b, 1 + n_b - k_b, size=100_000)
chenh = (mau_b - mau_a) * 100
print("P(B > A):", round(np.mean(chenh > 0), 3))
print("P(B hơn A ≥ 0,5 điểm):", round(np.mean(chenh >= 0.5), 3))
print("P(B hơn A ≥ 1 điểm):", round(np.mean(chenh >= 1), 3))KẾT QUẢ
P(B > A): 0.996
P(B hơn A ≥ 0,5 điểm): 0.825
P(B hơn A ≥ 1 điểm): 0.216Lần chạy này cho P(B > A) khoảng 0,996 và P(chênh ≥ 0,5 điểm) khoảng 0,82, nhưng P(chênh ≥ 1 điểm) chỉ khoảng 0,22. Hai cách tần suất và Bayes cùng một hướng.
Bảng theo thiết bị cho thấy mức tăng tập trung ở di động. Đây là nhóm con nên chỉ là gợi ý cho thí nghiệm sau, không đổi quyết định:
import pandas as pd
ab = pd.read_csv("ab_test.csv")
nhom = ab.groupby(["thiet_bi", "phien_ban"])
g = nhom[["luot_xem", "chuyen_doi"]].sum()
ty_le = (g["chuyen_doi"] / g["luot_xem"] * 100).unstack().round(2)
print(ty_le)KẾT QUẢ
phien_ban A B
thiet_bi
Di động 3.85 4.99
Máy tính 6.34 6.26Bước 5: Ghép thành chương trình hoàn chỉnh
Chương trình dưới gói các bước thành hàm bao_cao(ab, n_chot, nguong) in báo cáo quyết định. Quy tắc quyết định chốt trước, theo bảng của bài phân tích A/B test:
Có SRM thì dừng.
p-value < 0,05, B hơn A và đầu dưới khoảng tin cậy từ ngưỡng
nguongtrở lên: triển khai B.p-value < 0,05, B hơn A nhưng đầu dưới chưa tới ngưỡng: B tốt hơn A, chưa chắc có lãi.
Còn lại: giữ A.
import numpy as np
import pandas as pd
from scipy import stats
def bao_cao(ab, n_chot, nguong):
g = ab.groupby("phien_ban")[["luot_xem", "chuyen_doi"]].sum()
n, k = g["luot_xem"], g["chuyen_doi"]
p_srm = stats.chisquare(n.to_numpy()).pvalue
du = bool((n >= n_chot).all())
print(f"SRM: p = {p_srm:.3f} | đủ cỡ mẫu: {du}")
if p_srm < 0.001:
print("Quyết định: dừng, tìm lỗi chia nhóm")
return
p, p_gop = k / n, k.sum() / n.sum()
se_gop = np.sqrt(p_gop * (1 - p_gop) * (1 / n).sum())
z = (p["B"] - p["A"]) / se_gop
p_value = 2 * stats.norm.sf(abs(z))
se = np.sqrt((p * (1 - p) / n).sum())
kc = 100 * (p["B"] - p["A"] + np.array([-1.96, 1.96]) * se)
rng = np.random.default_rng(100)
mau = rng.beta(1 + k, 1 + n - k, size=(100_000, 2)) * 100
p_nguong = np.mean(mau[:, 1] - mau[:, 0] >= nguong)
print(f"A {100 * p['A']:.2f}% | B {100 * p['B']:.2f}%")
print(f"Chênh {kc.mean():.2f} điểm,", end=" ")
print(f"KTC 95% {kc[0]:.2f} đến {kc[1]:.2f}")
print(f"p-value {p_value:.4f}")
print(f"P(B hơn A ≥ {nguong} điểm): {p_nguong:.2f}")
if p_value < 0.05 and z > 0:
if kc[0] >= nguong:
quyet = "triển khai B"
else:
quyet = "B tốt hơn A, chưa chắc có lãi"
else:
quyet = "giữ A"
print("Quyết định:", quyet)
bao_cao(pd.read_csv("ab_test.csv"), n_chot=7594, nguong=0.5)KẾT QUẢ
SRM: p = 0.552 | đủ cỡ mẫu: True
A 4.60% | B 5.37%
Chênh 0.77 điểm, KTC 95% 0.20 đến 1.34
p-value 0.0079
P(B hơn A ≥ 0.5 điểm): 0.82
Quyết định: B tốt hơn A, chưa chắc có lãiBáo cáo gửi nhóm sản phẩm có thể viết từ đúng các dòng đó: "Sau 4 tuần, mỗi nhóm hơn 11.000 lượt xem, không có lệch tỉ lệ chia. Trang mới đăng ký 5,37% so với 4,60%, chênh 0,77 điểm (KTC 95% từ 0,2 đến 1,34 điểm, p = 0,008). B tốt hơn A, nhưng đầu dưới của khoảng thấp hơn ngưỡng có lãi 0,5 điểm (xác suất vượt ngưỡng khoảng 82%): chạy thêm để thu hẹp khoảng, hoặc tính lại chi phí trước khi triển khai."
Bài tập
Hàm quyết định cho một A/B test
bang là DataFrame có cột phien_ban (chỉ hai giá trị "A" và "B"), luot_xem và chuyen_doi, có thể nhiều dòng cho mỗi phiên bản, như ab_test.csv. Viết thân hàm quyet_dinh(bang, nguong_srm=0.001, alpha=0.05) theo phần thống kê của quy tắc bước 5 (chưa xét ngưỡng kinh doanh):
Cộng
luot_xem,chuyen_doitheophien_ban. Nếu p-value SRM củastats.chisquare()trên hai tổng lượt xem nhỏ hơn hẳnnguong_srm, trả"SRM".Tính p-value hai phía của kiểm định z hai tỉ lệ với tỉ lệ gộp. Nếu p-value lớn hơn hoặc bằng
alpha, trả"chưa rõ".Còn lại, trả
"B"nếu tỉ lệ của B lớn hơn của A, ngược lại trả"A".
Hàm không sửa bang của nơi gọi.
Trả về: một trong bốn chuỗi "SRM", "chưa rõ", "A", "B", một str.
Ví dụ quyet_dinh(pd.read_csv("ab_test.csv")) trả "B".
import numpy as np
import pandas as pd
from scipy import stats
def quyet_dinh(bang, nguong_srm=0.001, alpha=0.05):
pass # Viết thân hàm thay cho dòng nàyThử mở rộng
Gọi
bao_cao(ab[ab["thiet_bi"] == "Di động"], n_chot=7594, nguong=0.5)để thấy riêng di động chưa đủ cỡ mẫu đã chốt.Chạy lại chương trình chỉ với hai tuần đầu (
ab[ab["ngay"] < "2026-03-16"]) để thấy kết luận dừng sớm khác kết luận đủ bốn tuần thế nào.Thêm vào
bao_caomột dòng xác suất B tốt hơn A, và một hình errorbar chênh lệch theo tuần.Đổi MDE ở bước 1 thành 0,5 điểm để thấy cần chạy bao nhiêu tuần cho ngưỡng kinh doanh của bước 4.
Chủ đề
Dữ liệu của bài
- Tải xuống
ab_test.csv
CSV · 3.37 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.