Phân tích A/B test: kiểm định hai tỉ lệ và kết luận
Bài 3/6 · Chương 12
A/B test
- 8 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 12
Phân tích A/B test trả lời hai câu hỏi: chênh lệch tỉ lệ chuyển đổi giữa B và A có vượt mức dao động ngẫu nhiên không (ý nghĩa thống kê)? Nó có đủ lớn để đáng triển khai B không (ý nghĩa kinh doanh)? Cách tính: kiểm định z hai tỉ lệ cho p-value, khoảng tin cậy của chênh lệch p̂_B − p̂_A cho biết chênh lệch thật nằm trong khoảng nào, rồi so khoảng đó với ngưỡng kinh doanh đã đặt trước.
Cần biết trước: A/B test là gì, kiểm định hai tỉ lệ và kiểm định chi bình phương.
Công thức kiểm định và khoảng tin cậy
H₀: p_B = p_A, H₁: p_B ≠ p_A, α = 5%. Khi H₀ đúng, hai nhóm có chung một tỉ lệ, nên sai số chuẩn dùng tỉ lệ gộp:
Trong đó:
p̂ với chỉ số A, B (
k_a / n_a,k_b / n_b): tỉ lệ chuyển đổi của mỗi nhóm.p̂ (
p_gop): tỉ lệ gộp của cả hai nhóm.z: thống kê kiểm định, theo phân phối chuẩn tắc khi H₀ đúng.
Khoảng tin cậy của chênh lệch không giả định H₀, nên mỗi nhóm giữ phương sai riêng:
Trong đó:
z với chỉ số 1 − α/2 (
stats.norm.ppf(0.975)): 1,96 cho khoảng 95%.căn bậc hai (
se): sai số chuẩn của chênh lệch, không gộp.
Tính tay trên dữ liệu bốn tuần
File ab_test.csv là số giả lập của AIDev: 28 ngày thí nghiệm trang đăng ký. Cộng theo phiên bản: A có 517 đăng ký trên 11.251 lượt xem (4,595%), B có 599 trên 11.162 (5,366%). Chênh lệch 0,771 điểm. Tỉ lệ gộp 1.116/22.413 ≈ 4,979%, sai số chuẩn gộp ≈ 0,00291, nên z ≈ 0,00771/0,00291 ≈ 2,65. Khối dưới đi lại các bước:
import math
from scipy import stats
k_a, n_a, k_b, n_b = 517, 11251, 599, 11162
p_a, p_b = k_a / n_a, k_b / n_b
p_gop = (k_a + k_b) / (n_a + n_b)
se_gop = math.sqrt(p_gop * (1 - p_gop) * (1 / n_a + 1 / n_b))
z = (p_b - p_a) / se_gop
p = 2 * stats.norm.sf(abs(z))
se = math.sqrt(p_a * (1 - p_a) / n_a + p_b * (1 - p_b) / n_b)
can = [(p_b - p_a + d * 1.96 * se) * 100 for d in (-1, 1)]
print("z =", round(z, 3), "|", f"p = {p:.3f}")
print("KTC 95% (điểm %):", round(can[0], 2), "đến",
round(can[1], 2))KẾT QUẢ
z = 2.654 | p = 0.008
KTC 95% (điểm %): 0.2 đến 1.34Với z = 2,65, p = 0,008, ở mức ý nghĩa 5% dữ liệu đủ bằng chứng để bác bỏ H₀: tỉ lệ đăng ký của B khác A. Khoảng tin cậy nói B cao hơn A từ khoảng 0,2 đến 1,34 điểm phần trăm.
Đổi 599 thành 540 rồi chạy lại: dòng đầu in z = 0.857 | p = 0.391, chưa đủ bằng chứng để bác bỏ H₀.
Tính bằng pandas và chi2_contingency()
Trên file, gom theo phiên bản rồi dựng bảng 2 × 2 (chuyển đổi, không chuyển đổi). Khi có dữ liệu từng người dùng, pd.crosstab(df["phien_ban"], df["chuyen_doi"]) dựng thẳng bảng này. chi2_contingency() với correction=False cho thống kê bằng z² và cùng p-value:
import numpy as np
import pandas as pd
from scipy import stats
ab = pd.read_csv("ab_test.csv")
gop = ab.groupby("phien_ban")[["luot_xem", "chuyen_doi"]].sum()
bang = np.column_stack([gop["chuyen_doi"],
gop["luot_xem"] - gop["chuyen_doi"]])
print(bang)
kq = stats.chi2_contingency(bang, correction=False)
print("chi² =", round(kq.statistic, 3), "| √chi² =",
round(np.sqrt(kq.statistic), 3), f"| p = {kq.pvalue:.3f}")KẾT QUẢ
[[ 517 10734]
[ 599 10563]]
chi² = 7.045 | √chi² = 2.654 | p = 0.008√chi² = 2,654 khớp z của bảng tính tay.
Mô phỏng: bootstrap khoảng tin cậy của chênh lệch
Bootstrap kiểm lại khoảng tin cậy mà không dùng công thức. Lấy lại có hoàn lại n người từ một nhóm có k chuyển đổi thì số chuyển đổi của mẫu mới theo phân phối nhị thức với tỉ lệ k/n, nên rng.binomial() làm thay việc lấy lại từng người:
import numpy as np
rng = np.random.default_rng(97)
k_a, n_a, k_b, n_b = 517, 11251, 599, 11162
so_lan = 10_000
moi_a = rng.binomial(n_a, k_a / n_a, size=so_lan) / n_a
moi_b = rng.binomial(n_b, k_b / n_b, size=so_lan) / n_b
chenh = (moi_b - moi_a) * 100
duoi, tren = np.percentile(chenh, [2.5, 97.5])
print("Bootstrap KTC 95%:", round(duoi, 2), "đến", round(tren, 2))
print("Tỉ lệ lần B ≤ A:", np.mean(chenh <= 0))KẾT QUẢ
Bootstrap KTC 95%: 0.2 đến 1.33
Tỉ lệ lần B ≤ A: 0.0036Lần chạy này cho khoảng gần trùng công thức, từ khoảng 0,2 đến 1,33 điểm. Đổi default_rng(97) thành default_rng(5) để thấy hai đầu khoảng chỉ xê dịch ở chữ số thập phân thứ hai.
Ý nghĩa thống kê khác ý nghĩa kinh doanh
p = 0,008 nói chênh lệch khó là ngẫu nhiên, chưa nói nó đáng tiền. Giả sử B cần một dịch vụ trả phí, và nhóm sản phẩm đã tính trước rằng B chỉ có lãi khi tăng ít nhất 0,5 điểm phần trăm. Khối dưới vẽ khoảng tin cậy cạnh hai mốc 0 và 0,5:
import matplotlib.pyplot as plt
chenh, duoi, tren = 0.771, 0.202, 1.341
fig, ax = plt.subplots(figsize=(6.4, 4), layout="constrained")
ax.errorbar([chenh], [0], xerr=[[chenh - duoi], [tren - chenh]],
fmt="o", capsize=8, label="Chênh lệch B − A, KTC 95%")
ax.axvline(0, color="grey", linestyle="--",
label="Không chênh lệch")
ax.axvline(0.5, color="C3", label="Ngưỡng có lãi 0,5 điểm")
ax.set(xlabel="Chênh lệch tỉ lệ đăng ký (điểm %)", yticks=[],
title="Có ý nghĩa thống kê, chưa chắc có ý nghĩa kinh doanh")
ax.legend(loc="upper left")
plt.show()Khoảng nằm hẳn bên phải 0 (có ý nghĩa thống kê) nhưng vắt qua ngưỡng 0,5: chênh lệch thật có thể dưới mức có lãi. Bảng đọc bốn trường hợp:
Khoảng tin cậy | Kết luận |
|---|---|
Hẳn trên ngưỡng kinh doanh | Triển khai B |
Trên 0, vắt qua ngưỡng | B tốt hơn A, chưa chắc có lãi: chạy thêm hay cân nhắc chi phí |
Chứa 0 | Chưa đủ bằng chứng; xem khoảng có loại được mức tăng đáng kể không |
Hẳn dưới 0 | Giữ A |
Ngược lại, với cỡ mẫu rất lớn, chênh lệch 0,05 điểm cũng cho p < 0,001 mà vô nghĩa về kinh doanh. Vì vậy kết luận A/B test cần kèm khoảng tin cậy bên cạnh p-value.
Kiểm tra nhanh
Với chênh lệch
0.00771và sai số chuẩn gộp0.00291,print(round(0.00771 / 0.00291, 2))in ra gì?2.650.380.01
p = 0,008 và khoảng tin cậy 95% của chênh lệch là 0,2 đến 1,34 điểm. Ngưỡng có lãi là 0,5 điểm. Câu nào đúng?
- B chắc chắn có lãi vì p < 0,05
- B tốt hơn A có ý nghĩa thống kê, nhưng chênh lệch thật có thể dưới ngưỡng có lãi
- Xác suất H₀ đúng là 0,8%
- Phải giữ A vì khoảng chứa 0,5
Trong khung bẫy, vì sao p của
chi2_contingency(bang)khác p của kiểm định z?- Vì bảng nhập sai thứ tự hàng
- Vì mặc định bảng 2 × 2 có hiệu chỉnh Yates
- Vì chi bình phương là kiểm định một phía
Những điều nào nên có trong kết luận của một A/B test?
- Chênh lệch tuyệt đối và khoảng tin cậy của nó
- p-value cùng H₁ và α đã đặt trước
- Chỉ ghi "B thắng" khi p < 0,05
- So khoảng tin cậy với ngưỡng kinh doanh
Bài tập
Khoảng tin cậy cho chênh lệch tỉ lệ chuyển đổi
Viết thân hàm khoang_chenh(k_a, n_a, k_b, n_b, do_tin_cay=0.95) trả khoảng tin cậy hai phía cho p̂_B − p̂_A theo công thức thứ hai của bài: mỗi nhóm giữ phương sai riêng (không gộp), z là stats.norm.ppf((1 + do_tin_cay) / 2). k_a, k_b là số chuyển đổi, n_a, n_b là số lượt xem, đều là số nguyên, 0 ≤ k ≤ n và n > 0.
Trả về: một tuple (can_duoi, can_tren) gồm hai số thực, tính bằng tỉ lệ (0,002 là 0,2 điểm phần trăm).
Ví dụ khoang_chenh(517, 11251, 599, 11162) cho khoảng (0.00202, 0.01341).
import math
from scipy import stats
def khoang_chenh(k_a, n_a, k_b, n_b, do_tin_cay=0.95):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Kiểm định z hai tỉ lệ dùng sai số chuẩn gộp;
chi2_contingency(bang, correction=False)cho chi² = z² và cùng p.Khoảng tin cậy của p̂_B − p̂_A dùng phương sai riêng từng nhóm; bootstrap bằng
rng.binomial()cho khoảng gần trùng.Ý nghĩa thống kê là chênh lệch khó do ngẫu nhiên; ý nghĩa kinh doanh là chênh lệch đủ lớn để đáng làm.
Kết luận so khoảng tin cậy với 0 và với ngưỡng kinh doanh đặt trước, rồi mới chọn B.
Mặc định
chi2_contingency()hiệu chỉnh Yates trên bảng 2 × 2; ghi rõ phép kiểm định đã dùng.
Câu hỏi thường gặp
Ý nghĩa thống kê trong A/B test là gì?
Là khi p-value nhỏ hơn α đã đặt trước: nếu hai phiên bản thật sự như nhau, chênh lệch cỡ này hiếm khi xuất hiện. Nó không nói chênh lệch lớn hay nhỏ, nên cần đi kèm khoảng tin cậy.
Làm A/B test bằng Python cần những hàm nào?
groupby().sum() để gom số liệu, chi2_contingency() hay công thức z với stats.norm.sf() cho p-value, công thức khoảng tin cậy với stats.norm.ppf(). statsmodels có proportions_ztest() cho cùng kiểm định z nếu đã cài.
p-value lớn thì B và A như nhau?
Không chắc. Chưa đủ bằng chứng để bác bỏ H₀ có thể vì cỡ mẫu nhỏ. Xem khoảng tin cậy: nếu nó còn chứa những mức tăng đáng kể, thí nghiệm chưa trả lời được câu hỏi.
Chủ đề
Dữ liệu của bài
- Tải xuống
ab_test.csv
CSV · 3.37 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.