Bỏ qua đến nội dung chính
Mục lục

Phân tích A/B test: kiểm định hai tỉ lệ và kết luận

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 3/6 · Chương 12

A/B test

  • 8 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Phân tích A/B test trả lời hai câu hỏi: chênh lệch tỉ lệ chuyển đổi giữa B và A có vượt mức dao động ngẫu nhiên không (ý nghĩa thống kê)? Nó có đủ lớn để đáng triển khai B không (ý nghĩa kinh doanh)? Cách tính: kiểm định z hai tỉ lệ cho p-value, khoảng tin cậy của chênh lệch p̂_B − p̂_A cho biết chênh lệch thật nằm trong khoảng nào, rồi so khoảng đó với ngưỡng kinh doanh đã đặt trước.

Cần biết trước: A/B test là gì, kiểm định hai tỉ lệ và kiểm định chi bình phương.

Công thức kiểm định và khoảng tin cậy

H₀: p_B = p_A, H₁: p_B ≠ p_A, α = 5%. Khi H₀ đúng, hai nhóm có chung một tỉ lệ, nên sai số chuẩn dùng tỉ lệ gộp:

z=p^B−p^Ap^(1−p^)(1nA+1nB),p^=kA+kBnA+nBz = \frac{\hat{p}_B - \hat{p}_A}{\sqrt{\hat{p}(1-\hat{p})\left(\frac{1}{n_A} + \frac{1}{n_B}\right)}}, \qquad \hat{p} = \frac{k_A + k_B}{n_A + n_B}

Trong đó:

  • p̂ với chỉ số A, B (k_a / n_a, k_b / n_b): tỉ lệ chuyển đổi của mỗi nhóm.

  • p̂ (p_gop): tỉ lệ gộp của cả hai nhóm.

  • z: thống kê kiểm định, theo phân phối chuẩn tắc khi H₀ đúng.

Khoảng tin cậy của chênh lệch không giả định H₀, nên mỗi nhóm giữ phương sai riêng:

(p^B−p^A)±z1−α/2p^A(1−p^A)nA+p^B(1−p^B)nB(\hat{p}_B - \hat{p}_A) \pm z_{1-\alpha/2}\sqrt{\frac{\hat{p}_A(1-\hat{p}_A)}{n_A} + \frac{\hat{p}_B(1-\hat{p}_B)}{n_B}}

Trong đó:

  • z với chỉ số 1 − α/2 (stats.norm.ppf(0.975)): 1,96 cho khoảng 95%.

  • căn bậc hai (se): sai số chuẩn của chênh lệch, không gộp.

Tính tay trên dữ liệu bốn tuần

File ab_test.csv là số giả lập của AIDev: 28 ngày thí nghiệm trang đăng ký. Cộng theo phiên bản: A có 517 đăng ký trên 11.251 lượt xem (4,595%), B có 599 trên 11.162 (5,366%). Chênh lệch 0,771 điểm. Tỉ lệ gộp 1.116/22.413 ≈ 4,979%, sai số chuẩn gộp ≈ 0,00291, nên z ≈ 0,00771/0,00291 ≈ 2,65. Khối dưới đi lại các bước:

python
import math
from scipy import stats

k_a, n_a, k_b, n_b = 517, 11251, 599, 11162
p_a, p_b = k_a / n_a, k_b / n_b
p_gop = (k_a + k_b) / (n_a + n_b)
se_gop = math.sqrt(p_gop * (1 - p_gop) * (1 / n_a + 1 / n_b))
z = (p_b - p_a) / se_gop
p = 2 * stats.norm.sf(abs(z))
se = math.sqrt(p_a * (1 - p_a) / n_a + p_b * (1 - p_b) / n_b)
can = [(p_b - p_a + d * 1.96 * se) * 100 for d in (-1, 1)]
print("z =", round(z, 3), "|", f"p = {p:.3f}")
print("KTC 95% (điểm %):", round(can[0], 2), "đến",
      round(can[1], 2))

KẾT QUẢ

z = 2.654 | p = 0.008
KTC 95% (điểm %): 0.2 đến 1.34

Với z = 2,65, p = 0,008, ở mức ý nghĩa 5% dữ liệu đủ bằng chứng để bác bỏ H₀: tỉ lệ đăng ký của B khác A. Khoảng tin cậy nói B cao hơn A từ khoảng 0,2 đến 1,34 điểm phần trăm.

Đổi 599 thành 540 rồi chạy lại: dòng đầu in z = 0.857 | p = 0.391, chưa đủ bằng chứng để bác bỏ H₀.

Tính bằng pandas và chi2_contingency()

Trên file, gom theo phiên bản rồi dựng bảng 2 × 2 (chuyển đổi, không chuyển đổi). Khi có dữ liệu từng người dùng, pd.crosstab(df["phien_ban"], df["chuyen_doi"]) dựng thẳng bảng này. chi2_contingency() với correction=False cho thống kê bằng z² và cùng p-value:

python
import numpy as np
import pandas as pd
from scipy import stats

ab = pd.read_csv("ab_test.csv")
gop = ab.groupby("phien_ban")[["luot_xem", "chuyen_doi"]].sum()
bang = np.column_stack([gop["chuyen_doi"],
                        gop["luot_xem"] - gop["chuyen_doi"]])
print(bang)
kq = stats.chi2_contingency(bang, correction=False)
print("chi² =", round(kq.statistic, 3), "| √chi² =",
      round(np.sqrt(kq.statistic), 3), f"| p = {kq.pvalue:.3f}")

KẾT QUẢ

[[  517 10734]
 [  599 10563]]
chi² = 7.045 | √chi² = 2.654 | p = 0.008

√chi² = 2,654 khớp z của bảng tính tay.

Mô phỏng: bootstrap khoảng tin cậy của chênh lệch

Bootstrap kiểm lại khoảng tin cậy mà không dùng công thức. Lấy lại có hoàn lại n người từ một nhóm có k chuyển đổi thì số chuyển đổi của mẫu mới theo phân phối nhị thức với tỉ lệ k/n, nên rng.binomial() làm thay việc lấy lại từng người:

python
import numpy as np

rng = np.random.default_rng(97)
k_a, n_a, k_b, n_b = 517, 11251, 599, 11162
so_lan = 10_000
moi_a = rng.binomial(n_a, k_a / n_a, size=so_lan) / n_a
moi_b = rng.binomial(n_b, k_b / n_b, size=so_lan) / n_b
chenh = (moi_b - moi_a) * 100
duoi, tren = np.percentile(chenh, [2.5, 97.5])
print("Bootstrap KTC 95%:", round(duoi, 2), "đến", round(tren, 2))
print("Tỉ lệ lần B ≤ A:", np.mean(chenh <= 0))

KẾT QUẢ

Bootstrap KTC 95%: 0.2 đến 1.33
Tỉ lệ lần B ≤ A: 0.0036

Lần chạy này cho khoảng gần trùng công thức, từ khoảng 0,2 đến 1,33 điểm. Đổi default_rng(97) thành default_rng(5) để thấy hai đầu khoảng chỉ xê dịch ở chữ số thập phân thứ hai.

Ý nghĩa thống kê khác ý nghĩa kinh doanh

p = 0,008 nói chênh lệch khó là ngẫu nhiên, chưa nói nó đáng tiền. Giả sử B cần một dịch vụ trả phí, và nhóm sản phẩm đã tính trước rằng B chỉ có lãi khi tăng ít nhất 0,5 điểm phần trăm. Khối dưới vẽ khoảng tin cậy cạnh hai mốc 0 và 0,5:

python
import matplotlib.pyplot as plt

chenh, duoi, tren = 0.771, 0.202, 1.341
fig, ax = plt.subplots(figsize=(6.4, 4), layout="constrained")
ax.errorbar([chenh], [0], xerr=[[chenh - duoi], [tren - chenh]],
            fmt="o", capsize=8, label="Chênh lệch B − A, KTC 95%")
ax.axvline(0, color="grey", linestyle="--",
           label="Không chênh lệch")
ax.axvline(0.5, color="C3", label="Ngưỡng có lãi 0,5 điểm")
ax.set(xlabel="Chênh lệch tỉ lệ đăng ký (điểm %)", yticks=[],
       title="Có ý nghĩa thống kê, chưa chắc có ý nghĩa kinh doanh")
ax.legend(loc="upper left")
plt.show()
Một chấm tại 0,77 điểm phần trăm với thanh khoảng tin cậy từ 0,2 đến 1,34; vạch đứt xám tại 0 nằm ngoài thanh, vạch đỏ ngưỡng có lãi 0,5 cắt ngang thanh.

Khoảng nằm hẳn bên phải 0 (có ý nghĩa thống kê) nhưng vắt qua ngưỡng 0,5: chênh lệch thật có thể dưới mức có lãi. Bảng đọc bốn trường hợp:

Khoảng tin cậy

Kết luận

Hẳn trên ngưỡng kinh doanh

Triển khai B

Trên 0, vắt qua ngưỡng

B tốt hơn A, chưa chắc có lãi: chạy thêm hay cân nhắc chi phí

Chứa 0

Chưa đủ bằng chứng; xem khoảng có loại được mức tăng đáng kể không

Hẳn dưới 0

Giữ A

Ngược lại, với cỡ mẫu rất lớn, chênh lệch 0,05 điểm cũng cho p < 0,001 mà vô nghĩa về kinh doanh. Vì vậy kết luận A/B test cần kèm khoảng tin cậy bên cạnh p-value.

Kiểm tra nhanh

  1. Với chênh lệch 0.00771 và sai số chuẩn gộp 0.00291, print(round(0.00771 / 0.00291, 2)) in ra gì?

    • 2.65
    • 0.38
    • 0.01
  2. p = 0,008 và khoảng tin cậy 95% của chênh lệch là 0,2 đến 1,34 điểm. Ngưỡng có lãi là 0,5 điểm. Câu nào đúng?

    • B chắc chắn có lãi vì p < 0,05
    • B tốt hơn A có ý nghĩa thống kê, nhưng chênh lệch thật có thể dưới ngưỡng có lãi
    • Xác suất H₀ đúng là 0,8%
    • Phải giữ A vì khoảng chứa 0,5
  3. Trong khung bẫy, vì sao p của chi2_contingency(bang) khác p của kiểm định z?

    • Vì bảng nhập sai thứ tự hàng
    • Vì mặc định bảng 2 × 2 có hiệu chỉnh Yates
    • Vì chi bình phương là kiểm định một phía
  4. Những điều nào nên có trong kết luận của một A/B test?

    • Chênh lệch tuyệt đối và khoảng tin cậy của nó
    • p-value cùng H₁ và α đã đặt trước
    • Chỉ ghi "B thắng" khi p < 0,05
    • So khoảng tin cậy với ngưỡng kinh doanh
Đúng hết lần đầu +15 XP

Bài tập

Khoảng tin cậy cho chênh lệch tỉ lệ chuyển đổi

Viết thân hàm khoang_chenh(k_a, n_a, k_b, n_b, do_tin_cay=0.95) trả khoảng tin cậy hai phía cho p̂_B − p̂_A theo công thức thứ hai của bài: mỗi nhóm giữ phương sai riêng (không gộp), z là stats.norm.ppf((1 + do_tin_cay) / 2). k_a, k_b là số chuyển đổi, n_a, n_b là số lượt xem, đều là số nguyên, 0 ≤ k ≤ n và n > 0.

Trả về: một tuple (can_duoi, can_tren) gồm hai số thực, tính bằng tỉ lệ (0,002 là 0,2 điểm phần trăm).

Ví dụ khoang_chenh(517, 11251, 599, 11162) cho khoảng (0.00202, 0.01341).

python
import math
from scipy import stats


def khoang_chenh(k_a, n_a, k_b, n_b, do_tin_cay=0.95):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • Kiểm định z hai tỉ lệ dùng sai số chuẩn gộp; chi2_contingency(bang, correction=False) cho chi² = z² và cùng p.

  • Khoảng tin cậy của p̂_B − p̂_A dùng phương sai riêng từng nhóm; bootstrap bằng rng.binomial() cho khoảng gần trùng.

  • Ý nghĩa thống kê là chênh lệch khó do ngẫu nhiên; ý nghĩa kinh doanh là chênh lệch đủ lớn để đáng làm.

  • Kết luận so khoảng tin cậy với 0 và với ngưỡng kinh doanh đặt trước, rồi mới chọn B.

  • Mặc định chi2_contingency() hiệu chỉnh Yates trên bảng 2 × 2; ghi rõ phép kiểm định đã dùng.

Câu hỏi thường gặp

Ý nghĩa thống kê trong A/B test là gì?

Là khi p-value nhỏ hơn α đã đặt trước: nếu hai phiên bản thật sự như nhau, chênh lệch cỡ này hiếm khi xuất hiện. Nó không nói chênh lệch lớn hay nhỏ, nên cần đi kèm khoảng tin cậy.

Làm A/B test bằng Python cần những hàm nào?

groupby().sum() để gom số liệu, chi2_contingency() hay công thức z với stats.norm.sf() cho p-value, công thức khoảng tin cậy với stats.norm.ppf(). statsmodels có proportions_ztest() cho cùng kiểm định z nếu đã cài.

p-value lớn thì B và A như nhau?

Không chắc. Chưa đủ bằng chứng để bác bỏ H₀ có thể vì cỡ mẫu nhỏ. Xem khoảng tin cậy: nếu nó còn chứa những mức tăng đáng kể, thí nghiệm chưa trả lời được câu hỏi.

Chủ đề

phân tích a b test

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập