Bỏ qua đến nội dung chính
Mục lục

Ví dụ A/B test trọn vẹn: trang đăng ký, cỡ mẫu, báo cáo

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 6/6 · Chương 12

A/B test

  • 8 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Ví dụ A/B test này đi trọn một thí nghiệm trên trang đăng ký, theo đúng thứ tự làm thật. Chốt chỉ số và cỡ mẫu trước, kiểm tra lệch tỉ lệ chia (SRM), kiểm định hai tỉ lệ, đọc xác suất B tốt hơn A, rồi viết báo cáo quyết định. Dữ liệu là ab_test.csv, số giả lập của AIDev cho bốn tuần chạy thử.

Cần biết trước: cỡ mẫu A/B test, phân tích A/B test, lỗi A/B test và A/B test Bayes.

Chương trình sẽ làm gì

Trang đăng ký cũ (A) và trang mới rút gọn biểu mẫu (B) được chia ngẫu nhiên 50/50. File ab_test.csv có 112 dòng: mỗi ngày từ 02/03 đến 29/03/2026, mỗi phiên bản, mỗi loại thiết bị (Di động, Máy tính) một dòng, ghi số lượt xem và số lượt đăng ký (chuyen_doi).

Chương trình in một báo cáo ngắn: cỡ mẫu đã chốt, kết quả kiểm tra SRM, tỉ lệ đăng ký hai nhóm, chênh lệch với khoảng tin cậy 95%, p-value, xác suất B tốt hơn A và quyết định cuối. Cuối trang, bạn viết hàm trả quyết định cho một bảng kết quả bất kỳ.

Bước 1: Chốt chỉ số chính và cỡ mẫu trước khi chạy

Kế hoạch ghi trước khi có dữ liệu: chỉ số chính là tỉ lệ đăng ký trên lượt xem, tỉ lệ nền tháng trước là 4,6%. Mức tăng nhỏ nhất đáng làm (MDE) là 1 điểm phần trăm, α = 0,05, lực kiểm định 80%. Công thức của bài cỡ mẫu A/B test:

python
import math
from scipy import stats

p1, mde = 0.046, 0.01
p2 = p1 + mde
z = stats.norm.ppf(0.975) + stats.norm.ppf(0.8)
n = math.ceil(z**2 * (p1 * (1 - p1) + p2 * (1 - p2)) / mde**2)
moi_ngay = 300
so_ngay = math.ceil(n / moi_ngay)
print("Cỡ mẫu mỗi nhóm:", n)
print("Số ngày tối thiểu:", so_ngay)
print("Chạy trọn tuần:", 7 * math.ceil(so_ngay / 7), "ngày")

KẾT QUẢ

Cỡ mẫu mỗi nhóm: 7594
Số ngày tối thiểu: 26
Chạy trọn tuần: 28 ngày

Với ước lượng 300 lượt xem mỗi nhóm mỗi ngày, cần 26 ngày, làm tròn thành 4 tuần để ngày thường và cuối tuần cân nhau. Kế hoạch cũng chốt hai điều: không xem p-value giữa chừng, và chỉ số theo thiết bị chỉ để tham khảo.

Bước 2: Đọc dữ liệu và kiểm tra SRM

Trước khi nhìn tỉ lệ đăng ký, kiểm tra số người hai nhóm có đúng 50/50 như kế hoạch không, với ngưỡng p < 0,001 của bài lỗi A/B test:

python
import pandas as pd
from scipy import stats

ab = pd.read_csv("ab_test.csv")
g = ab.groupby("phien_ban")[["luot_xem", "chuyen_doi"]].sum()
print(g)
p_srm = stats.chisquare(g["luot_xem"].to_numpy()).pvalue
print(f"p-value SRM: {p_srm:.3f}")
print("Đủ cỡ mẫu:", bool((g["luot_xem"] >= 7594).all()))

KẾT QUẢ

           luot_xem  chuyen_doi
phien_ban
A             11251         517
B             11162         599
p-value SRM: 0.552
Đủ cỡ mẫu: True

p-value SRM khoảng 0,55, xa ngưỡng 0,001: không có dấu hiệu chia lệch. Cả hai nhóm vượt 7.594 lượt xem đã chốt, nên được đọc kết quả.

Bước 3: Kiểm định hai tỉ lệ và khoảng tin cậy

Kiểm định z hai tỉ lệ dùng tỉ lệ gộp cho p-value; khoảng tin cậy 95% của chênh lệch dùng sai số chuẩn không gộp, như bài phân tích A/B test:

python
import numpy as np
import pandas as pd
from scipy import stats
ab = pd.read_csv("ab_test.csv")
g = ab.groupby("phien_ban")[["luot_xem", "chuyen_doi"]].sum()
n, k = g["luot_xem"], g["chuyen_doi"]
p, p_gop = k / n, k.sum() / n.sum()
se_gop = np.sqrt(p_gop * (1 - p_gop) * (1 / n["A"] + 1 / n["B"]))
z = (p["B"] - p["A"]) / se_gop
se = np.sqrt((p * (1 - p) / n).sum())
chenh = p["B"] - p["A"]
print("Tỉ lệ (%):", (p * 100).round(2).to_dict())
print(f"z = {z:.3f} | p-value = {2 * stats.norm.sf(abs(z)):.4f}")
kc = 100 * (chenh + np.array([-1.96, 1.96]) * se)
print("KTC 95% (điểm %):", np.round(kc, 2))

KẾT QUẢ

Tỉ lệ (%): {'A': 4.6, 'B': 5.37}
z = 2.654 | p-value = 0.0079
KTC 95% (điểm %): [0.2  1.34]

B đăng ký 5,37% so với 4,60% của A, chênh khoảng 0,77 điểm. p-value khoảng 0,008, dưới 0,05: có bằng chứng B khác A. Khoảng tin cậy từ khoảng 0,2 đến 1,34 điểm nằm trọn bên dương. Nhưng đầu dưới 0,2 thấp hơn ngưỡng có lãi 0,5 điểm mà nhóm sản phẩm đã chốt (bước 4), nên mức tăng thật có thể chưa đáng triển khai. MDE 1 điểm ở bước 1 chỉ dùng để tính cỡ mẫu và lực.

Bước 4: Xác suất B tốt hơn A

Cách Bayes của bài A/B test Bayes cho hai con số dễ đưa vào báo cáo: xác suất B tốt hơn A, và xác suất B hơn A từ 0,5 điểm trở lên. 0,5 điểm là ngưỡng nhóm sản phẩm coi là đáng triển khai:

python
import numpy as np

rng = np.random.default_rng(100)
k_a, n_a, k_b, n_b = 517, 11251, 599, 11162
mau_a = rng.beta(1 + k_a, 1 + n_a - k_a, size=100_000)
mau_b = rng.beta(1 + k_b, 1 + n_b - k_b, size=100_000)
chenh = (mau_b - mau_a) * 100
print("P(B > A):", round(np.mean(chenh > 0), 3))
print("P(B hơn A ≥ 0,5 điểm):", round(np.mean(chenh >= 0.5), 3))
print("P(B hơn A ≥ 1 điểm):", round(np.mean(chenh >= 1), 3))

KẾT QUẢ

P(B > A): 0.996
P(B hơn A ≥ 0,5 điểm): 0.825
P(B hơn A ≥ 1 điểm): 0.216

Lần chạy này cho P(B > A) khoảng 0,996 và P(chênh ≥ 0,5 điểm) khoảng 0,82, nhưng P(chênh ≥ 1 điểm) chỉ khoảng 0,22. Hai cách tần suất và Bayes cùng một hướng.

Bảng theo thiết bị cho thấy mức tăng tập trung ở di động. Đây là nhóm con nên chỉ là gợi ý cho thí nghiệm sau, không đổi quyết định:

python
import pandas as pd

ab = pd.read_csv("ab_test.csv")
nhom = ab.groupby(["thiet_bi", "phien_ban"])
g = nhom[["luot_xem", "chuyen_doi"]].sum()
ty_le = (g["chuyen_doi"] / g["luot_xem"] * 100).unstack().round(2)
print(ty_le)

KẾT QUẢ

phien_ban     A     B
thiet_bi
Di động    3.85  4.99
Máy tính   6.34  6.26

Bước 5: Ghép thành chương trình hoàn chỉnh

Chương trình dưới gói các bước thành hàm bao_cao(ab, n_chot, nguong) in báo cáo quyết định. Quy tắc quyết định chốt trước, theo bảng của bài phân tích A/B test:

  1. Có SRM thì dừng.

  2. p-value < 0,05, B hơn A và đầu dưới khoảng tin cậy từ ngưỡng nguong trở lên: triển khai B.

  3. p-value < 0,05, B hơn A nhưng đầu dưới chưa tới ngưỡng: B tốt hơn A, chưa chắc có lãi.

  4. Còn lại: giữ A.

python
import numpy as np
import pandas as pd
from scipy import stats


def bao_cao(ab, n_chot, nguong):
    g = ab.groupby("phien_ban")[["luot_xem", "chuyen_doi"]].sum()
    n, k = g["luot_xem"], g["chuyen_doi"]
    p_srm = stats.chisquare(n.to_numpy()).pvalue
    du = bool((n >= n_chot).all())
    print(f"SRM: p = {p_srm:.3f} | đủ cỡ mẫu: {du}")
    if p_srm < 0.001:
        print("Quyết định: dừng, tìm lỗi chia nhóm")
        return
    p, p_gop = k / n, k.sum() / n.sum()
    se_gop = np.sqrt(p_gop * (1 - p_gop) * (1 / n).sum())
    z = (p["B"] - p["A"]) / se_gop
    p_value = 2 * stats.norm.sf(abs(z))
    se = np.sqrt((p * (1 - p) / n).sum())
    kc = 100 * (p["B"] - p["A"] + np.array([-1.96, 1.96]) * se)
    rng = np.random.default_rng(100)
    mau = rng.beta(1 + k, 1 + n - k, size=(100_000, 2)) * 100
    p_nguong = np.mean(mau[:, 1] - mau[:, 0] >= nguong)
    print(f"A {100 * p['A']:.2f}% | B {100 * p['B']:.2f}%")
    print(f"Chênh {kc.mean():.2f} điểm,", end=" ")
    print(f"KTC 95% {kc[0]:.2f} đến {kc[1]:.2f}")
    print(f"p-value {p_value:.4f}")
    print(f"P(B hơn A ≥ {nguong} điểm): {p_nguong:.2f}")
    if p_value < 0.05 and z > 0:
        if kc[0] >= nguong:
            quyet = "triển khai B"
        else:
            quyet = "B tốt hơn A, chưa chắc có lãi"
    else:
        quyet = "giữ A"
    print("Quyết định:", quyet)


bao_cao(pd.read_csv("ab_test.csv"), n_chot=7594, nguong=0.5)

KẾT QUẢ

SRM: p = 0.552 | đủ cỡ mẫu: True
A 4.60% | B 5.37%
Chênh 0.77 điểm, KTC 95% 0.20 đến 1.34
p-value 0.0079
P(B hơn A ≥ 0.5 điểm): 0.82
Quyết định: B tốt hơn A, chưa chắc có lãi

Báo cáo gửi nhóm sản phẩm có thể viết từ đúng các dòng đó: "Sau 4 tuần, mỗi nhóm hơn 11.000 lượt xem, không có lệch tỉ lệ chia. Trang mới đăng ký 5,37% so với 4,60%, chênh 0,77 điểm (KTC 95% từ 0,2 đến 1,34 điểm, p = 0,008). B tốt hơn A, nhưng đầu dưới của khoảng thấp hơn ngưỡng có lãi 0,5 điểm (xác suất vượt ngưỡng khoảng 82%): chạy thêm để thu hẹp khoảng, hoặc tính lại chi phí trước khi triển khai."

Bài tập

Hàm quyết định cho một A/B test

bang là DataFrame có cột phien_ban (chỉ hai giá trị "A" và "B"), luot_xem và chuyen_doi, có thể nhiều dòng cho mỗi phiên bản, như ab_test.csv. Viết thân hàm quyet_dinh(bang, nguong_srm=0.001, alpha=0.05) theo phần thống kê của quy tắc bước 5 (chưa xét ngưỡng kinh doanh):

  1. Cộng luot_xem, chuyen_doi theo phien_ban. Nếu p-value SRM của stats.chisquare() trên hai tổng lượt xem nhỏ hơn hẳn nguong_srm, trả "SRM".

  2. Tính p-value hai phía của kiểm định z hai tỉ lệ với tỉ lệ gộp. Nếu p-value lớn hơn hoặc bằng alpha, trả "chưa rõ".

  3. Còn lại, trả "B" nếu tỉ lệ của B lớn hơn của A, ngược lại trả "A".

Hàm không sửa bang của nơi gọi.

Trả về: một trong bốn chuỗi "SRM", "chưa rõ", "A", "B", một str.

Ví dụ quyet_dinh(pd.read_csv("ab_test.csv")) trả "B".

python
import numpy as np
import pandas as pd
from scipy import stats


def quyet_dinh(bang, nguong_srm=0.001, alpha=0.05):
    pass  # Viết thân hàm thay cho dòng này

Thử mở rộng

  • Gọi bao_cao(ab[ab["thiet_bi"] == "Di động"], n_chot=7594, nguong=0.5) để thấy riêng di động chưa đủ cỡ mẫu đã chốt.

  • Chạy lại chương trình chỉ với hai tuần đầu (ab[ab["ngay"] < "2026-03-16"]) để thấy kết luận dừng sớm khác kết luận đủ bốn tuần thế nào.

  • Thêm vào bao_cao một dòng xác suất B tốt hơn A, và một hình errorbar chênh lệch theo tuần.

  • Đổi MDE ở bước 1 thành 0,5 điểm để thấy cần chạy bao nhiêu tuần cho ngưỡng kinh doanh của bước 4.

Chủ đề

ví dụ a b test

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập