Bỏ qua đến nội dung chính
Mục lục

A/B test là gì: giả thuyết, chỉ số chính, chia ngẫu nhiên

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 1/6 · Chương 12

A/B test

  • 9 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

A/B test (còn viết AB test) là thí nghiệm chia ngẫu nhiên người dùng thành hai nhóm chạy song song, rồi so một chỉ số chính đã chọn trước. Nhóm A thấy phiên bản đang chạy, nhóm B thấy phiên bản mới. Cách tính kết quả: tỉ lệ chuyển đổi của mỗi nhóm là số chuyển đổi chia số lượt xem, và kiểm định giả thuyết cho biết chênh lệch có vượt mức dao động ngẫu nhiên không.

Cần biết trước: kiểm định giả thuyết, số ngẫu nhiên với NumPy và mô phỏng bằng NumPy.

Công thức và bốn quyết định trước khi chạy

Một A/B test trên trang đăng ký so tỉ lệ chuyển đổi của hai phiên bản:

p^A=kAnA,p^B=kBnB,Δ^=p^B−p^A\hat{p}_A = \frac{k_A}{n_A}, \qquad \hat{p}_B = \frac{k_B}{n_B}, \qquad \hat{\Delta} = \hat{p}_B - \hat{p}_A

Trong đó:

  • n với chỉ số A, B (luot_xem): số người dùng mỗi nhóm được thấy trang.

  • k với chỉ số A, B (chuyen_doi): số người dùng mỗi nhóm đăng ký.

  • p̂ với chỉ số A, B: tỉ lệ chuyển đổi đo được của mỗi nhóm.

  • Δ̂: chênh lệch tuyệt đối, tính bằng điểm phần trăm.

Bốn quyết định được ghi lại trước khi xem số:

  1. Giả thuyết: H₀: p_B = p_A, H₁: p_B ≠ p_A, mức ý nghĩa α = 5%.

  2. Chỉ số chính (primary metric): một chỉ số quyết định thắng thua, ở đây là tỉ lệ đăng ký. Các chỉ số khác (thời gian trên trang, tỉ lệ thoát) chỉ để theo dõi.

  3. Đơn vị chia: mỗi người dùng (thay cho mỗi lượt xem), để một người không thấy cả hai phiên bản. Trong bộ dữ liệu của tutorial, mỗi lượt xem (luot_xem) là một người dùng khác nhau, nên n của kiểm định đếm người dùng.

  4. Cỡ mẫu và thời gian chạy: tính trước, chạy đủ rồi mới kết luận (bài cỡ mẫu A/B test).

Tính tay một kết quả

Một tuần chạy thử: nhóm A có 1.000 người xem, 46 người đăng ký; nhóm B có 1.000 người xem, 54 người đăng ký. Vậy p̂_A = 4,6%, p̂_B = 5,4%, Δ̂ = 0,8 điểm phần trăm. Tính theo tỉ lệ thì B cao hơn A 0,8/4,6 ≈ 17%, con số nghe lớn hơn nhiều dù là cùng một chênh lệch:

python
nhom = {"A": (46, 1000), "B": (54, 1000)}
ty_le = {ten: k / n for ten, (k, n) in nhom.items()}
for ten, p in ty_le.items():
    print(ten, f"{p:.1%}")
chenh = ty_le["B"] - ty_le["A"]
print("Chênh lệch tuyệt đối:", round(chenh * 100, 2), "điểm %")
print("Chênh lệch tương đối:", f"{chenh / ty_le['A']:.1%}")

KẾT QUẢ

A 4.6%
B 5.4%
Chênh lệch tuyệt đối: 0.8 điểm %
Chênh lệch tương đối: 17.4%

Báo cáo nên ghi cả hai, và nói rõ số nào là tuyệt đối. Với 1.000 người mỗi nhóm, chênh 0,8 điểm vẫn nằm trong mức dao động ngẫu nhiên. Bài phân tích A/B test kiểm định điều đó.

Đổi (54, 1000) thành (46, 1000) rồi chạy lại: dòng tuyệt đối in Chênh lệch tuyệt đối: 0.0 điểm %.

Chia ngẫu nhiên người dùng bằng NumPy và bằng mã người dùng

Trong mô phỏng, rng.choice() gán mỗi người một nhóm. Trên trang thật, cần một cách chia ổn định: cùng người dùng quay lại thì vẫn vào nhóm cũ. Cách thường dùng là băm mã người dùng thành một số u trong [0, 1), rồi cho vào B khi u nhỏ hơn tỉ lệ dành cho B:

python
import hashlib

def chia_nhom(ma, ti_le_b=0.5):
    hex8 = hashlib.sha256(ma.encode("utf-8")).hexdigest()[:8]
    u = int(hex8, 16) / 16 ** 8
    return "B" if u < ti_le_b else "A"

ma_kh = [f"kh{i:05d}" for i in range(10)]
print([chia_nhom(m) for m in ma_kh])
print("Gọi lại kh00004:", chia_nhom("kh00004"))

KẾT QUẢ

['A', 'A', 'A', 'A', 'B', 'A', 'B', 'B', 'B', 'A']
Gọi lại kh00004: B

Mười người chưa chia đều 5 và 5, như tung đồng xu mười lần. Với hàng nghìn người, tỉ lệ vào B tiến gần 50%. Hàm hashlib.sha256() cho cùng kết quả ở các lần chạy, còn hash() dựng sẵn của Python đổi giữa các lần chạy chương trình, nên không dùng được để chia nhóm.

Mô phỏng: vì sao phải chia ngẫu nhiên

Khối dưới tạo 20.000 người dùng, 60% dùng di động. Tỉ lệ đăng ký là 3% trên di động, 6% trên máy tính, và B không có tác dụng gì (bài tự sinh dữ liệu nên biết điều đó). Cách chia thứ nhất để người dùng tự chọn: người dùng di động bấm thử phiên bản mới nhiều hơn. Cách thứ hai chia ngẫu nhiên:

python
import numpy as np

rng = np.random.default_rng(95)
n = 20_000
di_dong = rng.random(n) < 0.6
dang_ky = rng.random(n) < np.where(di_dong, 0.03, 0.06)
chon_b = rng.random(n) < np.where(di_dong, 0.7, 0.3)
tu_chon = np.where(chon_b, "B", "A")
ngau_nhien = rng.choice(["A", "B"], size=n)
for ten, nhom in [("Tự chọn", tu_chon), ("Ngẫu nhiên", ngau_nhien)]:
    a, b = dang_ky[nhom == "A"].mean(), dang_ky[nhom == "B"].mean()
    phan_di_dong = di_dong[nhom == "B"].mean()
    print(ten, f"A {a:.2%} | B {b:.2%}",
          f"| di động trong B {phan_di_dong:.0%}")

KẾT QUẢ

Tự chọn A 4.55% | B 3.67% | di động trong B 78%
Ngẫu nhiên A 3.93% | B 4.22% | di động trong B 60%

Lần chạy này cho cách tự chọn một chênh lệch gần 0,9 điểm phần trăm nghiêng về A, dù B vô hại: nhóm B phần lớn là người dùng di động, vốn ít đăng ký. Đó là biến gây nhiễu của bài nghịch lý Simpson. Chia ngẫu nhiên làm tỉ lệ di động hai nhóm gần bằng nhau, nên chênh lệch còn lại chỉ là dao động ngẫu nhiên.

Chạy bao lâu thì đủ

Hai điều kiện, cùng phải đạt. Thứ nhất là đủ cỡ mẫu đã tính trước. Thứ hai là chạy trọn tuần (7, 14 hay 28 ngày), vì hành vi người dùng đổi theo ngày trong tuần. Khối dưới vẽ tỉ lệ đăng ký mỗi ngày của bốn tuần giả lập, cuối tuần thấp hơn ngày thường:

python
import numpy as np
import matplotlib.pyplot as plt

rng = np.random.default_rng(95)
ngay = np.arange(28)
nen = np.where(ngay % 7 >= 5, 0.035, 0.05)
ty_le = rng.binomial(5_000, nen) / 5_000
fig, ax = plt.subplots(figsize=(6.4, 4), layout="constrained")
ax.plot(ngay + 1, ty_le * 100, marker="o")
for tuan in (7, 14, 21):
    ax.axvline(tuan + 0.5, color="grey", linestyle="--")
ax.set(xlabel="Ngày thứ", ylabel="Tỉ lệ đăng ký (%)",
       title="Bốn tuần giả lập, hai ngày cuối mỗi tuần thấp hơn")
plt.show()
Đường tỉ lệ đăng ký mỗi ngày trong 28 ngày, chia bốn tuần bằng ba vạch đứt; ngày thường quanh 4,5 đến 5,5%, cứ hai ngày cuối mỗi tuần tụt xuống khoảng 3,4%.

Dừng ở ngày 10 thì mẫu có hai tuần thường mà chỉ một cuối tuần, nên tỉ lệ đo được lệch khỏi tỉ lệ cả tuần. Thêm một quy tắc: không dừng sớm khi thấy B "thắng" giữa chừng. Bài lỗi A/B test mô phỏng vì sao.

Kiểm tra nhanh

  1. Với k_a, n_a, k_b, n_b = 30, 1000, 36, 1000, print(round((k_b / n_b - k_a / n_a) * 100, 2)) in ra gì?

    • 0.6
    • 20.0
    • 6.0
  2. Vì sao A/B test chia người dùng ngẫu nhiên?

    • Để mỗi nhóm có đúng bằng nhau số người dùng
    • Để các đặc điểm như thiết bị, giờ truy cập phân bố gần như nhau ở hai nhóm
    • Để B chắc chắn thắng nếu B tốt hơn
    • Để không cần kiểm định giả thuyết
  3. Trong khung bẫy chia theo ngày, vì sao B có vẻ kém hơn A?

    • Vì phiên bản B tệ hơn
    • Vì B rơi vào những ngày vốn ít đăng ký
    • Vì rng.binomial() thiên về A
  4. Những quyết định nào phải ghi lại trước khi xem kết quả?

    • Chỉ số chính
    • Cỡ mẫu và thời gian chạy
    • Phiên bản nào thắng
    • Mức ý nghĩa α và H₁ một phía hay hai phía
Đúng hết lần đầu +15 XP

Bài tập

Chia người dùng vào A hay B theo mã

Viết thân hàm chia_nhom(ma, ti_le_b=0.5) chia ổn định một người dùng vào nhóm: lấy hashlib.sha256() của chuỗi ma (mã hóa UTF-8), lấy 8 ký tự hex đầu của hexdigest(), đổi thành số nguyên cơ số 16, chia cho 16⁸ được u trong [0, 1). Trả "B" khi u nhỏ hơn ti_le_b, còn lại "A". ti_le_b từ 0 đến 1.

Không dùng hash() dựng sẵn của Python, vì nó đổi giữa các lần chạy.

Trả về: tên nhóm, một str là "A" hoặc "B".

Ví dụ chia_nhom("kh002") cho "B", còn chia_nhom("kh001") cho "A".

python
import hashlib


def chia_nhom(ma, ti_le_b=0.5):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • A/B test chia ngẫu nhiên người dùng thành hai nhóm chạy song song và so một chỉ số chính đã chọn trước.

  • Tỉ lệ chuyển đổi p̂ = k/n; báo cáo chênh lệch tuyệt đối (điểm phần trăm) cùng chênh lệch tương đối.

  • Chia theo lựa chọn của người dùng hay theo ngày tạo ra biến gây nhiễu; chia ngẫu nhiên cắt được nó.

  • Chia ổn định bằng cách băm mã người dùng (hashlib), không bằng hash().

  • Chạy đủ cỡ mẫu tính trước và trọn tuần, không dừng sớm khi thấy B thắng.

Câu hỏi thường gặp

A/B testing khác thử nghiệm bình thường ở đâu?

A/B testing là thí nghiệm có nhóm đối chứng (A) chạy song song và chia ngẫu nhiên. Đổi trang rồi so tuần này với tuần trước thì không có hai điều đó, nên không tách được tác dụng của thay đổi khỏi những gì khác đã đổi.

Có thể thử nhiều phiên bản cùng lúc không?

Có, gọi là A/B/n test, chia người dùng thành nhiều nhóm. Mỗi phiên bản thêm là một phép so sánh thêm, nên cần cỡ mẫu lớn hơn và điều chỉnh cho nhiều phép so sánh.

Chỉ số chính nên chọn thế nào?

Chọn chỉ số gần với mục tiêu của thay đổi và đo được trong thời gian chạy: thay trang đăng ký thì chọn tỉ lệ đăng ký. Một chỉ số chính giữ kết luận rõ ràng; theo dõi thêm vài chỉ số bảo vệ (tỉ lệ lỗi, thời gian tải) để chắc B không làm hỏng thứ khác.

Chủ đề

a b test là gì

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập