Permutation test: kiểm định hoán vị với scipy.stats
Bài 5/7 · Chương 9
Kiểm định giả thuyết: ý tưởng
- 8 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 10
Permutation test, hay kiểm định hoán vị, so hai nhóm bằng cách xáo nhãn: nếu nhãn nhóm không liên quan gì tới số đo (H₀), thì xáo nhãn ngẫu nhiên cũng cho hiệu số lớn cỡ hiệu số thật. Cách tính chỉ cần xáo nhiều lần, tính lại hiệu số mỗi lần và đếm tỉ lệ lần xáo lệch ít nhất như dữ liệu; không cần công thức phân phối, nên dùng được cho trung vị hay bất kỳ thống kê nào.
Cần biết trước: p-value, kiểm định giả thuyết, số ngẫu nhiên với default_rng, mô phỏng Monte Carlo và mảng NumPy.
Ý tưởng xáo nhãn và công thức
Hai hãng giao hàng, mỗi hãng 3 đơn nội tỉnh, thời gian giao tính bằng giờ: Hãng A 27, 28, 30; Hãng B 23, 25, 26. Trung bình A là 85/3, B là 74/3, hiệu d = 11/3 ≈ 3,67 giờ.
H₀: nhãn hãng không liên quan tới thời gian giao, sáu con số là sáu đơn như nhau, chia ngẫu nhiên vào hai hãng. H₁: hai hãng có thời gian giao khác nhau (hai phía). Nếu H₀ đúng, mọi cách chia sáu số thành hai nhóm 3 đều có khả năng như nhau, nên p-value là tỉ lệ cách chia cho hiệu số lệch ít nhất như d:
Trong đó:
d (
d): hiệu trung bình quan sát, nhóm A trừ nhóm B.B (
so_lan): số lần xáo nhãn.d với chỉ số k (
d_moi): hiệu trung bình sau lần xáo thứ k.Dấu 1[…]: bằng 1 khi điều trong ngoặc đúng, 0 khi sai.
Với 6 đơn, chỉ có C(6, 3) = 20 cách chia, nên ta liệt kê đủ thay cho xáo ngẫu nhiên, và dấu ≈ thành dấu bằng:
Bước | Việc | Kết quả |
|---|---|---|
1 | Số cách chia 6 đơn thành hai nhóm 3 | 20 |
2 | Cách chia cho |hiệu| ≥ 3,67 | 2 (chia thật và chia ngược) |
3 | p = 2 / 20 | 0,1 |
from itertools import combinations
import numpy as np
gop = np.array([27, 28, 30, 23, 25, 26])
d = gop[:3].mean() - gop[3:].mean()
dem = 0
for nhom_a in combinations(range(6), 3):
a = gop[list(nhom_a)]
b = np.delete(gop, list(nhom_a))
dem += abs(a.mean() - b.mean()) >= abs(d)
print(f"Hiệu quan sát: {d:.2f} giờ")
print("Cách chia lệch ít nhất như vậy:", dem, "trên 20")KẾT QUẢ
Hiệu quan sát: 3.67 giờ
Cách chia lệch ít nhất như vậy: 2 trên 20Đây là giá trị lệch nhất có thể: không cách chia nào cho hiệu lớn hơn. Vậy mà p = 0,1 > 0,05: với 3 đơn mỗi nhóm, kiểm định hoán vị hai phía không bao giờ bác bỏ được H₀ ở mức 5%, vì p nhỏ nhất là 2/20.
Tự viết permutation test bằng NumPy trên dữ liệu thật
File giao_hang.csv là số giả lập của AIDev: 800 đơn của hai hãng, cột thoi_gian_gio. Ta chỉ lấy đơn ngoại thành để hai nhóm cùng khu vực. Câu hỏi đặt trước: thời gian giao trung bình của hai hãng có khác nhau không, hai phía, α = 0,05.
rng.permutation(gop) trả về một bản xáo của mảng gộp, không sửa mảng gốc; phần tử đầu thuộc "Hãng A", phần còn lại thuộc "Hãng B":
import numpy as np
import pandas as pd
df = pd.read_csv("giao_hang.csv").query("khu_vuc == 'Ngoại thành'")
nhom = df.groupby("hang")["thoi_gian_gio"]
a, b = nhom.get_group("Hãng A"), nhom.get_group("Hãng B")
d = a.mean() - b.mean()
gop = np.concatenate([a, b])
rng = np.random.default_rng(71)
dem = 0
for _ in range(2_000):
x = rng.permutation(gop)
dem += abs(x[:len(a)].mean() - x[len(a):].mean()) >= abs(d)
print(f"{len(a)} và {len(b)} đơn, hiệu trung bình {d:.2f} giờ")
print(f"p ≈ {dem / 2_000:.3f}")KẾT QUẢ
129 và 110 đơn, hiệu trung bình 4.45 giờ
p ≈ 0.030Lần chạy này cho p ≈ 0,030: nếu nhãn hãng không liên quan tới thời gian giao, xác suất xáo ra hiệu trung bình lệch ít nhất 4,45 giờ là khoảng 0,030. Đổi 71 thành 5 rồi chạy lại: dòng cuối in p ≈ 0.035; chữ số thứ ba đổi theo hạt giống, kết luận ở α = 0,05 thì không.
scipy.stats.permutation_test() và trung vị
Thời gian giao lệch phải, nên trung vị là thước đo hợp hơn. Công thức phân phối cho hiệu hai trung vị không có sẵn, nhưng kiểm định hoán vị không cần nó. stats.permutation_test() nhận một bộ các nhóm và một hàm thống kê; với vectorized=True, hàm phải nhận axis= để scipy tính một lúc cho nhiều lần xáo:
import numpy as np
import pandas as pd
from scipy import stats
df = pd.read_csv("giao_hang.csv").query("khu_vuc == 'Ngoại thành'")
nhom = df.groupby("hang")["thoi_gian_gio"]
a, b = nhom.get_group("Hãng A"), nhom.get_group("Hãng B")
def hieu_trung_vi(x, y, axis):
return np.median(x, axis=axis) - np.median(y, axis=axis)
rng = np.random.default_rng(71)
kq = stats.permutation_test((a, b), hieu_trung_vi, vectorized=True,
n_resamples=1_999, rng=rng)
print(f"Hiệu trung vị {kq.statistic:.1f} giờ, p = {kq.pvalue:.3f}")KẾT QUẢ
Hiệu trung vị 4.3 giờ, p = 0.023Mặc định alternative="two-sided". Hai khác biệt nhỏ với vòng lặp tự viết: scipy cộng 1 vào cả tử và mẫu, nên p không bao giờ bằng 0; và p hai phía của nó là hai lần p một phía nhỏ hơn. Kết luận: nếu nhãn hãng không liên quan tới thời gian giao, xác suất có hiệu trung vị lệch ít nhất 4,3 giờ là 0,023; p ≤ 0,05 nên bác bỏ H₀ ở mức 5%. Đơn ngoại thành của Hãng A có trung vị chậm hơn Hãng B 4,3 giờ. Giả định duy nhất là các đơn độc lập và, khi H₀ đúng, đổi nhãn được cho nhau.
Kiểm tra nhanh
Sau
import numpy as np,x = np.array([3, 1, 2]), rồiy = np.random.default_rng(0).permutation(x),print(sorted(y.tolist()), x.tolist())in ra gì?[1, 2, 3] [3, 1, 2][1, 2, 3] [1, 2, 3][1, 2, 2] [3, 1, 2]
Vì sao xáo nhãn cho được phân phối của hiệu số khi H₀ đúng?
- Vì xáo nhãn làm dữ liệu thành phân phối chuẩn
- Vì nếu nhãn không liên quan tới số đo, mọi cách gán nhãn đều có khả năng như cách gán thật
- Vì xáo nhãn làm hai nhóm có cùng cỡ
- Vì xáo nhiều lần thì p-value tiến về 0,05
Những thay đổi nào biến vòng lặp xáo nhãn thành một thứ khác, không còn là kiểm định hoán vị?
- Đổi
rng.permutation(gop)thànhrng.choice(gop, size=len(gop), replace=True) - Đổi hiệu trung bình thành hiệu trung vị
- Đổi 2.000 lần xáo thành 5.000 lần
- Đổi
rng.permutation(gop)thànhrng.normal(0, 1, size=len(gop))
- Đổi
Hai nhóm 3 đơn cho hiệu lệch nhất có thể, và kiểm định hoán vị hai phía cho p = 0,1. Câu nào đúng?
- Hai hãng giao nhanh như nhau
- Với 3 đơn mỗi nhóm, p không thể nhỏ hơn 0,1, nên chưa đủ bằng chứng để bác bỏ H₀ ở mức 5%
- Xáo thêm nhiều lần sẽ làm p nhỏ hơn 0,05
Bài tập
Viết kiểm định hoán vị hai phía
Bạn có hai danh sách số đo a và b. Viết thân hàm p_hoan_vi(a, b, so_lan, rng): gộp hai nhóm, xáo so_lan lần bằng rng.permutation(), mỗi lần chia lại thành nhóm đầu len(a) phần tử và nhóm sau phần còn lại, rồi trả về tỉ lệ lần xáo có |hiệu trung bình| lớn hơn hay bằng |hiệu trung bình của a trừ b|.
Không sửa a và b của nơi gọi. Không dùng permutation_test(), ttest_ind() hay rng.choice(). rng do nơi gọi tạo: không gọi np.random.seed(), không tạo bộ sinh số mới bằng np.random.default_rng() trong hàm.
Trả về: p-value hai phía ước bằng xáo nhãn, một float từ 0 đến 1, không cộng 1 như scipy.
Ví dụ p_hoan_vi([27, 28, 30], [23, 25, 26], 4000, np.random.default_rng(1)) cho một số gần 0,1.
import numpy as np
def p_hoan_vi(a, b, so_lan, rng):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Kiểm định hoán vị dựng phân phối của thống kê khi H₀ đúng bằng cách xáo nhãn nhóm nhiều lần.
p-value ≈ tỉ lệ lần xáo có |hiệu| ≥ |hiệu quan sát|; với nhóm nhỏ, liệt kê đủ mọi cách chia cho p đúng.
Xáo là không hoàn lại (
rng.permutation()); rút có hoàn lại là bootstrap, một việc khác.stats.permutation_test((a, b), ham, vectorized=True, n_resamples=…, rng=rng): hàm thống kê phải nhậnaxis=; scipy cộng 1 vào tử và mẫu.Dùng được với trung vị hay bất kỳ thống kê nào, không cần công thức phân phối; giả định là các quan sát đổi nhãn được cho nhau khi H₀ đúng.
Câu hỏi thường gặp
Permutation test khác bootstrap thế nào?
Kiểm định hoán vị xáo lại đúng những quan sát đã có để kiểm định H₀ "nhãn không liên quan". Bootstrap rút có hoàn lại từ mẫu để ước lượng độ dao động của một thống kê, thường để dựng khoảng tin cậy.
Nên xáo bao nhiêu lần?
Đủ để chữ số thứ ba của p ổn định: vài nghìn lần thường là đủ, và trên trang web nên giữ n_resamples không quá 2.000 cho nhanh. Khi số cách chia nhỏ, scipy tự liệt kê đủ mọi cách.
Kiểm định hoán vị có thay được t-test không?
Với hiệu trung bình, hai cách thường cho p gần nhau; kiểm định hoán vị không cần giả định phân phối chuẩn. Bài kiểm định t hai mẫu dạy t-test, nhanh hơn và có khoảng tin cậy đi kèm.
Chủ đề
Dữ liệu của bài
- Tải xuống
giao_hang.csv
CSV · 27.84 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.