Kiểm định phi tham số: Mann-Whitney, Wilcoxon, Kruskal
Bài 11/14 · Chương 10
Các kiểm định thường dùng
- 8 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 12
Kiểm định phi tham số (nonparametric test) so sánh các nhóm mà không giả định dữ liệu theo phân phối chuẩn, bằng cách thay mỗi giá trị bằng thứ hạng của nó. Cách làm: Mann-Whitney U cho hai nhóm độc lập, Wilcoxon cho dữ liệu cặp, Kruskal-Wallis cho ba nhóm trở lên, cả ba có sẵn trong scipy.stats.
Cần biết trước: kiểm định t hai mẫu, kiểm định t cặp và ANOVA.
Thay giá trị bằng hạng
Xếp mọi giá trị của hai nhóm từ nhỏ tới lớn và đánh hạng 1, 2, 3… Hai giá trị bằng nhau nhận trung bình các hạng chúng chiếm, cùng ý tưởng với rank() của pandas ở bài xếp hạng trong nhóm. Từ tổng hạng của nhóm một, Mann-Whitney tính:
Trong đó:
n₁ (
len(a)): cỡ nhóm một.R₁ (
hang[:len(a)].sum()): tổng hạng của các giá trị nhóm một trong bảng hạng chung.U₁: số cặp (một giá trị nhóm một, một giá trị nhóm hai) mà giá trị nhóm một lớn hơn, cặp bằng nhau tính nửa.
H₀: lấy ngẫu nhiên một giá trị mỗi nhóm, khả năng giá trị nhóm một lớn hơn bằng khả năng nhỏ hơn. U₁ quanh n₁n₂/2 là hợp với H₀; gần 0 hay gần n₁n₂ là lệch.
Thứ hạng không quan tâm giá trị lớn nhất là 40 hay 4.000, nên một ngoại lai chỉ là "hạng cao nhất". Đó là lí do kiểm định dựa trên hạng chịu được dữ liệu lệch mạnh.
Tính tay sáu giá trị
Nhóm một: 12, 15, 40. Nhóm hai: 18, 20, 22 (số tự đặt cho bài này). Xếp chung: 12 hạng 1, 15 hạng 2, 18 hạng 3, 20 hạng 4, 22 hạng 5, 40 hạng 6. Tổng hạng nhóm một R₁ = 1 + 2 + 6 = 9, nên U₁ = 9 − 3 · 4 / 2 = 3. Đếm cặp cũng ra 3: 40 lớn hơn cả ba số của nhóm hai, 12 và 15 không lớn hơn số nào.
from scipy import stats
a = [12, 15, 40]
b = [18, 20, 22]
hang = stats.rankdata(a + b)
R1 = hang[:len(a)].sum()
U1 = R1 - len(a) * (len(a) + 1) / 2
print("Hạng:", hang.tolist())
print("R1 =", R1, "| U1 =", U1)
print("mannwhitneyu:", stats.mannwhitneyu(a, b).statistic)KẾT QUẢ
Hạng: [1.0, 2.0, 6.0, 3.0, 4.0, 5.0]
R1 = 9.0 | U1 = 3.0
mannwhitneyu: 3.0Với chỉ ba số mỗi nhóm, U₁ = 3 ứng với p = 0,7: không có gì để kết luận. Đổi 40] thành 16] rồi chạy lại: số lớn nhất của nhóm một giờ nhỏ hơn cả nhóm hai, và dòng cuối in mannwhitneyu: 0.0.
Mann-Whitney với một ngoại lai
Hai ca làm việc ghi thời gian (giây) xử lý tám đơn hàng. Ca sáng nhanh hơn rõ ràng, trừ một đơn kẹt mạng mất 120 giây:
import numpy as np
from scipy import stats
sang = [31, 33, 34, 35, 36, 38, 39, 120]
chieu = [40, 42, 43, 45, 46, 47, 49, 50]
print("Trung bình:", np.mean(sang), np.mean(chieu))
print("Trung vị:", np.median(sang), np.median(chieu))
p_t = stats.ttest_ind(sang, chieu, equal_var=False).pvalue
p_u = stats.mannwhitneyu(sang, chieu).pvalue
print("t-test Welch: p =", round(p_t, 3))
print("Mann-Whitney: p =", round(p_u, 3))KẾT QUẢ
Trung bình: 45.75 45.25
Trung vị: 35.5 45.5
t-test Welch: p = 0.964
Mann-Whitney: p = 0.01H₀: thời gian xử lý của hai ca như nhau, hai phía, α = 0,05. Một đơn 120 giây kéo trung bình ca sáng lên ngang ca chiều và thổi phồng độ lệch chuẩn, nên t-test không thấy gì. Mann-Whitney chỉ thấy 120 là hạng cao nhất: ở mức ý nghĩa 5%, dữ liệu đủ bằng chứng để bác bỏ H₀ (U = 8 trên 64 cặp, p = 0,010). Trung vị ca sáng 35,5 giây so với 45,5 giây ca chiều.
Wilcoxon cho dữ liệu cặp, Kruskal cho nhiều nhóm
stats.wilcoxon(sau, truoc) là bản dựa trên hạng của t-test cặp: nó xếp hạng |d| rồi cộng hạng của các hiệu dương. stats.kruskal(*nhom) là bản dựa trên hạng của ANOVA. Hai file số giả lập của AIDev: chay_truoc_sau.csv (thời gian chạy 1 km của 45 em trước và sau tám tuần tập) và luong_nganh.csv (lương tháng, triệu đồng, của 150 người ở mỗi ngành trong năm ngành, lệch phải mạnh):
import pandas as pd
from scipy import stats
chay = pd.read_csv("chay_truoc_sau.csv")
d = chay["sau_giay"] - chay["truoc_giay"]
w = stats.wilcoxon(chay["sau_giay"], chay["truoc_giay"])
print("Trung vị hiệu (giây):", d.median())
p_w = "p < 0.001" if w.pvalue < 0.001 else round(w.pvalue, 3)
print("Wilcoxon:", p_w)
luong = pd.read_csv("luong_nganh.csv")
theo_nganh = luong.groupby("nganh")["luong_trieu"]
print(theo_nganh.median())
h = stats.kruskal(*[x for _, x in theo_nganh])
print("Kruskal H =", round(h.statistic, 1))KẾT QUẢ
Trung vị hiệu (giây): -14.0
Wilcoxon: p < 0.001
nganh
Bán lẻ 10.25
Công nghệ thông tin 21.60
Giáo dục 11.10
Tài chính 19.85
Xây dựng 14.50
Name: luong_trieu, dtype: float64
Kruskal H = 248.5Ở mức ý nghĩa 5%, dữ liệu đủ bằng chứng để bác bỏ H₀ ở cả hai phép kiểm. Các em chạy nhanh hơn sau tám tuần: trung vị giảm 14 giây, Wilcoxon p < 0,001. Lương ít nhất một ngành có phân phối lệch khỏi các ngành khác: Kruskal H = 248,5 với 4 bậc tự do, p < 0,001, và trung vị lương công nghệ thông tin gấp đôi bán lẻ. Số giả lập này chỉ để luyện, nó không nói gì về thị trường lao động. Kruskal không nói ngành nào khác ngành nào; so từng cặp cần hiệu chỉnh như bài so sánh nhiều lần.
Mô phỏng: khi nào dựa trên hạng mạnh hơn
Lấy hai nhóm 12 số từ phân phối log-chuẩn (lệch phải mạnh), nhóm hai lớn hơn nhóm một 1,6 lần. Lặp 2.000 lần, đếm tỉ lệ mỗi kiểm định bác bỏ H₀:
import numpy as np
from scipy import stats
rng = np.random.default_rng(84)
x = rng.lognormal(2.5, 0.8, size=(2000, 12))
y = rng.lognormal(2.5, 0.8, size=(2000, 12)) * 1.6
p_t = stats.ttest_ind(x, y, axis=1, equal_var=False).pvalue
p_u = stats.mannwhitneyu(x, y, axis=1).pvalue
print("t-test Welch phát hiện:", round((p_t <= 0.05).mean(), 3))
print("Mann-Whitney phát hiện:", round((p_u <= 0.05).mean(), 3))KẾT QUẢ
t-test Welch phát hiện: 0.204
Mann-Whitney phát hiện: 0.26Lần chạy này: Mann-Whitney phát hiện khác biệt ở 26% số lần, t-test 20%. Đổi hạt giống thành default_rng(14) thì hai tỉ lệ thành 0.198 và 0.244. Với dữ liệu gần chuẩn thì ngược lại, t-test mạnh hơn một chút; xem kiểm định phân phối chuẩn để quyết định.
Kiểm tra nhanh
Xếp hạng chung hai nhóm A = 5, 9 và B = 7, 9, 2. Tổng hạng của A là bao nhiêu?
- 6
- 6,5
- 7
- 14
Nối dữ liệu với hàm hợp lí. Những cặp nào đúng?
- Điểm hài lòng 1 đến 5 sao của hai nhóm khách khác nhau:
mannwhitneyu() - Huyết áp của 20 người trước và sau dùng thuốc, hiệu lệch mạnh:
wilcoxon() - Doanh thu của bốn cửa hàng, lệch phải mạnh:
wilcoxon() - Thời gian chờ ở bốn quầy, có ngoại lai:
kruskal()
- Điểm hài lòng 1 đến 5 sao của hai nhóm khách khác nhau:
Trong khối hai ca làm việc, đổi 120 thành 37 thì sao?
- Cả hai p-value không đổi
- p của t-test giảm hẳn xuống dưới 0,001; p của Mann-Whitney cũng giảm, xuống dưới 0,001
- Chỉ p của Mann-Whitney đổi
Mann-Whitney cho p = 0,01. Câu nào đúng?
- Trung vị hai nhóm chắc chắn khác nhau
- Ở mức ý nghĩa 5%, dữ liệu đủ bằng chứng để bác bỏ H₀; giá trị nhóm này có xu hướng lớn hơn nhóm kia
- Xác suất hai nhóm như nhau là 1%
Bài tập
Tính thống kê U của Mann-Whitney
a và b là hai list số không rỗng, có thể có giá trị trùng. Viết thân hàm u_mann(a, b): đếm số cặp (x thuộc a, y thuộc b) mà x > y, mỗi cặp x = y tính 0,5. Kết quả bằng U₁ = R₁ − n₁(n₁ + 1)/2 của bài.
Không dùng mannwhitneyu(). Hàm không sửa list của nơi gọi.
Trả về: U của nhóm a, một float.
Ví dụ u_mann([12, 15, 40], [18, 20, 22]) cho 3.0.
from scipy import stats
def u_mann(a, b):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Kiểm định phi tham số thay giá trị bằng hạng, nên chịu được dữ liệu lệch mạnh và ngoại lai.
Mann-Whitney U₁ = R₁ − n₁(n₁ + 1)/2, cũng là số cặp nhóm một lớn hơn;
stats.mannwhitneyu(a, b).Dữ liệu cặp dùng
stats.wilcoxon(sau, truoc); ba nhóm trở lên dùngstats.kruskal(*nhom).Mann-Whitney kiểm xu hướng lớn hơn, chỉ là so trung vị khi hai phân phối cùng hình dạng.
Dữ liệu gần chuẩn thì t-test mạnh hơn một chút; lệch mạnh thì hạng mạnh hơn.
Câu hỏi thường gặp
Kiểm định phi tham số là gì, có phải không có giả định nào?
Có giả định, chỉ không giả định phân phối chuẩn. Các nhóm vẫn phải độc lập (trừ Wilcoxon), và với Wilcoxon, phân phối của hiệu được giả định đối xứng quanh trung vị.
Kiểm định Mann Whitney với mẫu lớn có p chính xác không?
mannwhitneyu() tự chọn: mẫu nhỏ không có giá trị trùng thì tính p chính xác, còn lại dùng xấp xỉ chuẩn. Có thể ép bằng method="exact" hay method="asymptotic", và method="permutation" cho kiểm định hoán vị.
Kruskal Wallis có ý nghĩa rồi so cặp thế nào?
Chạy Mann-Whitney cho từng cặp rồi hiệu chỉnh p-value bằng Bonferroni hay Benjamini-Hochberg, như bài so sánh nhiều lần. Kiểm định Dunn chuyên cho việc này nhưng scipy chưa có.
Chủ đề
Dữ liệu của bài
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.