Tương quan Spearman và Kendall: khi có ngoại lai
Bài 3/7 · Chương 11
Tương quan và hồi quy đơn
- 9 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 13
Tương quan Spearman (Spearman correlation) là hệ số tương quan Pearson tính trên hạng của hai biến thay cho giá trị, nên nó đo hai biến có cùng tăng (hay ngược chiều) đều đặn không, dù không theo đường thẳng. Bạn dùng nó khi có một điểm ngoại lai kéo lệch r của Pearson, hay khi dữ liệu chỉ là thứ bậc như hạng thi, mức hài lòng.
Cần biết trước: kiểm định hệ số tương quan, kiểm định phi tham số và xếp hạng bằng rank().
Công thức tương quan Spearman và Kendall tau
Đổi mỗi biến thành hạng: giá trị nhỏ nhất hạng 1, lớn nhất hạng n. Khi không có giá trị trùng, Pearson trên hạng rút gọn thành:
Trong đó:
n(len(x)): số cặp.d với chỉ số i (
hang_x[i] - hang_y[i]): hiệu hai hạng của cặp thứ i.rₛ (
stats.spearmanr(x, y).statistic): hệ số Spearman, từ −1 tới 1.
Có giá trị trùng thì các giá trị bằng nhau nhận hạng trung bình (hai giá trị cùng đứng thứ 3 và 4 nhận 3,5) và rₛ tính bằng Pearson trên hạng, không dùng công thức rút gọn. Kendall tau (τ) đếm theo cặp: trong n(n − 1)/2 cặp quan sát, cặp thuận là cặp mà x và y cùng tăng, cặp nghịch là cặp một tăng một giảm. Không có giá trị trùng thì τ = (số cặp thuận − số cặp nghịch) / (n(n − 1)/2).
Tính tay trên sáu học sinh
Sáu em ghi số buổi học thêm Toán trong tháng và điểm thi thử. Một em học tới 20 buổi, xa hẳn năm em kia:
Buổi | Điểm | Hạng buổi | Hạng điểm | d | d² |
|---|---|---|---|---|---|
1 | 5,5 | 1 | 1 | 0 | 0 |
2 | 6,5 | 2 | 3 | −1 | 1 |
3 | 6 | 3 | 2 | 1 | 1 |
4 | 7 | 4 | 4 | 0 | 0 |
5 | 7,5 | 5 | 5 | 0 | 0 |
20 | 8 | 6 | 6 | 0 | 0 |
Tổng d² = 2, nên rₛ = 1 − 6 · 2 / (6 · 35) ≈ 0,943. Trong 15 cặp em, chỉ cặp em 2 buổi và em 3 buổi là nghịch, nên τ = (14 − 1)/15 ≈ 0,867. Khối dưới làm đúng các bước đó bằng Python thuần:
buoi = [1, 2, 3, 4, 5, 20]
diem = [5.5, 6.5, 6.0, 7.0, 7.5, 8.0]
n = len(buoi)
hang_x = [sorted(buoi).index(v) + 1 for v in buoi]
hang_y = [sorted(diem).index(v) + 1 for v in diem]
tong_d2 = sum((a - b) ** 2 for a, b in zip(hang_x, hang_y))
print("Hạng:", hang_x, hang_y)
print("Tổng d²:", tong_d2)
print("Spearman:", round(1 - 6 * tong_d2 / (n * (n ** 2 - 1)), 4))
thuan = nghich = 0
for i in range(n):
for j in range(i + 1, n):
tich = (buoi[i] - buoi[j]) * (diem[i] - diem[j])
thuan, nghich = thuan + (tich > 0), nghich + (tich < 0)
print("Kendall:", round((thuan - nghich) / (n * (n - 1) / 2), 4))KẾT QUẢ
Hạng: [1, 2, 3, 4, 5, 6] [1, 3, 2, 4, 5, 6]
Tổng d²: 2
Spearman: 0.9429
Kendall: 0.8667Cách lấy hạng bằng sorted(...).index(v) chỉ đúng khi không có giá trị trùng. Một phép tích dương nghĩa là hai em xếp cùng thứ tự ở cả hai biến.
Đổi 20] thành 200] rồi chạy lại: dòng Spearman vẫn in Spearman: 0.9429, vì em đó vẫn đứng hạng 6.
Tính bằng spearmanr(), kendalltau() và so với Pearson
stats.spearmanr() và stats.kendalltau() của SciPy trả hệ số trong statistic và p-value hai phía trong pvalue, như pearsonr():
from scipy import stats
buoi = [1, 2, 3, 4, 5, 20]
diem = [5.5, 6.5, 6.0, 7.0, 7.5, 8.0]
for ten, ham in [("Pearson", stats.pearsonr),
("Spearman", stats.spearmanr),
("Kendall", stats.kendalltau)]:
kq = ham(buoi, diem)
print(ten, round(kq.statistic, 3), f"p = {kq.pvalue:.3f}")KẾT QUẢ
Pearson 0.777 p = 0.069
Spearman 0.943 p = 0.005
Kendall 0.867 p = 0.017Spearman khớp 0,943 và Kendall khớp 0,867 của bảng tính tay. Pearson chỉ 0,777 với p = 0,069, vì em học 20 buổi nằm xa đường thẳng của năm em kia. Ở mức ý nghĩa 5%, Spearman cho đủ bằng chứng để bác bỏ H₀ (p = 0,005): trong sáu em này, học thêm nhiều buổi hơn đi cùng điểm cao hơn. Pearson thì chưa. Với pandas, df.corr(method="spearman") và method="kendall" cho cùng hệ số, không có p-value. Excel không có hàm Spearman riêng: đổi hai cột thành hạng bằng RANK.AVG rồi gọi CORREL.
τ nhỏ hơn rₛ trên cùng dữ liệu không có nghĩa bằng chứng yếu hơn: hai hệ số đo trên hai thang khác nhau, nên chỉ so τ với τ, rₛ với rₛ.
Mô phỏng: một ngoại lai đổi Pearson, không đổi Spearman
Khối dưới rút 5.000 mẫu, mỗi mẫu 20 cặp số chuẩn độc lập (bài tự sinh nên biết hai biến không liên quan), rồi thêm vào mỗi mẫu một điểm ngoại lai (8, 8). Với 21 cặp, |r| từ 0,433 trở lên là p < 0,05. Mỗi dòng in hệ số trung bình và tỉ lệ mẫu có p < 0,05:
import numpy as np
from scipy import stats
rng = np.random.default_rng(90)
ngoai_lai = np.full((5_000, 1), 8.0)
x = np.hstack([rng.normal(size=(5_000, 20)), ngoai_lai])
y = np.hstack([rng.normal(size=(5_000, 20)), ngoai_lai])
hx, hy = stats.rankdata(x, axis=1), stats.rankdata(y, axis=1)
for ten, a, b in [("Pearson", x, y), ("Spearman", hx, hy)]:
la = a - a.mean(1, keepdims=True)
lb = b - b.mean(1, keepdims=True)
tu = (la * lb).sum(1)
r = tu / np.sqrt((la**2).sum(1) * (lb**2).sum(1))
ty_le = np.mean(abs(r) >= 0.433)
print(ten, round(r.mean(), 2), round(ty_le, 3))KẾT QUẢ
Pearson 0.77 1.0
Spearman 0.14 0.073Lần chạy này cho thấy một điểm duy nhất đẩy Pearson lên khoảng 0,77 và làm gần 100% số mẫu "có ý nghĩa", dù hai biến không liên quan. Spearman chỉ thấy điểm đó là hạng 21 của mỗi biến, nên trung bình còn khoảng 0,14 và tỉ lệ có ý nghĩa khoảng 7%, gần mức 5%.
Áp vào nhiệt độ hai thành phố
File nhiet_do_hai_thanh_pho.csv là số giả lập của AIDev: nhiệt độ trung bình mỗi ngày năm 2025 ở Hà Nội và Đà Nẵng, cùng theo mùa. Ba hệ số trên 365 ngày:
import pandas as pd
nhiet = pd.read_csv("nhiet_do_hai_thanh_pho.csv")
hai_cot = nhiet[["ha_noi", "da_nang"]]
for cach in ["pearson", "spearman", "kendall"]:
he_so = hai_cot.corr(method=cach).iloc[0, 1]
print(cach, round(he_so, 3))KẾT QUẢ
pearson 0.941
spearman 0.933
kendall 0.772Quan hệ gần thẳng và không có ngoại lai lớn, nên Pearson và Spearman gần bằng nhau. Kendall nhỏ hơn vì thang của nó khác, như đã nói ở trên. Khi Pearson và Spearman khác xa nhau, hãy vẽ biểu đồ phân tán để tìm điểm ngoại lai hay đoạn cong.
Kiểm tra nhanh
Sau
from scipy import stats,print(round(stats.spearmanr([1, 2, 3, 4], [1, 4, 9, 100]).statistic, 2))in ra gì?0.821.00.75
Những trường hợp nào nên dùng Spearman thay cho Pearson?
- Dữ liệu là mức hài lòng 1 đến 5
- Một điểm ngoại lai nằm xa hẳn đám điểm còn lại
- Hai biến chuẩn, quan hệ thẳng, không có ngoại lai
- y tăng mỗi khi x tăng, nhưng theo đường cong
Trong khung bẫy, vì sao
np.argsort(diem) + 1không phải hạng của điểm?- Vì
argsortsắp xếp giảm dần - Vì cần cộng 2 thay cho 1
- Vì
argsortcho vị trí của các giá trị theo thứ tự tăng, không cho hạng của từng giá trị
- Vì
Trong mô phỏng thêm điểm (8, 8), câu nào đúng?
- Hai biến có liên quan, vì Pearson cho p < 0,05 ở gần mọi mẫu
- Pearson bị một điểm kéo lên, còn Spearman giữ tỉ lệ có ý nghĩa gần 5%
- Spearman sai vì bỏ mất thông tin của điểm ngoại lai
- Spearman và Pearson cho cùng p-value ở mỗi mẫu
Bài tập
Tính hệ số Spearman từ hạng
Một phiếu chấm có hai giám khảo cho điểm cùng các bài thi. Viết thân hàm spearman(x, y): đổi mỗi dãy thành hạng (nhỏ nhất hạng 1), rồi áp công thức rₛ = 1 − 6Σd²/(n(n² − 1)) của bài. x và y là hai list cùng độ dài, ít nhất hai phần tử, không dãy nào có giá trị trùng.
Không dùng spearmanr(), kendalltau(), rankdata(), .rank(), .corr() hay np.corrcoef(). Hàm không sửa x, y của nơi gọi.
Trả về: hệ số Spearman, một float.
Ví dụ spearman([1, 2, 3, 4, 5, 20], [5.5, 6.5, 6.0, 7.0, 7.5, 8.0]) cho khoảng 0.9429.
import numpy as np
def spearman(x, y):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Spearman là Pearson tính trên hạng; không có giá trị trùng thì rₛ = 1 − 6Σd²/(n(n² − 1)).
Kendall τ = (cặp thuận − cặp nghịch) / số cặp; thường nhỏ hơn rₛ về độ lớn vì thang khác.
stats.spearmanr(),stats.kendalltau()cho hệ số và p-value;df.corr(method="spearman")chỉ cho hệ số.Một điểm ngoại lai có thể tạo hay xóa một Pearson có ý nghĩa; Spearman ít bị ảnh hưởng.
np.argsort()một lần cho vị trí, không cho hạng; gọi hai lần hay dùngrankdata().
Câu hỏi thường gặp
Khi nào dùng Spearman, khi nào dùng Pearson?
Pearson khi quan hệ gần thẳng và hai biến gần chuẩn, không có ngoại lai. Spearman khi dữ liệu là thứ bậc, quan hệ cong nhưng đơn điệu, hay có điểm xa. Vẽ biểu đồ phân tán trước rồi mới chọn; bài tương quan trong Matplotlib vẽ và đọc r trên chính biểu đồ đó.
Spearman hay Kendall tốt hơn?
Hai hệ số thường cho cùng kết luận. Kendall dễ diễn giải hơn: nó là hiệu của tỉ lệ cặp thuận và tỉ lệ cặp nghịch. Spearman gần với Pearson nên dễ đặt cạnh nhau trong một báo cáo.
Dữ liệu có giá trị trùng thì tính Spearman thế nào?
Gán hạng trung bình cho các giá trị bằng nhau, rồi tính Pearson trên hạng. stats.spearmanr() và Series.rank() mặc định làm đúng như vậy; công thức rút gọn với Σd² chỉ đúng khi không có giá trị trùng.
Spearman có p-value không?
Có: stats.spearmanr(x, y).pvalue, hai phía như pearsonr() ở bài kiểm định hệ số tương quan. SciPy tính nó từ phân phối t, một xấp xỉ kém chính xác khi chỉ có vài cặp.
Chủ đề
Dữ liệu của bài
- Tải xuống
nhiet_do_hai_thanh_pho.csv
CSV · 7.5 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.