Kiểm định hệ số tương quan Pearson với pearsonr()
Bài 2/7 · Chương 11
Tương quan và hồi quy đơn
- 9 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 13
Kiểm định hệ số tương quan Pearson hỏi hệ số r của mẫu có đủ xa 0 để tin rằng hai biến thật sự cùng tăng hay ngược chiều. Cách tính: thống kê t = r√(n − 2)/√(1 − r²) với n − 2 bậc tự do. Bạn cần nó khi thấy r = 0,3 trên 20 cặp số và phải quyết định đó là một xu hướng hay chỉ là may rủi.
Cần biết trước: hiệp phương sai, p-value và phân phối Student t.
Công thức hệ số tương quan và thống kê t
Hệ số tương quan Pearson (Pearson correlation coefficient) của một mẫu n cặp là hiệp phương sai chia cho tích hai độ lệch chuẩn mẫu, nên không có đơn vị và nằm từ −1 tới 1:
Trong đó:
sₓᵧ (
np.cov(x, y, ddof=1)[0, 1]): hiệp phương sai mẫu.sₓ, sᵧ (
np.std(x, ddof=1),np.std(y, ddof=1)): độ lệch chuẩn mẫu của từng biến.r (
np.corrcoef(x, y)[0, 1]): hệ số tương quan mẫu.
Bài tương quan trong Matplotlib vẽ và đọc r. Ở đây r là một số đo trên mẫu, còn ρ (rho) là hệ số tương quan của tổng thể. Kiểm định đặt giả thuyết không H₀: ρ = 0 và giả thuyết đối H₁: ρ ≠ 0 (hai phía), mức ý nghĩa α = 0,05. Khi H₀ đúng và hai biến có phân phối chuẩn, đại lượng sau theo phân phối t với n − 2 bậc tự do:
Trong đó:
n(len(x)): số cặp.r: hệ số tương quan mẫu ở trên.
t: thống kê kiểm định. p-value hai phía là
2 * stats.t.sf(abs(t), n - 2).
Tính tay trên tám ngày bán trà đào
Quán ở chi nhánh Huế ghi nhiệt độ buổi trưa và số ly trà đào bán được trong tám ngày. Khối dưới tính r rồi t bằng Python thuần, đúng thứ tự công thức. Sửa hai list rồi bấm Chạy:
import math
nhiet_do = [24, 27, 29, 31, 26, 33, 30, 28]
so_ly = [18, 25, 24, 35, 20, 38, 27, 30]
n = len(nhiet_do)
tb_x = sum(nhiet_do) / n
tb_y = sum(so_ly) / n
sxy = sum((x - tb_x) * (y - tb_y) for x, y in zip(nhiet_do, so_ly))
sxx = sum((x - tb_x) ** 2 for x in nhiet_do)
syy = sum((y - tb_y) ** 2 for y in so_ly)
r = sxy / math.sqrt(sxx * syy)
t = r * math.sqrt(n - 2) / math.sqrt(1 - r ** 2)
print("r =", round(r, 4))
print("t =", round(t, 2), "với", n - 2, "bậc tự do")KẾT QUẢ
r = 0.9121
t = 5.45 với 6 bậc tự doBa tổng sxy, sxx, syy đều chưa chia n − 1: hai mẫu số n − 1 của tử và mẫu triệt tiêu, nên r tính thẳng từ ba tổng. Với 6 bậc tự do, giá trị tới hạn hai phía ở mức 5% là khoảng 2,45, và t ở đây lớn hơn nhiều.
Đổi [18, 25, 24, 35, 20, 38, 27, 30] thành [30, 25, 24, 35, 20, 38, 27, 18] rồi chạy lại: dòng đầu in r = 0.5687.
Kiểm định bằng pearsonr()
stats.pearsonr(x, y) của SciPy trả một đối tượng có ba thứ cần đọc: statistic là r, pvalue là p-value hai phía (mặc định alternative="two-sided"), và phương thức confidence_interval() cho khoảng tin cậy của ρ:
from scipy import stats
nhiet_do = [24, 27, 29, 31, 26, 33, 30, 28]
so_ly = [18, 25, 24, 35, 20, 38, 27, 30]
kq = stats.pearsonr(nhiet_do, so_ly)
p = kq.pvalue
print("r =", round(kq.statistic, 4))
print("p < 0.001" if p < 0.001 else f"p = {p:.3f}")
ci = kq.confidence_interval(confidence_level=0.95)
print("Khoảng tin cậy 95%:", round(ci.low, 2), round(ci.high, 2))KẾT QUẢ
r = 0.9121
p = 0.002
Khoảng tin cậy 95%: 0.58 0.98Hệ số khớp bảng tính tay. Kết luận theo mẫu: ở mức ý nghĩa 5%, dữ liệu đủ bằng chứng để bác bỏ H₀ (r = 0,91, t = 5,45 với 6 bậc tự do, p = 0,002): trong tám ngày này, nhiệt độ và số ly cùng tăng. Khoảng tin cậy 95% của ρ từ 0,58 đến 0,98 rộng vì chỉ có tám ngày. Khoảng này tính qua phép biến đổi Fisher nên không đối xứng quanh r. Trong Excel: CORREL cho r, còn p thì tính từ t bằng T.DIST.2T.
Kiểm định này giả định các cặp độc lập và hai biến gần chuẩn. Tám ngày liền nhau của một quán chưa hẳn độc lập (thời tiết kéo dài nhiều ngày), nên kết luận chỉ là về bộ số này.
Mô phỏng: r của hai biến không liên quan
Vậy r = 0,3 trên 20 cặp thì sao? Khối dưới rút 10.000 mẫu, mỗi mẫu 20 cặp, từ hai biến chuẩn độc lập (ρ = 0 thật, vì bài tự sinh), rồi đếm bao nhiêu mẫu có |r| từ 0,3 trở lên:
import numpy as np
from scipy import stats
rng = np.random.default_rng(89)
x = rng.normal(size=(10_000, 20))
y = rng.normal(size=(10_000, 20))
lx = x - x.mean(axis=1, keepdims=True)
ly = y - y.mean(axis=1, keepdims=True)
tu = (lx * ly).sum(axis=1)
mau_so = np.sqrt((lx**2).sum(axis=1) * (ly**2).sum(axis=1))
r = tu / mau_so
print("Tỉ lệ |r| >= 0.3:", round(np.mean(np.abs(r) >= 0.3), 3))
t = 0.3 * np.sqrt(18) / np.sqrt(1 - 0.3 ** 2)
print("p theo công thức:", round(2 * stats.t.sf(t, 18), 3))KẾT QUẢ
Tỉ lệ |r| >= 0.3: 0.2
p theo công thức: 0.199Lần chạy này cho khoảng một phần năm số mẫu không liên quan vẫn có |r| từ 0,3 trở lên, khớp p-value tính bằng công thức. Đó đúng là nghĩa của p-value: nếu H₀ đúng, xác suất có được một r lệch ít nhất như 0,3 là khoảng 0,2. Với 20 cặp, r = 0,3 chưa đủ bằng chứng để bác bỏ H₀. Điều đó không có nghĩa là hai biến không liên quan.
Áp vào giờ tự học và điểm Toán
File diem_kiem_tra.csv là số giả lập của AIDev, bốn lớp 10, mỗi lớp 40 em. Kiểm định riêng từng lớp:
import pandas as pd
from scipy import stats
diem = pd.read_csv("diem_kiem_tra.csv")
for lop, nhom in diem.groupby("lop"):
kq = stats.pearsonr(nhom["gio_tu_hoc"], nhom["diem_toan"])
ci = kq.confidence_interval()
p = kq.pvalue
p_in = "p < 0.001" if p < 0.001 else f"p = {p:.3f}"
print(lop, round(kq.statistic, 2), p_in,
round(ci.low, 2), round(ci.high, 2))KẾT QUẢ
10A1 0.18 p = 0.255 -0.13 0.47
10A2 0.58 p < 0.001 0.33 0.76
10A3 0.72 p < 0.001 0.52 0.84
10A4 0.42 p = 0.007 0.13 0.65Ba lớp có r dương và p dưới 0,05. Lớp 10A1 có r = 0,18 và p = 0,255: ở mức 5%, chưa đủ bằng chứng để bác bỏ H₀ cho riêng lớp này. Khoảng tin cậy từ −0,13 đến 0,47 chứa cả 0 lẫn những giá trị như ở lớp khác. Cùng một cách sinh dữ liệu, 40 em vẫn có thể cho một r nhỏ.
Kiểm tra nhanh
Sau
import math,print(round(0.6 * math.sqrt(10 - 2) / math.sqrt(1 - 0.6 ** 2), 2))in ra gì?2.122.372.65
pearsonr() trên 20 cặp cho r = 0,3 và p = 0,199. Câu kết luận nào đúng ở mức ý nghĩa 5%?
- Chấp nhận H₀: hai biến không liên quan
- Xác suất H₀ đúng là 0,199
- Chưa đủ bằng chứng để bác bỏ H₀ rằng ρ = 0
- Hai biến có tương quan 0,3 với xác suất 80%
Giữ r = 0,3, những thay đổi nào làm p-value nhỏ đi?
- Tăng số cặp từ 20 lên 200
- Đổi đơn vị của x từ giờ sang phút
- Có r = 0,5 thay cho 0,3 với cùng 20 cặp
- Đổi chỗ x và y
Trong khung bẫy 5.000 cặp, vì sao không nên viết "hai biến tương quan mạnh"?
- Vì p-value ở đó lớn hơn 0,05
- Vì r chỉ cỡ 0,08: p nhỏ đến từ mẫu lớn, không từ mức gắn bó
- Vì pearsonr() sai khi n lớn hơn 1.000
Bài tập
Tính p-value của kiểm định hệ số tương quan
Bạn đọc một báo cáo chỉ ghi r và số cặp n, không ghi p. Viết thân hàm p_tuong_quan(r, n) trả p-value hai phía của kiểm định H₀: ρ = 0, tính qua thống kê t của bài với n − 2 bậc tự do. r nằm trong khoảng mở (−1; 1), n từ 3 trở lên.
Không dùng pearsonr(), linregress() hay spearmanr().
Trả về: p-value hai phía, một float.
Ví dụ p_tuong_quan(0.3, 20) cho khoảng 0.199.
import math
from scipy import stats
def p_tuong_quan(r, n):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
r = sₓᵧ / (sₓ · sᵧ), không đơn vị, nằm từ −1 tới 1.
Kiểm định H₀: ρ = 0 dùng t = r√(n − 2)/√(1 − r²) với n − 2 bậc tự do, mặc định hai phía.
stats.pearsonr(x, y)chostatistic,pvaluevàconfidence_interval()của ρ.r = 0,3 trên 20 cặp cho p ≈ 0,2: chưa đủ bằng chứng để bác bỏ H₀, không có nghĩa là hai biến không liên quan.
Trên mẫu rất lớn, r rất nhỏ vẫn có p nhỏ: báo r và khoảng tin cậy, không chỉ p.
Câu hỏi thường gặp
Hệ số tương quan bao nhiêu thì gọi là mạnh?
Không có mốc chung cho các ngành. Nhiều sách dùng |r| dưới 0,3 là yếu, từ 0,3 tới 0,7 là vừa, trên 0,7 là mạnh. Mốc đó nói về độ lớn, còn có ý nghĩa thống kê hay không phụ thuộc thêm vào n. Khi có nhiều cột, bài heatmap vẽ cả ma trận tương quan để thấy nhanh cặp nào mạnh.
Kiểm định Pearson cần giả định gì?
Các cặp độc lập, quan hệ gần thẳng, và hai biến gần chuẩn khi n nhỏ. Quan hệ cong hay có điểm ngoại lai thì dùng tương quan Spearman, dựa trên hạng.
Tính p-value của hệ số tương quan trong Excel thế nào?
CORREL cho r. Excel không có hàm trả thẳng p, nên tính t theo công thức của bài rồi gọi T.DIST.2T(ABS(t), n - 2), đúng như 2 * stats.t.sf(abs(t), n - 2).
p-value của pearsonr() nhỏ thì x có làm y tăng không?
Không. Kiểm định chỉ nói hai biến cùng tăng hay ngược chiều trong dữ liệu này. Một biến thứ ba có thể kéo cả hai. Bài tương quan và nhân quả cho thấy điều đó bằng mô phỏng.
Chủ đề
Dữ liệu của bài
- Tải xuống
diem_kiem_tra.csv
CSV · 3.81 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.