Tương quan là gì? Tính hệ số tương quan với df.corr()
Bài 6/10 · Chương 3
Biểu đồ thống kê với seaborn
- 8 phút
- Cơ bản
- Python 3.14
- Cập nhật
Trong bài này · 12
Tương quan là gì? Đó là mức độ hai biến cùng tăng hoặc cùng giảm theo nhau, như thí sinh giỏi Toán thường cũng giỏi Lý. Hệ số tương quan Pearson gói mức độ ấy vào một số từ -1 đến 1, và pandas tính nó cho cả bảng chỉ bằng df.corr().
Cần biết trước: biểu đồ phân tán, thống kê mô tả, chọn cột và dtype và astype().
Tương quan nhìn trên biểu đồ phân tán
File diem_thi.csv có 500 thí sinh; khoảng 300 thí sinh ban KHTN có điểm cả Toán và Lý. Đặt hai điểm lên hai trục, mỗi thí sinh một chấm:
import pandas as pd
import matplotlib.pyplot as plt
dt = pd.read_csv("diem_thi.csv", dtype={"sbd": str})
fig, ax = plt.subplots(figsize=(6.4, 4), layout="constrained")
ax.scatter(dt["toan"], dt["ly"], alpha=0.4)
ax.set_title("Điểm Toán cao thì điểm Lý thường cũng cao")
ax.set_xlabel("Điểm Toán (thang 10)")
ax.set_ylabel("Điểm Lý (thang 10)")
plt.show()Đám chấm chạy chéo lên: điểm Toán càng cao, điểm Lý thường càng cao. Đó là tương quan dương. Nếu đám chấm chạy chéo xuống thì là tương quan âm; nếu là một đám tròn không hướng thì gần như không tương quan. Đám này khá loe: nhiều thí sinh 8 điểm Toán vẫn chỉ 6 điểm Lý, nên tương quan ở đây vừa phải chứ không chặt. Thí sinh ban KHXH không có điểm Lý, scatter() bỏ qua các dòng đó.
Hệ số tương quan Pearson
Hệ số Pearson, ký hiệu r, đo đám chấm bám sát một đường thẳng đến đâu. Dấu của r cho hướng: dương là cùng tăng, âm là một bên tăng thì bên kia giảm. Độ lớn cho độ chặt: 1 hoặc -1 khi mọi chấm nằm đúng trên một đường thẳng, 0 khi không có xu hướng thẳng nào. Series.corr() tính r của hai cột:
import pandas as pd
dt = pd.read_csv("diem_thi.csv", dtype={"sbd": str})
kk = pd.read_csv("khong_khi.csv")
print(round(dt["toan"].corr(dt["ly"]), 2))
print(round(kk["pm25"].corr(kk["pm10"]), 2))
print(round(kk["pm25"].corr(kk["do_am"]), 2))KẾT QUẢ
0.57
0.99
-0.47Toán và Lý có r khoảng 0,57: dương, vừa phải, khớp với đám chấm loe ở trên. PM2.5 và PM10 gần bằng 1 vì bụi mịn PM2.5 là một phần của bụi PM10, hai số đi gần như song song. PM2.5 và độ ẩm âm: ngày ẩm hơn thường ít bụi hơn. corr() tự bỏ các dòng thiếu một trong hai giá trị, như thí sinh KHXH không có điểm Lý. Đổi "ly" thành "van" rồi chạy lại: dòng đầu in 0.54.
Ma trận tương quan với df.corr()
df.corr() tính r cho mọi cặp cột số cùng lúc và trả về một bảng vuông: dòng và cột là tên biến, mỗi ô là r của cặp đó. Bạn chọn các cột số của bảng không khí trước:
import pandas as pd
kk = pd.read_csv("khong_khi.csv")
so = kk[["pm25", "pm10", "nhiet_do", "do_am", "mua_mm"]]
print(so.corr().round(2))KẾT QUẢ
pm25 pm10 nhiet_do do_am mua_mm
pm25 1.00 0.99 -0.64 -0.47 -0.29
pm10 0.99 1.00 -0.63 -0.46 -0.28
nhiet_do -0.64 -0.63 1.00 0.38 0.13
do_am -0.47 -0.46 0.38 1.00 0.47
mua_mm -0.29 -0.28 0.13 0.47 1.00Đường chéo toàn 1 vì mỗi cột tương quan hoàn hảo với chính nó, và bảng đối xứng qua đường chéo: ô (pm25, do_am) bằng ô (do_am, pm25). Đọc dòng pm25: nhiệt độ có r âm mạnh nhất, khoảng -0,64, rồi tới độ ẩm và lượng mưa. Bài heatmap tô màu bảng này để mắt đọc nhanh hơn.
Tương quan không phải nhân quả
Ở Hà Nội, PM2.5 và nhiệt độ có r khoảng -0,72. Dễ kết luận "trời lạnh sinh ra bụi", nhưng còn một biến thứ ba: mùa. Mùa đông ở Hà Nội vừa lạnh vừa ít mưa, nên cả nhiệt độ và bụi cùng đổi theo mùa. Thử tính r chỉ trong tháng 1, khi nhiệt độ không đổi theo mùa nữa:
import pandas as pd
kk = pd.read_csv("khong_khi.csv", parse_dates=["ngay"])
hn = kk[kk["tinh"] == "Hà Nội"]
print(round(hn["pm25"].corr(hn["nhiet_do"]), 2))
t1 = hn[hn["ngay"].dt.month == 1]
print(round(t1["pm25"].corr(t1["nhiet_do"]), 2))KẾT QUẢ
-0.72
-0.25Cả năm r khoảng -0,72, nhưng trong cùng tháng 1 chỉ còn khoảng -0,25. Phần lớn mối liên hệ cả năm đến từ việc cả hai cùng đi theo mùa. Đây là bảng dữ liệu AIDev dựng để học, nhưng kiểu bẫy này có thật: số kem bán ra và số người đuối nước cùng tăng vào mùa hè, mà kem không làm ai đuối nước. Tương quan chỉ nói hai biến đi cùng nhau; muốn nói cái này gây ra cái kia, bạn cần thí nghiệm hoặc lý lẽ ngoài con số.
Kiểm tra nhanh
Sau
import pandas as pd,float(pd.Series([1, 2, 3, 4]).corr(pd.Series([8, 6, 4, 2])))cho kết quả gì?1.0-1.00.0
Hệ số r = -0,64 giữa PM2.5 và nhiệt độ nói gì?
- Ngày nóng hơn thường ít bụi hơn, mối liên hệ khá rõ nhưng không chặt tuyệt đối
- Nhiệt độ tăng 1 độ thì PM2.5 giảm 0,64 µg/m³
- Hai biến gần như không liên quan vì r nhỏ hơn 1
Gọi
kk.corr()trên bảng không khí còn cộtngayvàtinhthì có gì?- pandas tự bỏ cột chữ rồi trả bảng
- Bảng có ô
NaNở dòngngay - Lỗi
ValueErrorvì không đổi được'2025-01-01'sang số
Những câu nào đúng?
- r gần 0 vẫn có thể đi với một quan hệ cong rất rõ
- Hai biến cùng đổi theo mùa có thể có r lớn mà không gây ra nhau
- r = 0,99 chứng minh biến này gây ra biến kia
- Ma trận tương quan có đường chéo toàn 0
Bài tập
Xếp các biến theo độ mạnh tương quan
Bảng bang chỉ có cột số, như các cột chỉ số của file khong_khi.csv. Viết thân hàm xep_tuong_quan(bang, cot):
tính hệ số tương quan Pearson của cột
cotvới từng cột khác bằngcorr();bỏ chính cột
cotkhỏi kết quả;xếp theo độ lớn của hệ số, không tính dấu, mạnh nhất đứng trước.
Hàm không sửa bảng nó nhận.
Trả về: các hệ số, một Series có chỉ mục là tên cột.
import pandas as pd
def xep_tuong_quan(bang, cot):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Tương quan là mức độ hai biến cùng tăng giảm theo nhau; biểu đồ phân tán cho thấy nó trước con số.
Hệ số Pearson r nằm từ -1 đến 1: dấu là hướng, độ lớn là độ chặt quanh một đường thẳng.
a.corr(b)tính r của hai Series;df.corr()trả ma trận r của mọi cặp cột số.Cột chữ làm
corr()báoValueError; chọn cột số hoặc dùngnumeric_only=True.r gần 0 chưa chắc là không liên quan, và r lớn không chứng minh nhân quả.
Câu hỏi thường gặp
Hệ số tương quan bao nhiêu thì gọi là mạnh?
Không có mốc chung cho mọi lĩnh vực. Một quy ước hay gặp: độ lớn dưới 0,3 là yếu, 0,3 đến 0,7 là vừa, trên 0,7 là mạnh. Đọc con số cùng biểu đồ phân tán: vài điểm ngoại lai có thể kéo r lên hay xuống đáng kể.
Pearson khác Spearman ở đâu?
Pearson đo xu hướng thẳng trên chính các giá trị. Spearman đổi giá trị thành thứ hạng trước rồi mới tính, nên bắt được quan hệ cong mà luôn cùng chiều và ít bị điểm ngoại lai kéo. Trong pandas chỉ cần df.corr(method="spearman").
Vì sao corr() bỏ qua các dòng thiếu?
pandas tính từng cặp cột trên các dòng có đủ cả hai giá trị. Vì vậy mỗi ô của ma trận có thể dựa trên số dòng khác nhau, như cặp Toán và Lý chỉ dựa trên thí sinh KHTN. Kiểm số dòng còn lại bằng notna() như bài thống kê mô tả trước khi so các ô với nhau.
Có vẽ ma trận tương quan thành hình được không?
Được, và nên làm khi bảng có nhiều hơn bốn, năm cột. sns.heatmap() tô mỗi ô một màu theo r, đỏ cho dương, xanh cho âm, và ghi số lên ô. Bài heatmap dạy cách làm và cách chỉ giữ nửa tam giác dưới.
Chủ đề
Dữ liệu của bài
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.