Hồi quy tương quan: đường bình phương nhỏ nhất, linregress()
Bài 5/7 · Chương 11
Tương quan và hồi quy đơn
- 9 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 13
Hồi quy tương quan (hồi quy đơn biến) tìm đường thẳng ŷ = b₀ + b₁x đi gần các điểm nhất theo nghĩa tổng bình phương khoảng cách dọc nhỏ nhất. Cách tính: hệ số dốc b₁ = Sxy/Sxx, hệ số chặn b₀ = ȳ − b₁x̄, và scipy.stats.linregress() trả cả hai cùng r, p-value. Tương quan cho biết hai biến đi cùng nhau chặt tới đâu; hồi quy cho biết y đổi bao nhiêu khi x tăng một đơn vị.
Cần biết trước: hiệp phương sai, kiểm định hệ số tương quan và phương sai.
Công thức đường bình phương nhỏ nhất
Với mỗi đường thử, khoảng cách dọc từ điểm tới đường là phần dư. Đường bình phương nhỏ nhất là đường làm tổng bình phương phần dư nhỏ nhất, và có lời giải đóng:
Trong đó:
x̄, ȳ (
x.mean(),y.mean()): trung bình của x và của y.Sxy (
(lx * ly).sum()): tổng tích độ lệch, tức (n − 1) lần hiệp phương sai mẫu.Sxx (
(lx ** 2).sum()): tổng bình phương độ lệch của x, tức (n − 1) lần phương sai mẫu.b₁ (
kq.slope): hệ số dốc, y đổi bao nhiêu khi x tăng 1.b₀ (
kq.intercept): hệ số chặn, giá trị của đường tại x = 0.
Vì Sxy và Sxx cùng có thừa số n − 1, b₁ cũng bằng cov(x, y) / var(x) khi cả hai cùng ddof=1. Phần dư của điểm thứ i là eᵢ = yᵢ − (b₀ + b₁xᵢ). Độ phù hợp đo bằng:
Trong đó:
tổng eᵢ² (
(du ** 2).sum()): phần biến thiên của y đường thẳng chưa giải thích.tổng (yᵢ − ȳ)² (
((y - y.mean()) ** 2).sum()): toàn bộ biến thiên của y quanh trung bình.R² (
kq.rvalue ** 2): tỉ lệ phương sai của y được đường thẳng giải thích, từ 0 tới 1; với một biến x nó bằng r².
Tính tay trên năm học sinh
Dùng lại năm em ở bài hiệp phương sai: giờ tự học x = 2, 4, 5, 7, 7 và điểm y = 5, 6, 7,5, 7, 9. Bài đó đã có x̄ = 5, ȳ = 6,9 và Sxy = 11. Thêm Sxx = 9 + 1 + 0 + 4 + 4 = 18, nên b₁ = 11/18 ≈ 0,611 và b₀ = 6,9 − 0,611 · 5 ≈ 3,844. Khối dưới đi lại các bước, rồi tính phần dư và R²:
gio = [2, 4, 5, 7, 7]
diem = [5.0, 6.0, 7.5, 7.0, 9.0]
tb_x, tb_y = sum(gio) / 5, sum(diem) / 5
sxy = sum((a - tb_x) * (b - tb_y) for a, b in zip(gio, diem))
sxx = sum((a - tb_x) ** 2 for a in gio)
b1 = sxy / sxx
b0 = tb_y - b1 * tb_x
du = [b - (b0 + b1 * a) for a, b in zip(gio, diem)]
print("b1 =", round(b1, 4), "| b0 =", round(b0, 4))
print("Phần dư:", [round(e, 2) for e in du])
sst = sum((b - tb_y) ** 2 for b in diem)
print("R² =", round(1 - sum(e ** 2 for e in du) / sst, 4))KẾT QUẢ
b1 = 0.6111 | b0 = 3.8444
Phần dư: [-0.07, -0.29, 0.6, -1.12, 0.88]
R² = 0.7307Phần dư cộng lại bằng 0, một tính chất của đường bình phương nhỏ nhất có hệ số chặn. R² ≈ 0,73: đường thẳng giải thích khoảng 73% biến thiên điểm của năm em, phần còn lại nằm trong phần dư.
Đổi 9.0] thành 6.0] rồi chạy lại: dòng đầu in b1 = 0.2778 | b0 = 4.9111. Một điểm đổi đã kéo độ dốc xuống còn chưa tới một nửa, vì với năm điểm, mỗi điểm nặng ký.
Tính bằng linregress()
stats.linregress(x, y) trả một đối tượng có slope, intercept, rvalue, pvalue (kiểm định H₀ hệ số dốc bằng 0, cùng p-value với kiểm định tương quan), stderr và intercept_stderr:
from scipy import stats
gio = [2, 4, 5, 7, 7]
diem = [5.0, 6.0, 7.5, 7.0, 9.0]
kq = stats.linregress(gio, diem)
print("b1 =", round(kq.slope, 4), "| b0 =", round(kq.intercept, 4))
r = kq.rvalue
print("r =", round(r, 4), "| R² =", round(r ** 2, 4))
p = kq.pvalue
print("p < 0.001" if p < 0.001 else f"p = {p:.3f}")KẾT QUẢ
b1 = 0.6111 | b0 = 3.8444
r = 0.8548 | R² = 0.7307
p = 0.065Hai hệ số khớp bảng tính tay. np.polyfit(gio, diem, 1) cũng cho cùng đường, nhưng trả mảng [b1, b0] (hệ số bậc cao đứng trước) và không có p-value. Hai cột sai số chuẩn sẽ được dùng ở bài suy diễn hồi quy. Trong Excel, SLOPE, INTERCEPT và RSQ cho ba số tương ứng.
Mô phỏng: b₁ dao động quanh độ dốc thật
Hệ số dốc tính trên một mẫu cũng là một thống kê, nên nó có phân phối mẫu. Khối dưới đặt sự thật là điểm = 6 + 0,2 · giờ + nhiễu, rút 5.000 lớp 40 em và tính b₁ cho từng lớp:
import numpy as np
rng = np.random.default_rng(92)
x = rng.uniform(1, 15, size=(5_000, 40))
y = 6 + 0.2 * x + rng.normal(0, 1.3, size=(5_000, 40))
lx = x - x.mean(axis=1, keepdims=True)
ly = y - y.mean(axis=1, keepdims=True)
b1 = (lx * ly).sum(axis=1) / (lx ** 2).sum(axis=1)
print("Trung bình b1:", round(b1.mean(), 3))
print("Độ lệch chuẩn b1:", round(b1.std(ddof=1), 3))
print("Tỉ lệ b1 < 0:", np.mean(b1 < 0))KẾT QUẢ
Trung bình b1: 0.199
Độ lệch chuẩn b1: 0.052
Tỉ lệ b1 < 0: 0.0Lần chạy này cho b₁ trung bình rất gần 0,2: đường bình phương nhỏ nhất không lệch về một phía. Nhưng từng lớp vẫn cho b₁ lệch khoảng 0,05 quanh 0,2, nên một hệ số dốc cần đi kèm sai số chuẩn trước khi kết luận.
Áp vào điểm kiểm tra của 160 học sinh
File diem_kiem_tra.csv là số giả lập của AIDev: giờ tự học mỗi tuần và điểm Toán của 160 học sinh lớp 10. Vẽ điểm, đường hồi quy, và in hệ số:
import pandas as pd
import matplotlib.pyplot as plt
from scipy import stats
hs = pd.read_csv("diem_kiem_tra.csv")
kq = stats.linregress(hs["gio_tu_hoc"], hs["diem_toan"])
print(f"b1 = {kq.slope:.3f} | R² = {kq.rvalue**2:.3f}")
fig, ax = plt.subplots(figsize=(6.4, 4), layout="constrained")
ax.scatter(hs["gio_tu_hoc"], hs["diem_toan"], s=12, alpha=0.6)
x_ve = hs["gio_tu_hoc"].agg(["min", "max"])
ax.plot(x_ve, kq.intercept + kq.slope * x_ve, color="C3",
label="Đường bình phương nhỏ nhất")
ax.set(xlabel="Giờ tự học mỗi tuần", ylabel="Điểm Toán",
title="Điểm Toán theo giờ tự học")
ax.legend()
plt.show()KẾT QUẢ
b1 = 0.188 | R² = 0.228Đọc: mỗi giờ tự học thêm đi cùng điểm Toán cao hơn khoảng 0,19 điểm, tức khoảng 1,9 điểm cho 10 giờ. R² ≈ 0,23 nói đường thẳng chỉ giải thích khoảng một phần tư biến thiên điểm. Phần lớn khác biệt giữa các em đến từ thứ khác. Đây là dữ liệu quan sát, nên b₁ mô tả hai biến đi cùng nhau, chưa nói tự học thêm một giờ sẽ làm điểm tăng 0,19 (bài tương quan và nhân quả).
Dùng đường này để dự đoán điểm của học sinh mới, và đánh giá sai số dự đoán, là việc của tutorial Machine Learning (bài hồi quy tuyến tính).
Kiểm tra nhanh
Với Sxy = 11 và Sxx = 18,
print(round(11 / 18, 3))in ra gì, và đó là hệ số nào?0.611, hệ số dốc b₁0.611, hệ số chặn b₀1.636, hệ số dốc b₁
Một đường hồi quy có R² = 0,23. Câu nào đúng?
- 23% học sinh nằm đúng trên đường thẳng
- Đường thẳng giải thích khoảng 23% biến thiên của y quanh trung bình
- Hệ số dốc bằng 0,23
- Hai biến không liên quan vì R² nhỏ hơn 0,5
Trong khung bẫy, vì sao
1 / xuoikhácnguoc?- Vì
linregress()làm tròn sai - Vì hồi quy y theo x và x theo y làm nhỏ hai loại khoảng cách khác nhau
- Vì phải trừ trung bình trước khi gọi
linregress()
- Vì
Những câu nào đúng về đường bình phương nhỏ nhất có hệ số chặn?
- Tổng phần dư bằng 0
- Đường đi qua điểm (x̄, ȳ)
- Đổi chỗ x và y cho cùng hệ số dốc
- R² bằng bình phương hệ số tương quan Pearson
Bài tập
Tính hệ số của đường bình phương nhỏ nhất
Viết thân hàm he_so(x, y) trả hai hệ số của đường bình phương nhỏ nhất ŷ = b₀ + b₁x theo công thức của bài: b₁ = Sxy/Sxx, b₀ = ȳ − b₁x̄. x và y là hai list số cùng độ dài, ít nhất hai phần tử, và x có ít nhất hai giá trị khác nhau.
Không dùng linregress(), np.polyfit(), np.linalg.lstsq(), Polynomial hay ols(). Hàm không sửa x, y của nơi gọi.
Trả về: một tuple (b0, b1) gồm hai số thực.
Ví dụ he_so([2, 4, 5, 7, 7], [5.0, 6.0, 7.5, 7.0, 9.0]) cho khoảng (3.8444, 0.6111).
import numpy as np
def he_so(x, y):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Đường bình phương nhỏ nhất làm tổng bình phương phần dư nhỏ nhất: b₁ = Sxy/Sxx, b₀ = ȳ − b₁x̄.
Phần dư là y thật trừ y trên đường; với hệ số chặn, chúng cộng lại bằng 0.
R² là tỉ lệ phương sai của y được đường giải thích; với một biến x, R² = r².
stats.linregress(x, y)choslope,intercept,rvalue,pvalue,stderr;np.polyfit(x, y, 1)cho[b1, b0].Hồi quy x theo y không phải nghịch đảo của hồi quy y theo x.
Câu hỏi thường gặp
Hồi quy và tương quan khác nhau thế nào?
Tương quan r đối xứng, không có đơn vị, và chỉ đo độ chặt. Hồi quy chọn một biến để giải thích biến kia, và b₁ có đơn vị (điểm mỗi giờ). Hai thứ nối với nhau qua b₁ = r · s_y / s_x.
R² bao nhiêu là tốt?
Không có mốc chung. Với dữ liệu về con người như điểm thi, R² 0,2 đến 0,3 đã thường gặp. R² nhỏ không có nghĩa hệ số dốc bằng 0: với 160 em, b₁ = 0,19 vẫn có p rất nhỏ.
Vì sao gọi là bình phương nhỏ nhất?
Vì b₀ và b₁ được chọn để tổng bình phương phần dư nhỏ nhất. Bình phương làm điểm trên và dưới đường không triệt tiêu nhau, và cho ra công thức đóng ở đầu bài.
Có dùng đường hồi quy để dự đoán ngoài khoảng dữ liệu được không?
Nên tránh. Dữ liệu chỉ có 1 đến 15 giờ, nên không biết quan hệ còn thẳng ở 40 giờ không. Đánh giá dự đoán thuộc tutorial Machine Learning.
Chủ đề
Dữ liệu của bài
- Tải xuống
diem_kiem_tra.csv
CSV · 3.81 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.