Bỏ qua đến nội dung chính
Mục lục

Hồi quy tương quan: đường bình phương nhỏ nhất, linregress()

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 5/7 · Chương 11

Tương quan và hồi quy đơn

  • 9 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Hồi quy tương quan (hồi quy đơn biến) tìm đường thẳng ŷ = b₀ + b₁x đi gần các điểm nhất theo nghĩa tổng bình phương khoảng cách dọc nhỏ nhất. Cách tính: hệ số dốc b₁ = Sxy/Sxx, hệ số chặn b₀ = ȳ − b₁x̄, và scipy.stats.linregress() trả cả hai cùng r, p-value. Tương quan cho biết hai biến đi cùng nhau chặt tới đâu; hồi quy cho biết y đổi bao nhiêu khi x tăng một đơn vị.

Cần biết trước: hiệp phương sai, kiểm định hệ số tương quan và phương sai.

Công thức đường bình phương nhỏ nhất

Với mỗi đường thử, khoảng cách dọc từ điểm tới đường là phần dư. Đường bình phương nhỏ nhất là đường làm tổng bình phương phần dư nhỏ nhất, và có lời giải đóng:

b1=SxySxx=∑i=1n(xi−xˉ)(yi−yˉ)∑i=1n(xi−xˉ)2,b0=yˉ−b1xˉb_1 = \frac{S_{xy}}{S_{xx}} = \frac{\sum_{i=1}^{n}(x_i - \bar{x})(y_i - \bar{y})}{\sum_{i=1}^{n}(x_i - \bar{x})^2}, \qquad b_0 = \bar{y} - b_1\bar{x}

Trong đó:

  • x̄, ȳ (x.mean(), y.mean()): trung bình của x và của y.

  • Sxy ((lx * ly).sum()): tổng tích độ lệch, tức (n − 1) lần hiệp phương sai mẫu.

  • Sxx ((lx ** 2).sum()): tổng bình phương độ lệch của x, tức (n − 1) lần phương sai mẫu.

  • b₁ (kq.slope): hệ số dốc, y đổi bao nhiêu khi x tăng 1.

  • b₀ (kq.intercept): hệ số chặn, giá trị của đường tại x = 0.

Vì Sxy và Sxx cùng có thừa số n − 1, b₁ cũng bằng cov(x, y) / var(x) khi cả hai cùng ddof=1. Phần dư của điểm thứ i là eᵢ = yᵢ − (b₀ + b₁xᵢ). Độ phù hợp đo bằng:

R2=1−∑ei2∑(yi−yˉ)2R^2 = 1 - \frac{\sum e_i^2}{\sum (y_i - \bar{y})^2}

Trong đó:

  • tổng eᵢ² ((du ** 2).sum()): phần biến thiên của y đường thẳng chưa giải thích.

  • tổng (yᵢ − ȳ)² (((y - y.mean()) ** 2).sum()): toàn bộ biến thiên của y quanh trung bình.

  • R² (kq.rvalue ** 2): tỉ lệ phương sai của y được đường thẳng giải thích, từ 0 tới 1; với một biến x nó bằng r².

Tính tay trên năm học sinh

Dùng lại năm em ở bài hiệp phương sai: giờ tự học x = 2, 4, 5, 7, 7 và điểm y = 5, 6, 7,5, 7, 9. Bài đó đã có x̄ = 5, ȳ = 6,9 và Sxy = 11. Thêm Sxx = 9 + 1 + 0 + 4 + 4 = 18, nên b₁ = 11/18 ≈ 0,611 và b₀ = 6,9 − 0,611 · 5 ≈ 3,844. Khối dưới đi lại các bước, rồi tính phần dư và R²:

python
gio = [2, 4, 5, 7, 7]
diem = [5.0, 6.0, 7.5, 7.0, 9.0]
tb_x, tb_y = sum(gio) / 5, sum(diem) / 5
sxy = sum((a - tb_x) * (b - tb_y) for a, b in zip(gio, diem))
sxx = sum((a - tb_x) ** 2 for a in gio)
b1 = sxy / sxx
b0 = tb_y - b1 * tb_x
du = [b - (b0 + b1 * a) for a, b in zip(gio, diem)]
print("b1 =", round(b1, 4), "| b0 =", round(b0, 4))
print("Phần dư:", [round(e, 2) for e in du])
sst = sum((b - tb_y) ** 2 for b in diem)
print("R² =", round(1 - sum(e ** 2 for e in du) / sst, 4))

KẾT QUẢ

b1 = 0.6111 | b0 = 3.8444
Phần dư: [-0.07, -0.29, 0.6, -1.12, 0.88]
R² = 0.7307

Phần dư cộng lại bằng 0, một tính chất của đường bình phương nhỏ nhất có hệ số chặn. R² ≈ 0,73: đường thẳng giải thích khoảng 73% biến thiên điểm của năm em, phần còn lại nằm trong phần dư.

Đổi 9.0] thành 6.0] rồi chạy lại: dòng đầu in b1 = 0.2778 | b0 = 4.9111. Một điểm đổi đã kéo độ dốc xuống còn chưa tới một nửa, vì với năm điểm, mỗi điểm nặng ký.

Tính bằng linregress()

stats.linregress(x, y) trả một đối tượng có slope, intercept, rvalue, pvalue (kiểm định H₀ hệ số dốc bằng 0, cùng p-value với kiểm định tương quan), stderr và intercept_stderr:

python
from scipy import stats

gio = [2, 4, 5, 7, 7]
diem = [5.0, 6.0, 7.5, 7.0, 9.0]
kq = stats.linregress(gio, diem)
print("b1 =", round(kq.slope, 4), "| b0 =", round(kq.intercept, 4))
r = kq.rvalue
print("r =", round(r, 4), "| R² =", round(r ** 2, 4))
p = kq.pvalue
print("p < 0.001" if p < 0.001 else f"p = {p:.3f}")

KẾT QUẢ

b1 = 0.6111 | b0 = 3.8444
r = 0.8548 | R² = 0.7307
p = 0.065

Hai hệ số khớp bảng tính tay. np.polyfit(gio, diem, 1) cũng cho cùng đường, nhưng trả mảng [b1, b0] (hệ số bậc cao đứng trước) và không có p-value. Hai cột sai số chuẩn sẽ được dùng ở bài suy diễn hồi quy. Trong Excel, SLOPE, INTERCEPT và RSQ cho ba số tương ứng.

Mô phỏng: b₁ dao động quanh độ dốc thật

Hệ số dốc tính trên một mẫu cũng là một thống kê, nên nó có phân phối mẫu. Khối dưới đặt sự thật là điểm = 6 + 0,2 · giờ + nhiễu, rút 5.000 lớp 40 em và tính b₁ cho từng lớp:

python
import numpy as np

rng = np.random.default_rng(92)
x = rng.uniform(1, 15, size=(5_000, 40))
y = 6 + 0.2 * x + rng.normal(0, 1.3, size=(5_000, 40))
lx = x - x.mean(axis=1, keepdims=True)
ly = y - y.mean(axis=1, keepdims=True)
b1 = (lx * ly).sum(axis=1) / (lx ** 2).sum(axis=1)
print("Trung bình b1:", round(b1.mean(), 3))
print("Độ lệch chuẩn b1:", round(b1.std(ddof=1), 3))
print("Tỉ lệ b1 < 0:", np.mean(b1 < 0))

KẾT QUẢ

Trung bình b1: 0.199
Độ lệch chuẩn b1: 0.052
Tỉ lệ b1 < 0: 0.0

Lần chạy này cho b₁ trung bình rất gần 0,2: đường bình phương nhỏ nhất không lệch về một phía. Nhưng từng lớp vẫn cho b₁ lệch khoảng 0,05 quanh 0,2, nên một hệ số dốc cần đi kèm sai số chuẩn trước khi kết luận.

Áp vào điểm kiểm tra của 160 học sinh

File diem_kiem_tra.csv là số giả lập của AIDev: giờ tự học mỗi tuần và điểm Toán của 160 học sinh lớp 10. Vẽ điểm, đường hồi quy, và in hệ số:

python
import pandas as pd
import matplotlib.pyplot as plt
from scipy import stats
hs = pd.read_csv("diem_kiem_tra.csv")
kq = stats.linregress(hs["gio_tu_hoc"], hs["diem_toan"])
print(f"b1 = {kq.slope:.3f} | R² = {kq.rvalue**2:.3f}")
fig, ax = plt.subplots(figsize=(6.4, 4), layout="constrained")
ax.scatter(hs["gio_tu_hoc"], hs["diem_toan"], s=12, alpha=0.6)
x_ve = hs["gio_tu_hoc"].agg(["min", "max"])
ax.plot(x_ve, kq.intercept + kq.slope * x_ve, color="C3",
        label="Đường bình phương nhỏ nhất")
ax.set(xlabel="Giờ tự học mỗi tuần", ylabel="Điểm Toán",
       title="Điểm Toán theo giờ tự học")
ax.legend()
plt.show()

KẾT QUẢ

b1 = 0.188 | R² = 0.228
Biểu đồ phân tán 160 học sinh, trục ngang giờ tự học 1 đến 15, trục dọc điểm Toán 3 đến 10; đường đỏ đi lên từ khoảng 6,1 ở 1 giờ tới 8,7 ở 15 giờ, các điểm rải rộng quanh đường.

Đọc: mỗi giờ tự học thêm đi cùng điểm Toán cao hơn khoảng 0,19 điểm, tức khoảng 1,9 điểm cho 10 giờ. R² ≈ 0,23 nói đường thẳng chỉ giải thích khoảng một phần tư biến thiên điểm. Phần lớn khác biệt giữa các em đến từ thứ khác. Đây là dữ liệu quan sát, nên b₁ mô tả hai biến đi cùng nhau, chưa nói tự học thêm một giờ sẽ làm điểm tăng 0,19 (bài tương quan và nhân quả).

Dùng đường này để dự đoán điểm của học sinh mới, và đánh giá sai số dự đoán, là việc của tutorial Machine Learning (bài hồi quy tuyến tính).

Kiểm tra nhanh

  1. Với Sxy = 11 và Sxx = 18, print(round(11 / 18, 3)) in ra gì, và đó là hệ số nào?

    • 0.611, hệ số dốc b₁
    • 0.611, hệ số chặn b₀
    • 1.636, hệ số dốc b₁
  2. Một đường hồi quy có R² = 0,23. Câu nào đúng?

    • 23% học sinh nằm đúng trên đường thẳng
    • Đường thẳng giải thích khoảng 23% biến thiên của y quanh trung bình
    • Hệ số dốc bằng 0,23
    • Hai biến không liên quan vì R² nhỏ hơn 0,5
  3. Trong khung bẫy, vì sao 1 / xuoi khác nguoc?

    • Vì linregress() làm tròn sai
    • Vì hồi quy y theo x và x theo y làm nhỏ hai loại khoảng cách khác nhau
    • Vì phải trừ trung bình trước khi gọi linregress()
  4. Những câu nào đúng về đường bình phương nhỏ nhất có hệ số chặn?

    • Tổng phần dư bằng 0
    • Đường đi qua điểm (x̄, ȳ)
    • Đổi chỗ x và y cho cùng hệ số dốc
    • R² bằng bình phương hệ số tương quan Pearson
Đúng hết lần đầu +15 XP

Bài tập

Tính hệ số của đường bình phương nhỏ nhất

Viết thân hàm he_so(x, y) trả hai hệ số của đường bình phương nhỏ nhất ŷ = b₀ + b₁x theo công thức của bài: b₁ = Sxy/Sxx, b₀ = ȳ − b₁x̄. x và y là hai list số cùng độ dài, ít nhất hai phần tử, và x có ít nhất hai giá trị khác nhau.

Không dùng linregress(), np.polyfit(), np.linalg.lstsq(), Polynomial hay ols(). Hàm không sửa x, y của nơi gọi.

Trả về: một tuple (b0, b1) gồm hai số thực.

Ví dụ he_so([2, 4, 5, 7, 7], [5.0, 6.0, 7.5, 7.0, 9.0]) cho khoảng (3.8444, 0.6111).

python
import numpy as np


def he_so(x, y):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • Đường bình phương nhỏ nhất làm tổng bình phương phần dư nhỏ nhất: b₁ = Sxy/Sxx, b₀ = ȳ − b₁x̄.

  • Phần dư là y thật trừ y trên đường; với hệ số chặn, chúng cộng lại bằng 0.

  • R² là tỉ lệ phương sai của y được đường giải thích; với một biến x, R² = r².

  • stats.linregress(x, y) cho slope, intercept, rvalue, pvalue, stderr; np.polyfit(x, y, 1) cho [b1, b0].

  • Hồi quy x theo y không phải nghịch đảo của hồi quy y theo x.

Câu hỏi thường gặp

Hồi quy và tương quan khác nhau thế nào?

Tương quan r đối xứng, không có đơn vị, và chỉ đo độ chặt. Hồi quy chọn một biến để giải thích biến kia, và b₁ có đơn vị (điểm mỗi giờ). Hai thứ nối với nhau qua b₁ = r · s_y / s_x.

R² bao nhiêu là tốt?

Không có mốc chung. Với dữ liệu về con người như điểm thi, R² 0,2 đến 0,3 đã thường gặp. R² nhỏ không có nghĩa hệ số dốc bằng 0: với 160 em, b₁ = 0,19 vẫn có p rất nhỏ.

Vì sao gọi là bình phương nhỏ nhất?

Vì b₀ và b₁ được chọn để tổng bình phương phần dư nhỏ nhất. Bình phương làm điểm trên và dưới đường không triệt tiêu nhau, và cho ra công thức đóng ở đầu bài.

Có dùng đường hồi quy để dự đoán ngoài khoảng dữ liệu được không?

Nên tránh. Dữ liệu chỉ có 1 đến 15 giờ, nên không biết quan hệ còn thẳng ở 40 giờ không. Đánh giá dự đoán thuộc tutorial Machine Learning.

Chủ đề

hồi quy tương quan

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập