Hồi quy tuyến tính là gì: đường thẳng khớp nhất và MSE
Bài 1/10 · Chương 4
Hồi quy
- 10 phút
- Cơ bản
- Python 3.14
- Cập nhật
Trong bài này · 13
Hồi quy tuyến tính (linear regression) đoán một con số bằng một đường thẳng ŷ = w·x + b, với w và b được chọn sao cho trung bình bình phương sai số giữa giá đoán và giá thật (MSE) nhỏ nhất. Bạn dùng nó khi muốn đoán giá một căn nhà từ diện tích, hay thời gian giao một đơn từ quãng đường.
Cần biết trước: MAE, RMSE và R², hồi quy tương quan và biểu đồ phân tán.
Công thức của đường thẳng và của loss
Model hồi quy tuyến tính một feature chỉ có hai con số để học:
Trong đó:
x (
dien_tich): feature, ở đây là diện tích căn nhà (m²).ŷ (
du_doan): giá model đoán cho căn đó (tỷ đồng).w (
w): hệ số dốc, số tỷ đồng giá đoán tăng thêm khi diện tích tăng 1 m².b (
b): hệ số chặn, giá đoán khi x bằng 0.
Mỗi cặp w, b là một đường. Để nói đường nào "khớp" hơn, model cần một con số đo độ sai, gọi là hàm mất mát (loss). Loss của hồi quy tuyến tính là MSE (mean squared error):
Trong đó:
n (
len(gia)): số căn nhà.y với chỉ số i (
gia[i]): giá thật của căn thứ i.ŷ với chỉ số i: giá đường thẳng đoán cho căn thứ i.
"Học" nghĩa là tìm cặp w, b cho MSE nhỏ nhất. Bài thống kê gọi cùng đường này là ŷ = b₀ + b₁x; b₁ ở đó là w ở đây.
Tính MSE bằng tay trên năm căn nhà
Năm căn nhà có diện tích 40, 55, 70, 85, 100 m² và giá 3,0; 4,6; 5,2; 7,1; 8,4 tỷ đồng. Thử đường w = 0,09, b = 0, tức mỗi mét vuông 90 triệu:
Bước | Việc | Kết quả |
|---|---|---|
1 | Đoán ŷ = 0,09 · x | 3,6; 4,95; 6,3; 7,65; 9,0 |
2 | Sai số y − ŷ | −0,6; −0,35; −1,1; −0,55; −0,6 |
3 | Bình phương từng sai số | 0,36; 0,1225; 1,21; 0,3025; 0,36 |
4 | Cộng lại | 2,355 |
5 | Chia cho 5 | MSE = 0,471 |
Khối dưới làm đúng năm bước đó, in số trung gian của từng căn:
dien_tich = [40, 55, 70, 85, 100]
gia = [3.0, 4.6, 5.2, 7.1, 8.4]
w, b = 0.09, 0.0
tong = 0
for x, y in zip(dien_tich, gia):
du_doan = w * x + b
sai = y - du_doan
tong += sai ** 2
print(x, round(du_doan, 2), round(sai, 2), round(sai ** 2, 4))
print("MSE:", round(tong / len(gia), 4))KẾT QUẢ
40 3.6 -0.6 0.36
55 4.95 -0.35 0.1225
70 6.3 -1.1 1.21
85 7.65 -0.55 0.3025
100 9.0 -0.6 0.36
MSE: 0.471Mọi sai số đều âm: đường đoán cao hơn giá thật ở cả năm căn. Đổi w, b = 0.09, 0.0 thành w, b = 0.08, 0.0 rồi chạy lại: dòng cuối in MSE: 0.098, đường thấp hơn khớp hơn hẳn.
Kéo hệ số và tìm đường khớp nhất
Thay vì sửa tay từng lần, cho w chạy qua vài giá trị và in MSE của mỗi đường. Sau đó tính đường khớp nhất bằng phương pháp bình phương nhỏ nhất: w = Sxy / Sxx, b = ȳ − w·x̄, công thức bài hồi quy tương quan đã dạy. mean_squared_error của scikit-learn tính lại MSE của đường đó:
import numpy as np
from sklearn.metrics import mean_squared_error
x = np.array([40, 55, 70, 85, 100])
y = np.array([3.0, 4.6, 5.2, 7.1, 8.4])
for w in [0.07, 0.08, 0.09, 0.10]:
print(w, round(float(np.mean((y - w * x) ** 2)), 4))
x_tb, y_tb = x.mean(), y.mean()
w = ((x - x_tb) * (y - y_tb)).sum() / ((x - x_tb) ** 2).sum()
b = y_tb - w * x_tb
print("w =", round(w, 4), " b =", round(b, 3))
print("MSE:", round(mean_squared_error(y, w * x + b), 4))KẾT QUẢ
0.07 0.795
0.08 0.098
0.09 0.471
0.1 1.914
w = 0.0887 b = -0.547
MSE: 0.0606Khi b giữ ở 0, MSE thấp nhất ở w = 0,08 rồi tăng lại hai phía. Cho cả b được chọn, đường bình phương nhỏ nhất đạt MSE 0,0606, thấp hơn mọi đường đã thử: không cặp w, b nào khác cho MSE nhỏ hơn trên năm căn này. Trong Excel, SLOPE và INTERCEPT cho đúng hai số w và b đó.
Hệ số chặn −0,547 không có nghĩa căn 0 m² có giá âm. Nó chỉ là chỗ đường thẳng cắt trục tung, nằm xa vùng 40–100 m² có dữ liệu; đường chỉ đáng tin quanh những diện tích nó đã thấy.
Bình phương còn làm một việc nữa: sai 2 tỷ bị tính nặng gấp bốn sai 1 tỷ, nên đường bị kéo về phía những căn lệch nhiều. Đó là lý do MSE nhạy với ngoại lai hơn MAE.
Mô phỏng: công thức có tìm lại được đường thật không?
Dữ liệu tự sinh cho biết trước đường thật. Khối dưới sinh giá theo đường w = 0,09, b = −0,5 cộng nhiễu ngẫu nhiên, rồi tính lại w, b bằng công thức bình phương nhỏ nhất với 10, 100 và 1.000 căn:
import numpy as np
rng = np.random.default_rng(7)
for n in [10, 100, 1000]:
x = rng.uniform(30, 120, n)
y = 0.09 * x - 0.5 + rng.normal(0, 0.8, n)
x_tb, y_tb = x.mean(), y.mean()
w = ((x - x_tb) * (y - y_tb)).sum() / ((x - x_tb) ** 2).sum()
print(n, round(w, 4), round(y_tb - w * x_tb, 3))KẾT QUẢ
10 0.101 -1.747
100 0.0892 -0.526
1000 0.0896 -0.465Lần chạy này, 10 căn cho w = 0,101 và b = −1,75, lệch khá xa đường thật; 1.000 căn cho 0,0896 và −0,47, sát hơn hẳn. Đổi hạt giống 7 để thấy con số đổi theo, nhưng xu hướng giữ nguyên: càng nhiều dòng, đường học được càng gần đường thật. Điều đó đúng vì dữ liệu ở đây được sinh đúng theo giả định của phương pháp: quan hệ thật là một đường thẳng, và nhiễu có trung bình 0, không phụ thuộc x. Khi quan hệ thật cong, thêm dòng chỉ đưa ta tới đường thẳng gần đường cong nhất, không tới quy luật thật. Muốn biết w lệch tới đâu thì cần khoảng tin cậy của hệ số, phần của bài kiểm định hệ số hồi quy.
Đường khớp nhất trên bảng giá nhà
File gia_nha.csv có 2.500 căn nhà ở TP. Hồ Chí Minh (số giả lập của AIDev). Tính đường bình phương nhỏ nhất của giá theo diện tích trên cả bảng, rồi vẽ đường đó lên 300 căn lấy ngẫu nhiên:
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
nha = pd.read_csv("gia_nha.csv")
x, y = nha["dien_tich_m2"], nha["gia_ty"]
w = ((x - x.mean()) * (y - y.mean())).sum() / ((x - x.mean()) ** 2).sum()
b = y.mean() - w * x.mean()
print("w =", round(w, 4), " b =", round(b, 3))
mau = nha.sample(300, random_state=0)
fig, ax = plt.subplots(figsize=(6.4, 4), layout="constrained")
ax.scatter(mau["dien_tich_m2"], mau["gia_ty"], s=12, alpha=0.5)
duong_x = np.linspace(28, 130, 50)
ax.plot(duong_x, w * duong_x + b, color="black")
ax.set(xlabel="Diện tích (m²)", ylabel="Giá (tỷ đồng)")
plt.show()KẾT QUẢ
w = 0.1115 b = -1.717Trên cả bảng, mỗi mét vuông thêm khoảng 111 triệu đồng vào giá đoán. Các điểm tỏa rộng quanh đường, nhất là ở căn lớn: diện tích chỉ giải thích được một phần giá. Đặt thêm quận, loại nhà, khoảng cách vào cùng model là việc của hồi quy nhiều feature.
Kiểm tra nhanh
Sau
w, b = 0.1, 1.0,print(w * 50 + b)in ra gì?5.16.051.0
Sau
import numpy as np,print(np.mean(np.array([1, -1, 2]) ** 2))in ra gì?0.666666666666666662.0
Những câu nào đúng về loss MSE của hồi quy tuyến tính?
- Sai số được bình phương nên sai số âm và dương không triệt tiêu nhau
- Một căn sai 2 tỷ đóng góp vào MSE gấp bốn một căn sai 1 tỷ
- Đường có tổng sai số bằng 0 luôn là đường khớp nhất
- Hệ số chặn b luôn là giá thật của căn nhà 0 m²
Trong khung bẫy, vì sao đường nằm ngang ở 5,66 tỷ có tổng sai số gần 0 dù đoán mọi căn cùng một giá?
- Vì đường đó là đường khớp nhất của năm căn
- Vì sai số âm của căn nhỏ và sai số dương của căn lớn triệt tiêu nhau
- Vì Python làm tròn tổng về 0
Bài tập
Chọn đường thẳng có MSE nhỏ nhất
x và y là hai list số cùng độ dài: feature và giá trị thật. cac_duong là một list các tuple (w, b), mỗi tuple là một đường ŷ = w·x + b. Viết thân hàm chon_duong(x, y, cac_duong): tính MSE của từng đường trên các điểm, rồi chọn đường có MSE nhỏ nhất. Hai đường cùng MSE thì giữ đường đứng trước trong cac_duong.
Hàm không sửa ba list của nơi gọi.
Trả về: đường được chọn, một tuple (w, b).
Ví dụ chon_duong([1, 2, 3, 4], [2, 4, 5, 8], [(2, 0), (1, 1), (3, -2)]) cho (2, 0).
def chon_duong(x, y, cac_duong):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Hồi quy tuyến tính đoán ŷ = w·x + b; w là hệ số dốc, b là hệ số chặn.
Loss đo độ sai của một đường; loss của hồi quy tuyến tính là MSE, trung bình bình phương sai số.
Bình phương giữ mọi sai số dương và phạt nặng sai số lớn; tổng sai số có dấu không so được hai đường.
Phương pháp bình phương nhỏ nhất cho cặp w, b có MSE thấp nhất trên dữ liệu.
Hệ số chặn chỉ là chỗ cắt trục tung; đường chỉ đáng tin trong vùng dữ liệu đã thấy.
Câu hỏi thường gặp
Vì sao gọi là phương pháp bình phương nhỏ nhất?
Vì đường được chọn là đường có tổng bình phương sai số nhỏ nhất, cũng chính là MSE nhỏ nhất. Công thức w = Sxy / Sxx cho thẳng đáp án mà không phải thử từng đường; bài hồi quy tương quan đi qua công thức đó từng bước.
Hồi quy tuyến tính đơn khác hồi quy tuyến tính đa biến thế nào?
Hồi quy đơn có một feature và một hệ số dốc. Hồi quy đa biến cộng nhiều feature, mỗi feature một hệ số, như giá theo diện tích, số tầng và khoảng cách; bài hồi quy đa biến dạy cách đọc các hệ số đó.
Tìm w và b bằng scikit-learn thì viết thế nào?
LinearRegression().fit(X, y) tính đúng đường bình phương nhỏ nhất, rồi để w trong coef_ và b trong intercept_. Bài linear regression trong sklearn đi qua từng bước; trước đó, bài gradient descent cho thấy máy dò ra w, b bằng cách sửa dần.
Hệ số w có ý nghĩa thống kê không thì xem ở đâu?
MSE không trả lời được câu hỏi đó: cần sai số chuẩn, khoảng tin cậy và p-value của hệ số. Bài kiểm định hệ số hồi quy của tutorial Thống kê làm việc đó với statsmodels.
Chủ đề
Dữ liệu của bài
- Tải xuống
gia_nha.csv
CSV · 155.53 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.