Linear regression trong sklearn: coef_, intercept_
Bài 3/10 · Chương 4
Hồi quy
- 8 phút
- Cơ bản
- Python 3.14
- Cập nhật
Trong bài này · 13
Linear regression trong scikit-learn là lớp LinearRegression: gọi .fit(X, y) thì nó tính đường bình phương nhỏ nhất, để hệ số dốc trong coef_ và hệ số chặn trong intercept_, rồi .predict() đoán giá trị mới. Bài này fit model trên bảng giá nhà, đọc hai thuộc tính đó, so chúng với SciPy và vẽ đường hồi quy lên biểu đồ phân tán.
Cần biết trước: fit và predict, hồi quy tuyến tính và MSE và train_test_split.
Công thức model học và chỗ sklearn cất nó
Với một feature, LinearRegression học đúng đường của bài trước:
Trong đó:
x (
X): feature, ở đây là diện tích (m²), đưa vào dạng bảng một cột.ŷ (
model.predict(X)): giá model đoán (tỷ đồng).w (
model.coef_[0]): hệ số dốc.coef_là một mảng, mỗi feature một số; một feature thì mảng có một phần tử.b (
model.intercept_): hệ số chặn, một số.
scikit-learn đặt tên kết thúc bằng _ cho mọi thứ một model rút ra từ dữ liệu, nên các tên đó chưa tồn tại trước fit(): đọc coef_ của một model mới tạo sẽ báo AttributeError. Model không chạy gradient descent: nó giải thẳng bài toán bình phương nhỏ nhất, nên không có learning rate hay số bước.
Fit năm căn nhà và đọc coef_, intercept_
Dùng lại năm căn của bài hồi quy tuyến tính, lần này để sklearn tính. X là list các list: mỗi căn một hàng, mỗi hàng một cột diện tích.
from sklearn.linear_model import LinearRegression
X = [[40], [55], [70], [85], [100]]
y = [3.0, 4.6, 5.2, 7.1, 8.4]
model = LinearRegression().fit(X, y)
print(model.coef_, round(model.intercept_, 4))
print(model.predict([[60], [120]]))KẾT QUẢ
[0.0887] -0.5467
[ 4.7733 10.0933]coef_ là mảng [0.0887], intercept_ là −0,5467: đúng hai số đã tính bằng tay bằng công thức Sxy / Sxx. Căn 60 m² được đoán 4,77 tỷ, tức 0,0887 · 60 − 0,5467. Căn 120 m² nằm ngoài vùng 40–100 m² của dữ liệu, nên con số 10,09 tỷ chỉ là kéo dài đường thẳng, không có căn nào xác nhận. Đổi [[60], [120]] thành [[0]] rồi chạy lại: dòng cuối in [-0.5467]. Đó chính là hệ số chặn.
So với linregress của SciPy trên cả bảng
Bài hồi quy tương quan tính cùng đường bằng scipy.stats.linregress. Fit cả hai trên 2.500 căn của gia_nha.csv (số giả lập của AIDev):
import pandas as pd
from scipy import stats
from sklearn.linear_model import LinearRegression
nha = pd.read_csv("gia_nha.csv")
model = LinearRegression().fit(nha[["dien_tich_m2"]], nha["gia_ty"])
kq = stats.linregress(nha["dien_tich_m2"], nha["gia_ty"])
w, b = model.coef_[0], model.intercept_
print("sklearn:", round(w, 6), round(b, 6))
print("scipy: ", round(kq.slope, 6), round(kq.intercept, 6))
print("R² trên cả bảng:", round(kq.rvalue ** 2, 3))KẾT QUẢ
sklearn: 0.111489 -1.717308
scipy: 0.111489 -1.717308
R² trên cả bảng: 0.26Hai thư viện cho cùng hệ số tới chữ số thứ sáu. Khác nhau ở chỗ dùng: linregress nhận hai cột một chiều, chỉ làm được một feature, và trả kèm p-value cho phần kiểm định; LinearRegression nhận bảng nhiều cột, có predict(), và ghép được vào pipeline của scikit-learn. Mỗi mét vuông thêm 111 triệu đồng vào giá đoán, nhưng diện tích chỉ giải thích khoảng 26% độ biến động của giá.
Chấm trên test và so với baseline
Hệ số tính trên cả bảng chưa cho biết model đoán căn mới tốt tới đâu. Chia train/test, fit trên train, rồi so R² và MAE trên test với DummyRegressor, model luôn đoán giá trung bình của train:
import pandas as pd
from sklearn.dummy import DummyRegressor
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_absolute_error
from sklearn.model_selection import train_test_split
nha = pd.read_csv("gia_nha.csv")
X, y = nha[["dien_tich_m2"]], nha["gia_ty"]
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.2, random_state=0)
for model in [DummyRegressor(), LinearRegression()]:
model.fit(X_train, y_train)
r2 = model.score(X_test, y_test)
mae = mean_absolute_error(y_test, model.predict(X_test))
print(type(model).__name__, round(r2, 3), round(mae, 2))KẾT QUẢ
DummyRegressor -0.012 3.56
LinearRegression 0.273 2.92Trên phần test của lần chia này, model một feature đạt R² 0,273 và sai trung bình 2,92 tỷ mỗi căn, so với 3,56 tỷ của baseline. Đo lại trên 200 hạt giống chia khác nhau, R² test chạy từ 0,17 tới 0,31, trung vị 0,26: đừng đọc nhiều vào con số của một lần chia. Phép chia ngẫu nhiên này coi các căn là độc lập với nhau; khi dữ liệu có thứ tự thời gian hay trùng lặp, xem bài rò rỉ dữ liệu.
Vẽ đường hồi quy lên biểu đồ phân tán
Để vẽ đường của model, tạo một dãy diện tích cách đều, cho predict() đoán giá của dãy đó, rồi nối các điểm đoán bằng ax.plot(). Dãy cũng phải là DataFrame có cùng tên cột lúc fit:
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression
nha = pd.read_csv("gia_nha.csv")
model = LinearRegression().fit(nha[["dien_tich_m2"]], nha["gia_ty"])
luoi = pd.DataFrame({"dien_tich_m2": np.linspace(28, 130, 50)})
mau = nha.sample(400, random_state=1)
fig, ax = plt.subplots(figsize=(6.4, 4), layout="constrained")
ax.scatter(mau["dien_tich_m2"], mau["gia_ty"], s=10, alpha=0.4)
ax.plot(luoi["dien_tich_m2"], model.predict(luoi), color="crimson")
ax.set_title("Đường LinearRegression trên 400 căn")
ax.set(xlabel="Diện tích (m²)", ylabel="Giá (tỷ đồng)")
plt.show()Các căn lớn tỏa ra xa đường hơn căn nhỏ, và nhiều căn giá cao nằm hẳn trên đường: một đường thẳng theo diện tích bỏ sót quận, loại nhà, pháp lý. Thêm các cột đó vào cùng X là việc của bài hồi quy đa biến.
Kiểm tra nhanh
Sau
from sklearn.linear_model import LinearRegressionvàmodel = LinearRegression().fit([[1], [2], [3]], [5, 7, 9]),print(round(model.intercept_, 6))in ra gì?3.02.05.0
Với
nhalà bảng của bài, cách nào đưa đúng X vàoLinearRegression().fit(X, nha["gia_ty"])?X = nha["dien_tich_m2"]X = nha[["dien_tich_m2"]]X = nha["dien_tich_m2"].tolist()
Những câu nào đúng về coef_ và intercept_ của LinearRegression?
coef_là một mảng, mỗi feature của X một phần tử- Chỉ có
coef_sau khi đã gọifit() intercept_là giá trung bình của y- Hệ số của LinearRegression khác hệ số của linregress trên cùng một cột
Trong mục chấm trên test, vì sao bài so LinearRegression với DummyRegressor thay cho so R² với 0?
- Vì R² của LinearRegression luôn dương
- Vì R² = 0 chỉ là mức đoán bằng trung bình của bảng được chấm, còn baseline đoán bằng trung bình của train
- Vì DummyRegressor luôn có R² bằng 0
Bài tập
Diện tích mua được với một ngân sách
nha là một DataFrame có hai cột dien_tich_m2 và gia_ty. Viết thân hàm dien_tich_cho_ngan_sach(nha, ngan_sach): fit một LinearRegression đoán gia_ty từ dien_tich_m2 trên cả bảng nha, rồi tìm diện tích mà model đoán đúng bằng ngan_sach tỷ đồng, tức giải ngan_sach = w · x + b theo x.
Hàm không sửa bảng nha của nơi gọi.
Trả về: diện tích tìm được (m²), một float.
Ví dụ với bảng 3 căn pd.DataFrame({"dien_tich_m2": [50, 60, 70], "gia_ty": [5.0, 6.0, 7.0]}), ngân sách 6.5 cho 65.0.
from sklearn.linear_model import LinearRegression
def dien_tich_cho_ngan_sach(nha, ngan_sach):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
LinearRegression().fit(X, y)tính đường bình phương nhỏ nhất; X là bảng hai chiều, y là một cột.coef_là mảng hệ số dốc, mỗi feature một số;intercept_là hệ số chặn.Trên cùng một cột, hệ số của sklearn trùng hệ số của
scipy.stats.linregress.Chấm model trên test và so với
DummyRegressor, không so R² với 0.Vẽ đường hồi quy bằng
predict()trên một dãy cách đều có cùng tên cột lúc fit.
Câu hỏi thường gặp
Dùng LinearRegression hay linregress?
Cần p-value, khoảng tin cậy hay kiểm định hệ số thì dùng linregress hoặc statsmodels, như bài kiểm định hệ số hồi quy. Cần dự đoán, nhiều feature, chia train/test hay pipeline thì dùng LinearRegression.
Có cần chuẩn hóa feature trước LinearRegression không?
Không cần cho dự đoán: model giải thẳng, nên chuẩn hóa một cột (trừ trung bình rồi chia độ lệch chuẩn) đổi hệ số của cột đó và hệ số chặn, còn giá đoán giữ nguyên. Chuẩn hóa trở nên cần khi thêm phạt hệ số, như Ridge và Lasso trong bài regularization.
Làm sao bỏ hệ số chặn?
Đặt LinearRegression(fit_intercept=False): đường bị ép đi qua gốc tọa độ và intercept_ bằng 0. Chỉ làm vậy khi chắc chắn x = 0 thì y = 0; với giá nhà, ép đường qua gốc thường làm sai số tăng.
Vì sao R² trên test lại cao hơn R² trên train?
Ở lần chia của bài, điểm train là 0,256 còn R² test là 0,273: phần test tình cờ dễ đoán hơn một chút. Model một feature quá đơn giản để học thuộc dữ liệu, nên hai con số dao động quanh nhau; chênh lệch lớn kiểu train cao, test thấp mới là dấu hiệu overfitting.
Chủ đề
Dữ liệu của bài
- Tải xuống
gia_nha.csv
CSV · 155.53 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.