Dự án house price prediction: baseline đến Ridge, log giá
Bài 10/10 · Chương 4
Hồi quy
- 8 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 10
Dự án house price prediction này dự đoán giá nhà ở TP. Hồ Chí Minh từ diện tích, quận, loại nhà và vài cột khác. Bạn bắt đầu từ một mốc so sánh đoán cùng một giá cho mọi căn, thêm dần cột số và cột nhóm, chuyển sang học trên log giá, rồi xem model lệch bao nhiêu với căn rẻ và căn đắt. Mọi bước được chấm bằng MAE cross validation, tính bằng tỷ đồng.
Cần biết trước: baseline, Ridge, Lasso, log transform cho target và cross validation.
Chương trình sẽ làm gì
File gia_nha.csv là số giả lập của AIDev: 2.500 căn nhà ở TP. Hồ Chí Minh, mỗi căn có quận, loại nhà, diện tích, số phòng ngủ, số tầng, khoảng cách tới trung tâm, tuổi nhà, pháp lý, có gần metro không, và giá bằng tỷ đồng. Chương trình trả lời bốn câu:
Đoán cùng một giá cho mọi căn thì lệch bao nhiêu tỷ?
Cột số, rồi cột nhóm, kéo sai số xuống được bao nhiêu?
Học trên log giá thay cho giá thì sao?
Model lệch nhiều hơn ở căn rẻ hay căn đắt?
Thứ tự dựng: nhìn cột giá, đặt mốc so sánh, thêm cột số, thêm cột nhóm, học trên log giá, chia sai số theo tầm giá, cuối cùng ghép thành một chương trình.
Bước 1: Nhìn cột giá trước khi fit
Model đoán giá, nên việc đầu tiên là xem giá trông thế nào:
import pandas as pd
nha = pd.read_csv("gia_nha.csv")
print(nha.shape)
print(nha["gia_ty"].describe().round(2))
print((nha["gia_ty"] > 20).sum(), "căn trên 20 tỷ")KẾT QUẢ
(2500, 10)
count 2500.00
mean 6.64
std 5.41
min 0.59
25% 3.16
50% 5.07
75% 8.08
max 49.68
Name: gia_ty, dtype: float64
87 căn trên 20 tỷMột nửa số căn dưới 5,07 tỷ, nhưng 87 căn vượt 20 tỷ và căn đắt nhất gần 50 tỷ. Một sai số 2 tỷ là chuyện nhỏ với căn 30 tỷ nhưng gần bằng cả giá căn 2 tỷ, nên ngoài MAE chung, bài sẽ xem riêng sai số ở từng tầm giá ở bước 6.
Bước 2: Đặt mốc so sánh bằng DummyRegressor
Mốc so sánh đoán cùng một giá cho mọi căn. Chấm cả hai cách đoán, trung bình và trung vị, bằng MAE cross validation 5 fold:
import pandas as pd
from sklearn.dummy import DummyRegressor
from sklearn.model_selection import KFold, cross_val_score
nha = pd.read_csv("gia_nha.csv")
y = nha["gia_ty"]
X_so = nha.select_dtypes("number").drop(columns="gia_ty")
chia = KFold(5, shuffle=True, random_state=0)
for cach in ["mean", "median"]:
d = -cross_val_score(DummyRegressor(strategy=cach), X_so, y,
cv=chia, scoring="neg_mean_absolute_error")
print(cach, round(d.mean(), 3))KẾT QUẢ
mean 3.787
median 3.524Đoán bằng trung vị lệch trung bình khoảng 3,5 tỷ mỗi căn, ít hơn đoán bằng trung bình, vì MAE thưởng cho trung vị. Mọi model sau phải thắng con số 3,52 này mới đáng giữ.
Bước 3: Thêm các cột số
LinearRegression trên sáu cột số: diện tích, số phòng ngủ, số tầng, khoảng cách tới trung tâm, tuổi nhà và cột 0/1 gần metro:
import pandas as pd
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import KFold, cross_val_score
nha = pd.read_csv("gia_nha.csv")
y = nha["gia_ty"]
X_so = nha.select_dtypes("number").drop(columns="gia_ty")
print(list(X_so.columns))
chia = KFold(5, shuffle=True, random_state=0)
d = -cross_val_score(LinearRegression(), X_so, y, cv=chia,
scoring="neg_mean_absolute_error")
print("MAE:", round(d.mean(), 3), "±", round(d.std(ddof=1), 3))KẾT QUẢ
['dien_tich_m2', 'so_phong_ngu', 'so_tang', 'khoang_cach_trung_tam_km', 'tuoi_nha', 'gan_metro']
MAE: 2.033 ± 0.091Sai số giảm từ 3,52 xuống khoảng 2,03 tỷ. Phần còn thiếu nằm ở ba cột chữ mà LinearRegression chưa đọc được: quận, loại nhà và pháp lý.
Bước 4: Thêm cột nhóm bằng get_dummies
Mã hóa cả ba cột chữ bằng pd.get_dummies với drop_first=True, rồi fit lại:
import pandas as pd
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import KFold, cross_val_score
nha = pd.read_csv("gia_nha.csv")
y = nha["gia_ty"]
X_du = pd.get_dummies(nha.drop(columns="gia_ty"), drop_first=True,
dtype=int)
print(X_du.shape)
chia = KFold(5, shuffle=True, random_state=0)
d = -cross_val_score(LinearRegression(), X_du, y, cv=chia,
scoring="neg_mean_absolute_error")
print("MAE:", round(d.mean(), 3), "±", round(d.std(ddof=1), 3))KẾT QUẢ
(2500, 24)
MAE: 1.609 ± 0.063Bảng có 24 cột feature, và MAE xuống khoảng 1,61 tỷ. Quận và loại nhà mang nhiều thông tin về giá mà các cột số không có.
Bước 5: Học trên log giá
TransformedTargetRegressor học trên np.log1p(gia_ty) rồi tự đổi giá đoán về tỷ đồng bằng np.expm1, nên MAE vẫn tính bằng tỷ. Thử hai model bên trong: LinearRegression, và Ridge alpha 1 sau StandardScaler, bản có phạt hệ số nhẹ:
import numpy as np
import pandas as pd
from sklearn.compose import TransformedTargetRegressor
from sklearn.linear_model import LinearRegression, Ridge
from sklearn.model_selection import KFold, cross_val_score
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
nha = pd.read_csv("gia_nha.csv")
X_du = pd.get_dummies(nha.drop(columns="gia_ty"), drop_first=True, dtype=int)
for ben_trong in [LinearRegression(), make_pipeline(StandardScaler(), Ridge(alpha=1.0))]:
model = TransformedTargetRegressor(ben_trong, func=np.log1p, inverse_func=np.expm1)
d = -cross_val_score(model, X_du, nha["gia_ty"], scoring="neg_mean_absolute_error",
cv=KFold(5, shuffle=True, random_state=0))
print(type(ben_trong).__name__, round(d.mean(), 3), "±", round(d.std(ddof=1), 3))KẾT QUẢ
LinearRegression 0.962 ± 0.076
Pipeline 0.963 ± 0.076MAE rơi từ 1,61 xuống 0,96 tỷ, mức giảm 0,65 tỷ, lớn hơn cả bước thêm cột nhóm (0,42 tỷ). Hai model bên trong cách nhau 0,001 tỷ: 2.500 căn là đủ cho 24 hệ số, nên phạt nhẹ không đổi gì. Bài tập dùng bản Ridge vì nó vẫn ổn khi về sau bạn thêm cột, như các cột tương tác của bài PolynomialFeatures.
Bước 6: Sai số ở căn rẻ và căn đắt
MAE chung giấu chỗ model lệch. Chia 2.500 căn thành 80% train và 20% test, fit model trên giá và model trên log giá trên phần train, rồi chia các căn test theo tầm giá bằng pd.cut và tính sai số trung bình trong từng tầm:
import numpy as np
import pandas as pd
from sklearn.compose import TransformedTargetRegressor
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split
nha = pd.read_csv("gia_nha.csv")
X_du = pd.get_dummies(nha.drop(columns="gia_ty"), drop_first=True, dtype=int)
X_tr, X_te, y_tr, y_te = train_test_split(X_du, nha["gia_ty"], test_size=0.2, random_state=0)
log = TransformedTargetRegressor(LinearRegression(), func=np.log1p, inverse_func=np.expm1)
lech = pd.DataFrame({ten: (y_te - m.fit(X_tr, y_tr).predict(X_te)).abs()
for ten, m in [("tren_gia", LinearRegression()), ("tren_log", log)]})
tam = pd.cut(y_te, [0, 3, 6, 10, 50], labels=["dưới 3", "3 tới 6", "6 tới 10", "trên 10"])
print(lech.groupby(tam, observed=True).mean().round(2))KẾT QUẢ
tren_gia tren_log
gia_ty
dưới 3 1.24 0.38
3 tới 6 1.27 0.65
6 tới 10 1.64 0.96
trên 10 2.36 2.05Model trên giá lệch 1,24 tỷ với các căn test dưới 3 tỷ, tức gần nửa giá của chính những căn đó: đường của nó phải khớp cả căn 30 tỷ, nên căn rẻ bị đoán lệch một khoảng lớn. Model trên log hạ sai số ở căn dưới 3 tỷ xuống 0,38 tỷ và ở căn 3 tới 6 tỷ xuống 0,65 tỷ. Ở căn trên 10 tỷ, cả hai vẫn lệch hơn 2 tỷ. Bước tiến của thang log nằm chủ yếu ở căn rẻ và căn tầm trung, cũng là nơi có đa số căn.
Bước 7: Ghép thành chương trình hoàn chỉnh
Chương trình dưới đọc file một lần, chấm năm cách bằng cùng cách chia và in một bảng MAE:
import numpy as np
import pandas as pd
from sklearn.compose import TransformedTargetRegressor
from sklearn.dummy import DummyRegressor
from sklearn.linear_model import LinearRegression, Ridge
from sklearn.model_selection import KFold, cross_val_score
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
nha = pd.read_csv("gia_nha.csv")
y = nha["gia_ty"]
X_so = nha.select_dtypes("number").drop(columns="gia_ty")
X_du = pd.get_dummies(nha.drop(columns="gia_ty"), drop_first=True,
dtype=int)
chia = KFold(5, shuffle=True, random_state=0)
def tren_log(model):
return TransformedTargetRegressor(model, func=np.log1p,
inverse_func=np.expm1)
cac_buoc = [
("Đoán bằng trung vị", DummyRegressor(strategy="median"), X_so),
("Sáu cột số", LinearRegression(), X_so),
("Thêm cột nhóm", LinearRegression(), X_du),
("Linear trên log giá", tren_log(LinearRegression()), X_du),
("Ridge trên log giá", tren_log(make_pipeline(StandardScaler(),
Ridge(alpha=1.0))), X_du),
]
for ten, model, X in cac_buoc:
d = -cross_val_score(model, X, y, cv=chia,
scoring="neg_mean_absolute_error")
print(f"{ten:<20} {d.mean():.2f} ± {d.std(ddof=1):.2f} tỷ")KẾT QUẢ
Đoán bằng trung vị 3.52 ± 0.25 tỷ
Sáu cột số 2.03 ± 0.09 tỷ
Thêm cột nhóm 1.61 ± 0.06 tỷ
Linear trên log giá 0.96 ± 0.08 tỷ
Ridge trên log giá 0.96 ± 0.08 tỷTừ 3,52 tỷ của mốc so sánh xuống 0,96 tỷ. Cột số gỡ 1,49 tỷ, cột nhóm thêm 0,42 tỷ, và đổi sang thang log thêm 0,65 tỷ; hai model trên log ngang nhau, nên chọn bản Ridge của bước 5. Với người mua không cần đọc code: model này đoán một căn 3 tới 6 tỷ lệch trung bình khoảng 650 triệu, nhưng với căn trên 10 tỷ thì lệch hơn 2 tỷ, nên nó hợp để khoanh vùng giá trước khi đi xem nhà, chưa hợp để chốt giá một căn đắt.
Bài tập
Tỷ lệ căn bị đoán lệch quá một ngưỡng
MAE là một con số trung bình; người mua nhà còn muốn biết bao nhiêu căn bị đoán lệch nhiều. nha là một DataFrame cùng cột với gia_nha.csv, nguong_ty là một số tỷ đồng. Viết thân hàm ti_le_lech_qua(nha, nguong_ty):
mã hóa mọi cột trừ
gia_tybằngpd.get_dummies(..., drop_first=True, dtype=int);dựng model Ridge của bước 5:
TransformedTargetRegressorquanhmake_pipeline(StandardScaler(), Ridge(alpha=1.0)), vớifunc=np.log1p,inverse_func=np.expm1;chia bảng bằng
KFold(5, shuffle=True, random_state=0); với mỗi fold, fit model trên phần train rồi đoán giá cho phần test, để mỗi căn được đoán bởi model chưa thấy nó lúc fit;đếm phần các căn có |giá thật − giá đoán| lớn hơn
nguong_ty.
Hàm không sửa bảng nha của nơi gọi.
Trả về: tỷ lệ từ 0 đến 1, một float.
Ví dụ với cả bảng giá nhà và nguong_ty = 1.0, kết quả là 0.2948: khoảng 29% số căn bị đoán lệch quá 1 tỷ.
import numpy as np
import pandas as pd
from sklearn.compose import TransformedTargetRegressor
from sklearn.linear_model import Ridge
from sklearn.model_selection import KFold
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
def ti_le_lech_qua(nha, nguong_ty):
pass # Viết thân hàm thay cho dòng nàyThử mở rộng
Các hướng dưới làm được ngay với chương trình trên:
Gọi
ti_le_lech_quavới ngưỡng 0,5, 1 và 2 tỷ cho model trên log giá, rồi sửa hàm để dùng Ridge trên giá thô và so hai bộ tỷ lệ.Tính sai số theo quận thay cho theo tầm giá, bằng
groupby(nha["quan"]): quận nào khó đoán nhất?Thay
Ridge(alpha=1.0)bằngRidgeCV(alphas=np.logspace(-2, 3, 11))như bài Ridge, Lasso và xem alpha được chọn.Bỏ cột
quankhỏi bảng feature rồi chấm lại, để đo riêng phần đóng góp của quận.Chấm model trên log giá bằng R² thay cho MAE, như bài MAE, RMSE, R².
Chủ đề
Dữ liệu của bài
- Tải xuống
gia_nha.csv
CSV · 155.53 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.