Ridge, Lasso và regularization: alpha, RidgeCV, LassoCV
Bài 7/10 · Chương 4
Hồi quy
- 10 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 13
Regularization (chính quy hóa) là cộng thêm vào loss một khoản phạt độ lớn của hệ số, để model không dồn hệ số khổng lồ vào việc khớp nhiễu. Ridge phạt tổng bình phương hệ số (L2) và kéo mọi hệ số nhỏ lại; Lasso phạt tổng trị tuyệt đối (L1) và đưa hẳn một số hệ số về 0. Tham số alpha= là độ mạnh của phạt, chọn bằng RidgeCV hay LassoCV.
Cần biết trước: PolynomialFeatures, StandardScaler và cross validation.
Công thức: MSE cộng khoản phạt
Ridge chọn các hệ số làm nhỏ nhất tổng bình phương sai số cộng khoản phạt:
Trong đó:
y, ŷ với chỉ số i: giá thật và giá đoán của dòng thứ i.
w với chỉ số j (
coef_[j]): hệ số của feature thứ j; hệ số chặn không bị phạt.α (
alpha): độ mạnh của phạt. α = 0 trả về đúngLinearRegression; α càng lớn, hệ số càng bị ép nhỏ.p: số feature.
Lasso đổi khoản phạt thành α · Σ |w_j| và chia phần sai số cho 2n. Trị tuyệt đối có góc nhọn tại 0, nên khi α đủ lớn, đặt hẳn w = 0 lại rẻ hơn giữ một hệ số nhỏ. ElasticNet trộn cả hai khoản phạt theo tỉ lệ l1_ratio.
Tính tay hệ số Ridge của một feature
Với một feature, hệ số Ridge có công thức gọn: w = Sxy / (Sxx + α), với Sxx = Σ (x − x̄)² và Sxy = Σ (x − x̄)(y − ȳ). Năm căn nhà 40, 55, 70, 85, 100 m² giá 3,0; 4,6; 5,2; 7,1; 8,4 tỷ có Sxx = 2.250 và Sxy = 199,5:
α | Mẫu số Sxx + α | w = 199,5 / mẫu số |
|---|---|---|
0 | 2.250 | 0,0887 (bình phương nhỏ nhất) |
250 | 2.500 | 0,0798 |
2.250 | 4.500 | 0,0443 |
α cộng vào mẫu số nên hệ số co dần về 0 nhưng không bao giờ chạm 0. Ridge của scikit-learn cho đúng các số đó:
import numpy as np
from sklearn.linear_model import Ridge
x = np.array([40, 55, 70, 85, 100])
y = np.array([3.0, 4.6, 5.2, 7.1, 8.4])
Sxx = ((x - x.mean()) ** 2).sum()
Sxy = ((x - x.mean()) * (y - y.mean())).sum()
for alpha in [0, 250, 2250]:
w_ridge = Ridge(alpha=alpha).fit(x.reshape(-1, 1), y).coef_[0]
print(alpha, round(Sxy / (Sxx + alpha), 4), round(w_ridge, 4))KẾT QUẢ
0 0.0887 0.0887
250 0.0798 0.0798
2250 0.0443 0.0443Đổi [0, 250, 2250] thành [0, 22500] rồi chạy lại: dòng cuối in 22500 0.0081 0.0081.
Ridge cứu model quá nhiều cột
Regularization có ích nhất khi cột nhiều mà dòng ít. Lấy 150 căn của gia_nha.csv (số giả lập của AIDev), mã hóa cột chữ thành 24 cột, rồi PolynomialFeatures bậc 2 không kèm cột hằng thành 324 cột: nhiều cột hơn số căn. So LinearRegression với Ridge bằng cross validation, StandardScaler đứng trước model trong pipeline:
import pandas as pd
from sklearn.linear_model import LinearRegression, Ridge
from sklearn.model_selection import KFold, cross_val_score
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import PolynomialFeatures, StandardScaler
mau = pd.read_csv("gia_nha.csv").sample(150, random_state=0)
X = pd.get_dummies(mau.drop(columns="gia_ty"), drop_first=True, dtype=int)
chia = KFold(5, shuffle=True, random_state=0)
for model in [LinearRegression(), Ridge(alpha=10)]:
ong = make_pipeline(PolynomialFeatures(2, include_bias=False), StandardScaler(), model)
r2 = cross_val_score(ong, X, mau["gia_ty"], cv=chia).mean()
print(type(model).__name__, round(r2, 3))KẾT QUẢ
LinearRegression -0.376
Ridge 0.816Không phạt, 324 hệ số khớp từng căn của phần train và đoán phần giữ lại còn tệ hơn đoán trung bình: R² cross validation −0,376. Ridge với α = 10 kéo các hệ số lại và đạt 0,816. Cùng cột, cùng dữ liệu, chỉ khác khoản phạt.
Lasso đưa hệ số về 0
Trên cả 2.500 căn với 24 cột đã chuẩn hóa, tăng α của Lasso và đếm số hệ số bằng đúng 0:
import pandas as pd
from sklearn.linear_model import ElasticNet, Lasso
from sklearn.preprocessing import StandardScaler
nha = pd.read_csv("gia_nha.csv")
X = pd.get_dummies(nha.drop(columns="gia_ty"), drop_first=True, dtype=int)
Z = StandardScaler().fit_transform(X)
for alpha in [0.01, 0.1, 0.5]:
lasso = Lasso(alpha=alpha).fit(Z, nha["gia_ty"])
print(alpha, (lasso.coef_ == 0).sum(), "trên", Z.shape[1], "hệ số bằng 0")
print(list(X.columns[lasso.coef_ != 0]))
en = ElasticNet(alpha=0.5, l1_ratio=0.5).fit(Z, nha["gia_ty"])
print("ElasticNet:", (en.coef_ == 0).sum(), "hệ số bằng 0")KẾT QUẢ
0.01 2 trên 24 hệ số bằng 0
0.1 6 trên 24 hệ số bằng 0
0.5 17 trên 24 hệ số bằng 0
['dien_tich_m2', 'so_phong_ngu', 'so_tang', 'khoang_cach_trung_tam_km', 'quan_Quận 1', 'quan_Quận 3', 'loai_nha_Nhà phố']
ElasticNet: 12 hệ số bằng 0Ở α = 0,5, Lasso chỉ giữ 7 cột: diện tích, phòng ngủ, số tầng, khoảng cách, hai quận trung tâm và nhà phố. Đó là cách Lasso chọn feature. ElasticNet với nửa L1 nửa L2 bỏ ít cột hơn, 12. Cột bị đưa về 0 chưa chắc vô dụng: khi hai cột đi cùng nhau, Lasso thường giữ một và bỏ cột kia.
Chọn alpha bằng RidgeCV và LassoCV
α quá nhỏ thì vẫn overfitting, quá lớn thì mọi hệ số bị ép về 0 và model chỉ còn đoán trung bình. RidgeCV thử cả một lưới α rồi giữ α tốt nhất trong alpha_. Lưới lấy từ np.logspace(-2, 4, 25): 25 số từ 10⁻² tới 10⁴, cách đều theo thang log, vì α cần thử trên nhiều bậc độ lớn. Mặc định RidgeCV chấm bằng leave-one-out, mỗi lần giữ lại đúng một căn; store_cv_results=True giữ sai số đó để vẽ:
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.linear_model import RidgeCV
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import PolynomialFeatures, StandardScaler
mau = pd.read_csv("gia_nha.csv").sample(150, random_state=0)
X = pd.get_dummies(mau.drop(columns="gia_ty"), drop_first=True, dtype=int)
ridge = RidgeCV(alphas=np.logspace(-2, 4, 25), store_cv_results=True)
make_pipeline(PolynomialFeatures(2, include_bias=False), StandardScaler(), ridge).fit(X, mau["gia_ty"])
print("alpha_ =", round(ridge.alpha_, 1))
fig, ax = plt.subplots(figsize=(6.4, 4), layout="constrained")
ax.semilogx(ridge.alphas, ridge.cv_results_.mean(axis=0), marker="o")
ax.set(xlabel="alpha (thang log)", ylabel="MSE leave-one-out (tỷ²)")
plt.show()KẾT QUẢ
alpha_ = 17.8Đáy của đường nằm quanh α ≈ 17,8, đúng giá trị RidgeCV chọn. Ở đây StandardScaler đã fit trên cả 150 căn trước khi RidgeCV giữ lại từng căn, nên sai số leave-one-out lạc quan một chút. Với Lasso, LassoCV chọn α theo cùng cách, và cv= đặt cách chia. Trên một mẫu chỉ 60 căn và 24 cột:
import numpy as np
import pandas as pd
from sklearn.linear_model import LassoCV
from sklearn.model_selection import KFold
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
mau = pd.read_csv("gia_nha.csv").sample(60, random_state=0)
X = pd.get_dummies(mau.drop(columns="gia_ty"), drop_first=True, dtype=int)
chia = KFold(5, shuffle=True, random_state=0)
lasso = LassoCV(alphas=np.logspace(-3, 1, 17), cv=chia)
make_pipeline(StandardScaler(), lasso).fit(X, mau["gia_ty"])
print("alpha_ =", round(lasso.alpha_, 3))
print((lasso.coef_ == 0).sum(), "trên", X.shape[1], "hệ số bằng 0")KẾT QUẢ
alpha_ = 0.562
16 trên 24 hệ số bằng 0Với ít dòng như vậy, LassoCV chọn α ≈ 0,56 và chỉ giữ 8 cột. α được chọn bằng chính dữ liệu đó, nên muốn biết model cuối đoán tốt tới đâu thì cần một tập test chưa đụng tới, hoặc một lớp cross validation nữa ở ngoài.
Kiểm tra nhanh
Với Sxy = 30 và Sxx = 10 của một feature, hệ số Ridge khi α = 5 bằng bao nhiêu?
- 3
- 2
- 1,2
Sau
import numpy as np,print(np.logspace(0, 2, 3))in ra gì?[0. 1. 2.][ 1. 10. 100.][0. 0.5 1. ]
Những câu nào đúng về Ridge và Lasso?
- Lasso có thể đưa hệ số về đúng 0, Ridge chỉ co hệ số về gần 0
- alpha càng lớn thì hệ số càng bị ép nhỏ
- alpha = 0 cho model khác hẳn LinearRegression
- Hệ số chặn cũng bị phạt như các hệ số khác
Trong khung bẫy, vì sao đo khoảng cách bằng km làm tác động mỗi km nhỏ hơn hẳn so với đo bằng mét?
- Vì Ridge làm tròn cột có số nhỏ
- Vì hệ số tính theo km lớn gấp 1.000 lần hệ số tính theo mét, nên chịu khoản phạt nặng hơn
- Vì StandardScaler đổi đơn vị của cột
Bài tập
Hệ số Ridge sau khi chuẩn hóa
X là một DataFrame các cột số, y là một Series cùng số dòng, alpha là một số dương. Viết thân hàm he_so_ridge(X, y, alpha): dựng pipeline StandardScaler rồi Ridge(alpha=alpha), fit trên X, y, và lấy hệ số của bước Ridge (theo thang đã chuẩn hóa, không gồm hệ số chặn).
Hàm không sửa X, y của nơi gọi.
Trả về: các hệ số theo thứ tự cột của X, một ndarray của NumPy.
Ví dụ với X = pd.DataFrame({"dien_tich_m2": [40, 55, 70, 85, 100]}), y = pd.Series([3.0, 4.6, 5.2, 7.1, 8.4]) và alpha = 5, kết quả là khoảng array([0.94045]).
from sklearn.linear_model import Ridge
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
def he_so_ridge(X, y, alpha):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Regularization cộng vào loss một khoản phạt độ lớn hệ số, độ mạnh do
alpha=quyết định.Ridge phạt Σ w² và co mọi hệ số; với một feature, w = Sxy / (Sxx + α).
Lasso phạt Σ |w| và đưa một số hệ số về đúng 0; ElasticNet trộn hai khoản phạt.
Chọn α trên lưới
np.logspacebằngRidgeCV,LassoCV, đọc kết quả ởalpha_.Luôn đặt
StandardScalertrước Ridge, Lasso trong pipeline, vì khoản phạt phụ thuộc đơn vị đo.
Câu hỏi thường gặp
Ridge regression và lasso regression khác nhau thế nào khi dùng thực tế?
Ridge giữ mọi feature và chia tác động cho các cột đi cùng nhau, hợp khi nhiều cột cùng có ích. Lasso cho model ít cột, dễ đọc, hợp khi tin rằng chỉ vài cột thật sự quan trọng. Không chắc thì thử cả hai, hoặc ElasticNet, và so bằng cross validation.
Vì sao Lasso báo ConvergenceWarning?
Khoản phạt |w| có góc nhọn tại 0, nên Lasso không có công thức giải thẳng như Ridge. scikit-learn chỉnh lần lượt từng hệ số, hết lượt này tới lượt khác, và dừng khi hệ số gần như không đổi nữa hoặc khi đã chạy đủ max_iter lượt (mặc định 1.000). Cảnh báo nghĩa là nó dừng vì hết lượt: hệ số in ra có thể chưa phải đáp án. Cột lệch thang nhau làm việc chỉnh này chậm hẳn, nên trước hết đặt StandardScaler vào pipeline; còn cảnh báo thì tăng max_iter=.
Regularization có thay cho việc thêm dữ liệu không?
Không hoàn toàn. Khoản phạt giảm overfitting khi dữ liệu ít so với số cột, nhưng thêm dòng vẫn là cách chắc chắn nhất. Trên cả 2.500 căn với 24 cột, Ridge và LinearRegression gần như ngang nhau, vì dữ liệu đã đủ.
Có cần phạt hệ số chặn không?
Không. Hệ số chặn chỉ dời cả đường lên xuống theo mức trung bình của y; phạt nó làm giá đoán lệch đều mà chẳng giảm overfitting. Ridge, Lasso của scikit-learn đều để hệ số chặn ngoài khoản phạt.
Chủ đề
Dữ liệu của bài
- Tải xuống
gia_nha.csv
CSV · 155.53 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.