Hyperparameter là gì? Khác tham số của model thế nào
Bài 1/8 · Chương 10
Tinh chỉnh và giải thích model
- 8 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 11
Hyperparameter (siêu tham số) là con số bạn đặt cho model trước khi gọi fit(), như độ sâu tối đa của cây hay C= của LogisticRegression; còn tham số là thứ model tự học từ dữ liệu, như các hệ số. Bạn gặp hyperparameter mỗi lần dựng một model: cùng bảng hội viên, đặt khác là học ra model khác, nên phải chọn cho có cách.
Cần biết trước: fit, predict, score, tỉa cây quyết định và cross validation.
Tham số model học được và hyperparameter bạn đặt
File hoi_vien.csv có 3.000 hội viên gói Sóc Vàng của chuỗi Sóc Nhanh (số giả lập của AIDev), cột roi_bo là 1 khi hội viên bỏ gói. Dựng một LogisticRegression trên ba cột, đặt C=0.1 rồi fit. C phạt độ lớn của hệ số, mà độ lớn hệ số phụ thuộc đơn vị của cột (ngày, lần, tháng), nên ba cột được chuẩn hóa trước:
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.preprocessing import StandardScaler
kh = pd.read_csv("hoi_vien.csv")
cot = ["so_ngay_tu_lan_mua_cuoi", "so_lan_khieu_nai",
"so_thang_su_dung"]
X = StandardScaler().fit_transform(kh[cot])
model = LogisticRegression(C=0.1)
print("Đặt trước:", model.get_params()["C"])
model.fit(X, kh["roi_bo"])
print("Học được:", model.coef_.round(3), model.intercept_.round(3))KẾT QUẢ
Đặt trước: 0.1
Học được: [[ 0.743 0.299 -0.169]] [-1.558]C có giá trị ngay khi tạo model, trước khi thấy dòng dữ liệu nào: đó là hyperparameter. Ba hệ số trong coef_ và hệ số chặn intercept_ chỉ có sau fit(), do model tự tìm từ 3.000 dòng: đó là tham số. Thuộc tính kết thúc bằng dấu _ là thứ học được. Đổi C=0.1 thành C=0.001 rồi chạy lại: dòng đầu in Đặt trước: 0.001, còn cả ba hệ số co về gần 0, như số ngày từ lần mua cuối từ 0,743 xuống 0,265, vì C nhỏ là phạt hệ số mạnh hơn.
Model | Hyperparameter hay gặp | Tham số học được |
|---|---|---|
|
|
|
|
|
|
|
| câu hỏi và ngưỡng ở từng nút ( |
get_params() và set_params()
get_params() trả một dict mọi hyperparameter của model, kể cả những cái bạn để mặc định. set_params() đổi chúng trên chính model đó và trả lại model, nên nối tiếp được .fit(). Đoạn dưới giữ 25% số hội viên làm tập validation, rồi cho cùng một cây học hai lần với hai độ sâu:
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier
kh = pd.read_csv("hoi_vien.csv")
X = kh.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"]
X_tr, X_val, y_tr, y_val = train_test_split(
X, kh["roi_bo"], test_size=0.25, stratify=kh["roi_bo"],
random_state=0)
cay = DecisionTreeClassifier(max_depth=3, random_state=0)
print(cay.get_params()["max_depth"], cay.get_params()["min_samples_leaf"])
for do_sau in [3, 12]:
cay.set_params(max_depth=do_sau).fit(X_tr, y_tr)
print(do_sau, cay.get_n_leaves(), round(cay.score(X_tr, y_tr), 3),
round(cay.score(X_val, y_val), 3))KẾT QUẢ
3 1
3 8 0.821 0.805
12 313 0.977 0.752Bảng X lấy mười cột số từ tu_dong_gia_han tới ti_le_dung_ma_giam: không có nhãn, bỏ diem_danh_gia_tb vì cột này thiếu giá trị, và không có cột hoi_cach_huy_sau_moc vì nó ghi sau mốc. min_samples_leaf không được gõ mà vẫn có giá trị 1, mặc định của scikit-learn. Độ sâu 3 cho cây 8 lá; độ sâu 12 cho cây 313 lá. Số lá là thứ cây học được, nhưng giới hạn của nó do hyperparameter đặt. Cây 313 lá đúng 97,7% trên dữ liệu đã học mà chỉ 75,2% trên tập validation, thấp hơn cây 8 lá: nó khớp cả những chi tiết riêng của tập train.
Hyperparameter tuning: chọn bằng cross validation
Hyperparameter tuning (tinh chỉnh) là thử nhiều giá trị rồi giữ giá trị cho điểm tốt nhất trên dữ liệu model không học. Chọn trên một tập validation được; chọn bằng cross validation trên phần train thì ổn định hơn, vì mỗi giá trị được chấm trên năm phần khác nhau. Giữ max_depth=8, thử bốn mức min_samples_leaf, chấm bằng ROC-AUC:
import pandas as pd
from sklearn.model_selection import cross_val_score, train_test_split
from sklearn.tree import DecisionTreeClassifier
kh = pd.read_csv("hoi_vien.csv")
X = kh.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"]
X_tr, X_te, y_tr, y_te = train_test_split(
X, kh["roi_bo"], test_size=0.25, stratify=kh["roi_bo"],
random_state=0)
for la in [1, 20, 60, 100]:
cay = DecisionTreeClassifier(max_depth=8, min_samples_leaf=la,
random_state=0)
diem = cross_val_score(cay, X_tr, y_tr, cv=5, scoring="roc_auc")
print(la, round(diem.mean(), 3), "±", round(diem.std(ddof=1), 3))KẾT QUẢ
1 0.645 ± 0.038
20 0.74 ± 0.018
60 0.761 ± 0.027
100 0.753 ± 0.036Lá ít nhất 60 hội viên cho điểm trung bình cao nhất, 0,761, dù khoảng cách tới mức 100 còn kém độ dao động giữa năm fold. Quyết định đó chỉ dùng phần train. Giờ mới fit cấu hình đã chọn trên cả phần train và chấm tập test một lần:
import pandas as pd
from sklearn.metrics import roc_auc_score
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier
kh = pd.read_csv("hoi_vien.csv")
X = kh.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"]
X_tr, X_te, y_tr, y_te = train_test_split(
X, kh["roi_bo"], test_size=0.25, stratify=kh["roi_bo"],
random_state=0)
cay = DecisionTreeClassifier(max_depth=8, min_samples_leaf=60,
random_state=0).fit(X_tr, y_tr)
xac_suat = cay.predict_proba(X_te)[:, 1]
print("AUC test:", round(roc_auc_score(y_te, xac_suat), 3))KẾT QUẢ
AUC test: 0.7080,708 là con số đáng báo cáo cho cách làm này. Nó thấp hơn 0,761 của cross validation; với tập test 750 dòng, chênh như vậy nằm trong dao động thường gặp giữa các lần chia. Vòng lặp bằng tay ở trên là việc mà GridSearchCV làm gọn trong một lời gọi.
Kiểm tra nhanh
Những thứ nào là hyperparameter?
max_depthcủaDecisionTreeClassifierCcủaLogisticRegressioncoef_củaLogisticRegressionsau khifitintercept_củaRidgesau khifit
Sau
from sklearn.tree import DecisionTreeClassifier,DecisionTreeClassifier(max_depth=3).set_params(max_depth=5).get_params()["max_depth"]cho kết quả gì?53None
Vì sao không chọn
min_samples_leaftheo điểm trên tập test?- Vì scikit-learn báo lỗi khi
score()trên tập test hai lần - Vì cấu hình thắng trên tập test mang theo cả phần may của chính tập đó, nên điểm báo cáo cao hơn điểm trên dữ liệu mới
- Vì tập test luôn nhỏ hơn tập train
- Vì scikit-learn báo lỗi khi
Sau
from sklearn.linear_model import Ridge,hasattr(Ridge(alpha=2.0), "coef_")cho kết quả gì?FalseTrue2.0
Bài tập
Chọn alpha của Ridge trên tập validation
Bạn đã chia dữ liệu thành phần train và phần validation. Viết thân hàm chon_alpha(X_train, y_train, X_val, y_val, cac_alpha):
với mỗi giá trị trong
cac_alpha, fitRidge(alpha=...)trênX_train,y_train;chấm model đó bằng
score()(R²) trênX_val,y_val;giữ alpha cho điểm cao nhất; hai alpha bằng điểm thì giữ alpha đứng trước trong
cac_alpha.
Hàm không sửa cac_alpha của nơi gọi.
Trả về: alpha được chọn, đúng một phần tử của cac_alpha, một float.
Ví dụ: bộ đầu tiên trong phần chấm rút 40 dòng, 8 cột số từ phân phối chuẩn với np.random.default_rng(2), đặt y = 3 * X[:, 0] - 2 * X[:, 1] cộng nhiễu độ lệch chuẩn 3, rồi lấy 20 dòng đầu làm phần train, 20 dòng sau làm phần validation. Với bộ đó và cac_alpha = [0.1, 1.0, 10.0, 100.0], hàm trả 10.0.
from sklearn.linear_model import Ridge
def chon_alpha(X_train, y_train, X_val, y_val, cac_alpha):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Hyperparameter đặt trước
fit()(C,alpha,max_depth); tham số do model học ra và có dấu_(coef_).get_params()đọc mọi hyperparameter, kể cả mặc định;set_params()đổi chúng và trả lại model.Cùng dữ liệu, đổi hyperparameter là đổi thứ model học được, như số lá của cây.
Hyperparameter tuning chọn giá trị bằng validation hay cross validation trên phần train.
Tập test chấm một lần sau khi đã chọn; chọn theo tập test làm điểm báo cáo cao hơn thật.
Câu hỏi thường gặp
Tham số và siêu tham số khác nhau ở điểm nào?
Tham số do fit() tìm ra từ dữ liệu, như hệ số của hồi quy. Siêu tham số (hyperparameter) do bạn chọn trước khi fit(), như alpha của Ridge, Lasso hay độ sâu của cây, và quyết định model được phép học phức tạp đến đâu.
Tinh chỉnh hyperparameter (hyperparameter tuning) có phải là train model không?
Không hẳn. Mỗi lần thử một giá trị là một lần train, nhưng tinh chỉnh là việc chọn giữa các lần train đó bằng điểm trên dữ liệu chưa học. Sau khi chọn xong, model cuối được fit lại trên cả phần train.
Nên thử bao nhiêu giá trị cho một hyperparameter?
Bắt đầu với 4–6 giá trị trải rộng, cách đều theo thang log với C, alpha (0,01; 0,1; 1; 10). Thấy giá trị tốt nhất nằm ở mép danh sách thì nới thêm về phía đó. Thử càng nhiều, điểm của cấu hình thắng càng lạc quan; bài nested cross validation đo phần lạc quan đó.
Có cần chỉnh mọi hyperparameter không?
Không. Phần lớn mặc định của scikit-learn đã hợp lý. Chỉnh vài cái ảnh hưởng mạnh tới độ phức tạp, như max_depth, min_samples_leaf của cây (tỉa cây) hay C của logistic regression, rồi so với model mặc định bằng cross validation.
Chủ đề
Dữ liệu của bài
- Tải xuống
hoi_vien.csv
CSV · 207.25 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.