Grid search với GridSearchCV: cv_results_, best_params_
Bài 2/8 · Chương 10
Tinh chỉnh và giải thích model
- 8 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 11
Grid search (tìm theo lưới) thử mọi tổ hợp của các giá trị hyperparameter bạn liệt kê, chấm từng tổ hợp bằng cross validation rồi giữ tổ hợp tốt nhất. GridSearchCV của scikit-learn làm cả việc đó trong một lời gọi fit(). Bạn dùng nó khi đã có pipeline chạy được và muốn chọn độ sâu cây, độ mạnh phạt hay số lá cho có căn cứ thay vì đoán.
Cần biết trước: hyperparameter, Pipeline đầy đủ và cây quyết định.
Thử mọi tổ hợp bằng GridSearchCV
File hoi_vien.csv có 3.000 hội viên gói Sóc Vàng (số giả lập của AIDev), nhãn roi_bo. Pipeline dưới điền ô trống của cột điểm đánh giá bằng trung vị rồi đưa vào cây quyết định. Lưới param_grid là một dict: khóa là tên hyperparameter, giá trị là list các mức muốn thử. Vì cây nằm trong pipeline ở bước tên "cay", khóa phải ghép tên bước với tên tham số qua hai dấu gạch dưới: cay__max_depth.
import pandas as pd
from sklearn.impute import SimpleImputer
from sklearn.model_selection import GridSearchCV, train_test_split
from sklearn.pipeline import Pipeline
from sklearn.tree import DecisionTreeClassifier
kh = pd.read_csv("hoi_vien.csv")
X = kh.loc[:, "tu_dong_gia_han":"diem_danh_gia_tb"]
X_tr, X_te, y_tr, y_te = train_test_split(
X, kh["roi_bo"], stratify=kh["roi_bo"], random_state=0)
ong = Pipeline([("dien", SimpleImputer(strategy="median")),
("cay", DecisionTreeClassifier(random_state=0))])
luoi = {"cay__max_depth": [4, 8], "cay__min_samples_leaf": [20, 60]}
tim = GridSearchCV(ong, luoi, cv=3, scoring="roc_auc").fit(X_tr, y_tr)
print(tim.best_params_, round(tim.best_score_, 3))KẾT QUẢ
{'cay__max_depth': 8, 'cay__min_samples_leaf': 60} 0.743Lưới 2 × 2 có bốn tổ hợp. Mỗi tổ hợp được chấm bằng cross validation 3 fold trên phần train, nên fit() chạy 12 lần, cộng một lần fit lại ở cuối. best_params_ là tổ hợp thắng khi so ROC-AUC trung bình qua ba fold, best_score_ là chính điểm trung bình đó. Mọi việc chỉ dùng X_tr, y_tr; tập test chưa bị đụng tới.
Đọc cv_results_ thành bảng
best_params_ chỉ cho biết tổ hợp thắng. cv_results_ là một dict ghi mọi tổ hợp; đưa vào pd.DataFrame thì mỗi tổ hợp là một dòng. Các cột param_<tên> ghi mức đã dùng; mean_test_score cho điểm trung bình qua các fold, std_test_score cho độ dao động giữa chúng, rank_test_score cho thứ hạng, hạng 1 đứng đầu. Để bảng gọn, đoạn dưới dùng mười cột không có ô trống và đưa thẳng cây vào, không qua pipeline, nên tên tham số không có tiền tố:
import pandas as pd
from sklearn.model_selection import GridSearchCV, train_test_split
from sklearn.tree import DecisionTreeClassifier
kh = pd.read_csv("hoi_vien.csv")
X = kh.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"]
X_tr, X_te, y_tr, y_te = train_test_split(
X, kh["roi_bo"], stratify=kh["roi_bo"], random_state=0)
luoi = {"max_depth": [4, 8], "min_samples_leaf": [20, 60]}
tim = GridSearchCV(DecisionTreeClassifier(random_state=0), luoi,
cv=3, scoring="roc_auc").fit(X_tr, y_tr)
bang = pd.DataFrame(tim.cv_results_)
cot = ["param_max_depth", "param_min_samples_leaf", "mean_test_score"]
pd.set_option("display.precision", 3)
print(bang.sort_values("rank_test_score")[cot])KẾT QUẢ
param_max_depth param_min_samples_leaf mean_test_score
3 8 60 0.744
1 4 60 0.744
0 4 20 0.742
2 8 20 0.730Bảng cho thấy điều best_params_ giấu đi: ba tổ hợp đầu cách nhau chưa tới 0,003 AUC, trong khi độ lệch giữa các fold (cột std_test_score) khoảng 0,03. Kết luận hợp lý là "lá ít nhất 20 đến 60 hội viên đều ổn"; bảng chưa đủ để nói độ sâu 8 tốt hơn độ sâu 4. Đổi "min_samples_leaf": [20, 60] thành "min_samples_leaf": [5, 20] rồi chạy lại: dòng đầu bảng thành độ sâu 4, lá 20, điểm 0.742.
refit=True và best_estimator_
Mặc định refit=True: sau khi chấm xong, GridSearchCV fit lại tổ hợp thắng trên cả phần train và cất vào best_estimator_. Nhờ vậy tim.predict_proba() dùng được ngay, và đó là lúc duy nhất tập test được chấm:
import pandas as pd
from sklearn.metrics import roc_auc_score
from sklearn.model_selection import GridSearchCV, train_test_split
from sklearn.tree import DecisionTreeClassifier
kh = pd.read_csv("hoi_vien.csv")
X = kh.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"]
X_tr, X_te, y_tr, y_te = train_test_split(
X, kh["roi_bo"], stratify=kh["roi_bo"], random_state=0)
luoi = {"max_depth": [4, 8], "min_samples_leaf": [20, 60]}
tim = GridSearchCV(DecisionTreeClassifier(random_state=0), luoi,
cv=3, scoring="roc_auc").fit(X_tr, y_tr)
print(tim.best_estimator_.get_n_leaves())
test = roc_auc_score(y_te, tim.predict_proba(X_te)[:, 1])
print("CV:", round(tim.best_score_, 3), "Test:", round(test, 3))KẾT QUẢ
27
CV: 0.744 Test: 0.708best_estimator_ ở đây là cây độ sâu 8, lá ít nhất 60 hội viên, fit lại trên cả 2.250 hội viên của phần train và có 27 lá. Khi tìm trên pipeline như mục đầu, best_estimator_ là cả pipeline, gồm bước điền ô trống lẫn cây. Hai con số in ra không đo cùng một thứ. best_score_ là điểm của tổ hợp thắng trên chính các fold đã dùng để chọn nó; 0,708 là điểm trên 750 hội viên mà việc chọn chưa thấy. Báo cáo con số thứ hai. best_score_ thường nhỉnh hơn, và càng thử nhiều tổ hợp nó càng lạc quan; bài nested cross validation đo phần lạc quan đó. Với refit=False, GridSearchCV chỉ chấm, không fit lại, nên không có best_estimator_ và không gọi được predict().
Kiểm tra nhanh
Lưới
{"cay__max_depth": [4, 8], "cay__min_samples_leaf": [20, 60, 100]}vớicv=5vàrefit=Truecần bao nhiêu lần fit?31306
Những câu nào đúng về
best_score_?- Là điểm trung bình qua các fold của tổ hợp được chọn
- Được tính trên chính các fold dùng để chọn tổ hợp
- Là điểm của model trên tập test
- Luôn thấp hơn điểm trên tập test
Sau
GridSearchCV(..., refit=False).fit(X, y), gọitim.predict(X)thì báo lỗi gì?AttributeError, vì không có model nào được fit lại để dự đoánValueError, vìXthiếu cộtKeyError, vìbest_params_rỗng
Pipeline có hai bước
("dien", SimpleImputer())và("cay", DecisionTreeClassifier()). Khóa nào của lưới đặt độ sâu tối đa của cây?"cay__max_depth""max_depth""cay_max_depth""DecisionTreeClassifier__max_depth"
Bài tập
Lấy các cấu hình xếp hạng cao nhất
ket_qua là một dict có dạng cv_results_ của GridSearchCV: các khóa params (list các dict tổ hợp), mean_test_score, std_test_score, rank_test_score, mỗi khóa ứng với một list cùng độ dài. Viết thân hàm top_cau_hinh(ket_qua, so_dong):
xếp các tổ hợp theo
mean_test_scoretừ cao xuống thấp (các điểm trong phần chấm không trùng nhau);lấy
so_dongtổ hợp đầu;so_donglớn hơn số tổ hợp thì lấy hết.
Hàm không sửa ket_qua của nơi gọi.
Trả về: các dict tổ hợp, tổ hợp điểm cao nhất đứng đầu, một list.
Ví dụ: bốn tổ hợp {"a": 1} tới {"a": 4} có điểm 0.70, 0.81, 0.64, 0.77, so_dong = 2 thì trả [{"a": 2}, {"a": 4}].
import pandas as pd
def top_cau_hinh(ket_qua, so_dong):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
GridSearchCV(model, param_grid, cv=, scoring=)thử mọi tổ hợp của lưới, mỗi tổ hợp chấm bằng cross validation.Model trong pipeline thì khóa của lưới có dạng
tên_bước__tham_số; mỗi giá trị là một list.best_params_là tổ hợp thắng,best_score_là điểm trung bình của nó qua các fold.cv_results_đưa vào DataFrame cho thấy mọi tổ hợp, điểm, độ lệch và hạng.refit=Truefit lại tổ hợp thắng trên cả phần train thànhbest_estimator_; điểm cần báo cáo là điểm trên tập test.
Câu hỏi thường gặp
Lưới bao nhiêu tổ hợp thì vừa?
Số lần fit bằng số tổ hợp nhân số fold, nên ba hyperparameter mỗi cái năm mức với 5 fold là 625 lần. Bắt đầu với vài mức cho mỗi hyperparameter quan trọng nhất; muốn rộng hơn thì RandomizedSearchCV thử một số tổ hợp ngẫu nhiên với cùng ngân sách.
GridSearchCV khác cross_val_score thế nào?
cross_val_score chấm một cấu hình cố định. GridSearchCV gọi cross validation cho từng tổ hợp, chọn tổ hợp thắng rồi fit lại nó; muốn đổi cách chia fold thì truyền cv= như với cross validation.
Có tinh chỉnh được cả bước tiền xử lý trong pipeline không?
Được. Mọi bước của pipeline đều có tham số, nên lưới có thể chứa dien__strategy: ["median", "mean"] cạnh cay__max_depth. Số tổ hợp nhân lên theo, nên chỉ thêm khi có lý do.
Vì sao chạy lại GridSearchCV ra cùng kết quả?
Với model và cv= số nguyên cho bài phân loại, cách chia fold cố định (StratifiedKFold không xáo), và cây đã có random_state=0. Bỏ random_state của cây hay dùng fold xáo không hạt giống thì kết quả có thể đổi giữa các lần chạy.
Chủ đề
Dữ liệu của bài
- Tải xuống
hoi_vien.csv
CSV · 207.25 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.