Bỏ qua đến nội dung chính
Mục lục

Grid search với GridSearchCV: cv_results_, best_params_

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 2/8 · Chương 10

Tinh chỉnh và giải thích model

  • 8 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Grid search (tìm theo lưới) thử mọi tổ hợp của các giá trị hyperparameter bạn liệt kê, chấm từng tổ hợp bằng cross validation rồi giữ tổ hợp tốt nhất. GridSearchCV của scikit-learn làm cả việc đó trong một lời gọi fit(). Bạn dùng nó khi đã có pipeline chạy được và muốn chọn độ sâu cây, độ mạnh phạt hay số lá cho có căn cứ thay vì đoán.

Cần biết trước: hyperparameter, Pipeline đầy đủ và cây quyết định.

Thử mọi tổ hợp bằng GridSearchCV

File hoi_vien.csv có 3.000 hội viên gói Sóc Vàng (số giả lập của AIDev), nhãn roi_bo. Pipeline dưới điền ô trống của cột điểm đánh giá bằng trung vị rồi đưa vào cây quyết định. Lưới param_grid là một dict: khóa là tên hyperparameter, giá trị là list các mức muốn thử. Vì cây nằm trong pipeline ở bước tên "cay", khóa phải ghép tên bước với tên tham số qua hai dấu gạch dưới: cay__max_depth.

python
import pandas as pd
from sklearn.impute import SimpleImputer
from sklearn.model_selection import GridSearchCV, train_test_split
from sklearn.pipeline import Pipeline
from sklearn.tree import DecisionTreeClassifier

kh = pd.read_csv("hoi_vien.csv")
X = kh.loc[:, "tu_dong_gia_han":"diem_danh_gia_tb"]
X_tr, X_te, y_tr, y_te = train_test_split(
    X, kh["roi_bo"], stratify=kh["roi_bo"], random_state=0)
ong = Pipeline([("dien", SimpleImputer(strategy="median")),
                ("cay", DecisionTreeClassifier(random_state=0))])
luoi = {"cay__max_depth": [4, 8], "cay__min_samples_leaf": [20, 60]}
tim = GridSearchCV(ong, luoi, cv=3, scoring="roc_auc").fit(X_tr, y_tr)
print(tim.best_params_, round(tim.best_score_, 3))

KẾT QUẢ

{'cay__max_depth': 8, 'cay__min_samples_leaf': 60} 0.743

Lưới 2 × 2 có bốn tổ hợp. Mỗi tổ hợp được chấm bằng cross validation 3 fold trên phần train, nên fit() chạy 12 lần, cộng một lần fit lại ở cuối. best_params_ là tổ hợp thắng khi so ROC-AUC trung bình qua ba fold, best_score_ là chính điểm trung bình đó. Mọi việc chỉ dùng X_tr, y_tr; tập test chưa bị đụng tới.

Đọc cv_results_ thành bảng

best_params_ chỉ cho biết tổ hợp thắng. cv_results_ là một dict ghi mọi tổ hợp; đưa vào pd.DataFrame thì mỗi tổ hợp là một dòng. Các cột param_<tên> ghi mức đã dùng; mean_test_score cho điểm trung bình qua các fold, std_test_score cho độ dao động giữa chúng, rank_test_score cho thứ hạng, hạng 1 đứng đầu. Để bảng gọn, đoạn dưới dùng mười cột không có ô trống và đưa thẳng cây vào, không qua pipeline, nên tên tham số không có tiền tố:

python
import pandas as pd
from sklearn.model_selection import GridSearchCV, train_test_split
from sklearn.tree import DecisionTreeClassifier

kh = pd.read_csv("hoi_vien.csv")
X = kh.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"]
X_tr, X_te, y_tr, y_te = train_test_split(
    X, kh["roi_bo"], stratify=kh["roi_bo"], random_state=0)
luoi = {"max_depth": [4, 8], "min_samples_leaf": [20, 60]}
tim = GridSearchCV(DecisionTreeClassifier(random_state=0), luoi,
                   cv=3, scoring="roc_auc").fit(X_tr, y_tr)
bang = pd.DataFrame(tim.cv_results_)
cot = ["param_max_depth", "param_min_samples_leaf", "mean_test_score"]
pd.set_option("display.precision", 3)
print(bang.sort_values("rank_test_score")[cot])

KẾT QUẢ

   param_max_depth  param_min_samples_leaf  mean_test_score
3                8                      60            0.744
1                4                      60            0.744
0                4                      20            0.742
2                8                      20            0.730

Bảng cho thấy điều best_params_ giấu đi: ba tổ hợp đầu cách nhau chưa tới 0,003 AUC, trong khi độ lệch giữa các fold (cột std_test_score) khoảng 0,03. Kết luận hợp lý là "lá ít nhất 20 đến 60 hội viên đều ổn"; bảng chưa đủ để nói độ sâu 8 tốt hơn độ sâu 4. Đổi "min_samples_leaf": [20, 60] thành "min_samples_leaf": [5, 20] rồi chạy lại: dòng đầu bảng thành độ sâu 4, lá 20, điểm 0.742.

refit=True và best_estimator_

Mặc định refit=True: sau khi chấm xong, GridSearchCV fit lại tổ hợp thắng trên cả phần train và cất vào best_estimator_. Nhờ vậy tim.predict_proba() dùng được ngay, và đó là lúc duy nhất tập test được chấm:

python
import pandas as pd
from sklearn.metrics import roc_auc_score
from sklearn.model_selection import GridSearchCV, train_test_split
from sklearn.tree import DecisionTreeClassifier

kh = pd.read_csv("hoi_vien.csv")
X = kh.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"]
X_tr, X_te, y_tr, y_te = train_test_split(
    X, kh["roi_bo"], stratify=kh["roi_bo"], random_state=0)
luoi = {"max_depth": [4, 8], "min_samples_leaf": [20, 60]}
tim = GridSearchCV(DecisionTreeClassifier(random_state=0), luoi,
                   cv=3, scoring="roc_auc").fit(X_tr, y_tr)
print(tim.best_estimator_.get_n_leaves())
test = roc_auc_score(y_te, tim.predict_proba(X_te)[:, 1])
print("CV:", round(tim.best_score_, 3), "Test:", round(test, 3))

KẾT QUẢ

27
CV: 0.744 Test: 0.708

best_estimator_ ở đây là cây độ sâu 8, lá ít nhất 60 hội viên, fit lại trên cả 2.250 hội viên của phần train và có 27 lá. Khi tìm trên pipeline như mục đầu, best_estimator_ là cả pipeline, gồm bước điền ô trống lẫn cây. Hai con số in ra không đo cùng một thứ. best_score_ là điểm của tổ hợp thắng trên chính các fold đã dùng để chọn nó; 0,708 là điểm trên 750 hội viên mà việc chọn chưa thấy. Báo cáo con số thứ hai. best_score_ thường nhỉnh hơn, và càng thử nhiều tổ hợp nó càng lạc quan; bài nested cross validation đo phần lạc quan đó. Với refit=False, GridSearchCV chỉ chấm, không fit lại, nên không có best_estimator_ và không gọi được predict().

Kiểm tra nhanh

  1. Lưới {"cay__max_depth": [4, 8], "cay__min_samples_leaf": [20, 60, 100]} với cv=5 và refit=True cần bao nhiêu lần fit?

    • 31
    • 30
    • 6
  2. Những câu nào đúng về best_score_?

    • Là điểm trung bình qua các fold của tổ hợp được chọn
    • Được tính trên chính các fold dùng để chọn tổ hợp
    • Là điểm của model trên tập test
    • Luôn thấp hơn điểm trên tập test
  3. Sau GridSearchCV(..., refit=False).fit(X, y), gọi tim.predict(X) thì báo lỗi gì?

    • AttributeError, vì không có model nào được fit lại để dự đoán
    • ValueError, vì X thiếu cột
    • KeyError, vì best_params_ rỗng
  4. Pipeline có hai bước ("dien", SimpleImputer()) và ("cay", DecisionTreeClassifier()). Khóa nào của lưới đặt độ sâu tối đa của cây?

    • "cay__max_depth"
    • "max_depth"
    • "cay_max_depth"
    • "DecisionTreeClassifier__max_depth"
Đúng hết lần đầu +15 XP

Bài tập

Lấy các cấu hình xếp hạng cao nhất

ket_qua là một dict có dạng cv_results_ của GridSearchCV: các khóa params (list các dict tổ hợp), mean_test_score, std_test_score, rank_test_score, mỗi khóa ứng với một list cùng độ dài. Viết thân hàm top_cau_hinh(ket_qua, so_dong):

  • xếp các tổ hợp theo mean_test_score từ cao xuống thấp (các điểm trong phần chấm không trùng nhau);

  • lấy so_dong tổ hợp đầu; so_dong lớn hơn số tổ hợp thì lấy hết.

Hàm không sửa ket_qua của nơi gọi.

Trả về: các dict tổ hợp, tổ hợp điểm cao nhất đứng đầu, một list.

Ví dụ: bốn tổ hợp {"a": 1} tới {"a": 4} có điểm 0.70, 0.81, 0.64, 0.77, so_dong = 2 thì trả [{"a": 2}, {"a": 4}].

python
import pandas as pd

def top_cau_hinh(ket_qua, so_dong):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • GridSearchCV(model, param_grid, cv=, scoring=) thử mọi tổ hợp của lưới, mỗi tổ hợp chấm bằng cross validation.

  • Model trong pipeline thì khóa của lưới có dạng tên_bước__tham_số; mỗi giá trị là một list.

  • best_params_ là tổ hợp thắng, best_score_ là điểm trung bình của nó qua các fold.

  • cv_results_ đưa vào DataFrame cho thấy mọi tổ hợp, điểm, độ lệch và hạng.

  • refit=True fit lại tổ hợp thắng trên cả phần train thành best_estimator_; điểm cần báo cáo là điểm trên tập test.

Câu hỏi thường gặp

Lưới bao nhiêu tổ hợp thì vừa?

Số lần fit bằng số tổ hợp nhân số fold, nên ba hyperparameter mỗi cái năm mức với 5 fold là 625 lần. Bắt đầu với vài mức cho mỗi hyperparameter quan trọng nhất; muốn rộng hơn thì RandomizedSearchCV thử một số tổ hợp ngẫu nhiên với cùng ngân sách.

GridSearchCV khác cross_val_score thế nào?

cross_val_score chấm một cấu hình cố định. GridSearchCV gọi cross validation cho từng tổ hợp, chọn tổ hợp thắng rồi fit lại nó; muốn đổi cách chia fold thì truyền cv= như với cross validation.

Có tinh chỉnh được cả bước tiền xử lý trong pipeline không?

Được. Mọi bước của pipeline đều có tham số, nên lưới có thể chứa dien__strategy: ["median", "mean"] cạnh cay__max_depth. Số tổ hợp nhân lên theo, nên chỉ thêm khi có lý do.

Vì sao chạy lại GridSearchCV ra cùng kết quả?

Với model và cv= số nguyên cho bài phân loại, cách chia fold cố định (StratifiedKFold không xáo), và cây đã có random_state=0. Bỏ random_state của cây hay dùng fold xáo không hạt giống thì kết quả có thể đổi giữa các lần chạy.

Chủ đề

grid search

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập