Bỏ qua đến nội dung chính
Mục lục

Bài tập GridSearchCV, random search và nested CV

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 7/8 · Chương 10

Tinh chỉnh và giải thích model

  • 7 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Sáu bài tập GridSearchCV, random search, nested cross validation và permutation importance dưới đây được chấm tự động ngay trên trang: mỗi bài bạn viết thân một hàm Python, bấm Chạy, và từng dòng kiểm tra báo đạt hay chưa. Các bài đi qua cả chương tinh chỉnh và giải thích model, từ đếm số lần fit tới đo độ lạc quan của best_score_.

Cần biết trước: GridSearchCV, nested cross validation và permutation importance.

Cách làm các bài tập

Mỗi bài cho sẵn các dòng import và dòng def với thân là pass. Bạn thay pass bằng thân hàm. Trình chấm không đọc những gì bạn in ra: nó gọi hàm với nhiều đầu vào khác nhau rồi so giá trị trả về, nên hàm phải return. Số thực được so gần đúng, nên đừng làm tròn.

Mỗi hàm có từ bốn tới sáu dòng kiểm tra: ví dụ trong đề, vài trường hợp dễ sai và một dòng kiểm hàm không sửa dữ liệu của nơi gọi. Để chấm nhanh trong trình duyệt, các bài có fit model dùng những bảng nhỏ 60 dòng, ba cột, sinh bằng np.random.default_rng với hạt giống cố định. Ở các bài không fit model, dòng cuối so kết quả của bạn với một cách tính khác trên nhiều đầu vào ngẫu nhiên. Bí thì mở gợi ý theo thứ tự: gợi ý một chỉ chỗ cần nhìn, gợi ý hai nêu cách làm, gợi ý ba gần như là lời giải.

Mức dễ: đếm số lần fit và đọc permutation importance

Hai bài đầu chưa fit model nào: một bài đếm, một bài đọc kết quả có sẵn.

Số lần fit của GridSearchCV

luoi là một dict lưới tham số như param_grid của GridSearchCV: mỗi khóa là tên hyperparameter, mỗi giá trị là list các mức. Viết thân hàm so_lan_fit(luoi, so_fold, refit): đếm số lần GridSearchCV gọi fit() khi chạy lưới đó với cv=so_fold, cộng một lần fit lại nếu refit là True.

Hàm không sửa luoi của nơi gọi.

Trả về: số lần fit, một int.

Ví dụ: so_lan_fit({"cay__max_depth": [4, 8], "cay__min_samples_leaf": [20, 60, 100]}, 5, True) trả 31. Ôn lại: GridSearchCV.

python
import math

def so_lan_fit(luoi, so_fold, refit):
    pass  # Viết thân hàm thay cho dòng này

Cột chưa có bằng chứng trong permutation importance

trung_binh và do_lech là hai list cùng độ dài, lấy từ importances_mean và importances_std của permutation_importance; ten_cot là list tên cột theo cùng thứ tự. Viết thân hàm cot_chua_ro(trung_binh, do_lech, ten_cot): trả tên những cột có trung bình không vượt quá hai lần độ lệch, tức trung_binh <= 2 * do_lech, giữ thứ tự của ten_cot.

Hàm không sửa ba list của nơi gọi.

Trả về: tên các cột đó, một list.

Ví dụ: cot_chua_ro([0.076, -0.004, 0.022, 0.003], [0.003, 0.002, 0.002, 0.003], ["so_ngay", "tuoi", "ma_giam", "tu_dong_gia_han"]) trả ["tuoi", "tu_dong_gia_han"]. Ôn lại: permutation importance.

python
def cot_chua_ro(trung_binh, do_lech, ten_cot):
    pass  # Viết thân hàm thay cho dòng này

Mức vừa: GridSearchCV trên pipeline và RandomizedSearchCV

Hai bài này fit model thật trên bảng nhỏ: một lần tìm theo lưới trên pipeline có sẵn, một lần tìm ngẫu nhiên với phân phối loguniform.

GridSearchCV trên một pipeline có sẵn

ong là một pipeline hai bước, ("chuan", StandardScaler()) rồi ("lr", LogisticRegression()). luoi là lưới tham số đã viết theo tên bước, như {"lr__C": [0.01, 1.0, 100.0]}. Viết thân hàm tim_luoi(ong, luoi, X, y, k): chạy GridSearchCV cho ong với luoi, cv=k và scoring="roc_auc" trên X, y.

Hàm không sửa luoi của nơi gọi.

Trả về: tổ hợp thắng, best_params_, một dict.

Ví dụ: bảng đầu tiên trong phần chấm có 60 dòng, ba cột a, b, c rút từ phân phối chuẩn với np.random.default_rng(0) rồi đưa về trung bình 0, 10, 200 và độ lệch chuẩn 1, 5, 50; nhãn là 1 khi a + 0.7 * (b - 10) / 5 cộng nhiễu lớn hơn 0. Với bảng đó, luoi = {"lr__C": [0.01, 1.0, 100.0]} và k = 3, hàm trả {"lr__C": 100.0}. Ôn lại: GridSearchCV.

python
from sklearn.model_selection import GridSearchCV

def tim_luoi(ong, luoi, X, y, k):
    pass  # Viết thân hàm thay cho dòng này

Tìm C bằng RandomizedSearchCV

model là một LogisticRegression() chưa fit. Viết thân hàm c_ngau_nhien(model, X, y, so_lan, hat_giong): chạy RandomizedSearchCV cho model với phân phối {"C": loguniform(0.001, 100)}, n_iter=so_lan, cv=3, scoring="roc_auc" và random_state=hat_giong.

Hàm không sửa X của nơi gọi.

Trả về: giá trị C thắng, một float.

Ví dụ: với bảng 60 dòng của bài tim_luoi (du_lieu(0) trong phần chấm), so_lan = 3, hat_giong = 0, hàm trả khoảng 3.7666. Ôn lại: RandomizedSearchCV.

python
from scipy.stats import loguniform
from sklearn.model_selection import RandomizedSearchCV

def c_ngau_nhien(model, X, y, so_lan, hat_giong):
    pass  # Viết thân hàm thay cho dòng này

Mức khó: độ lạc quan của best_score_ và xáo một nhóm cột

Hai bài cuối ghép hai bước: một bài so best_score_ với nested CV trên cùng dữ liệu, một bài mở rộng permutation importance cho các cột tương quan.

best_score_ lạc quan hơn nested CV bao nhiêu

Viết thân hàm lac_quan(model, luoi, X, y, k):

  • dựng tim = GridSearchCV(model, luoi, cv=k, scoring="roc_auc");

  • điểm nested: trung bình cross_val_score(tim, X, y, cv=k), đưa tim chưa fit vào;

  • best_score_: fit tim trên cả X, y rồi đọc thuộc tính đó;

  • lấy best_score_ trừ điểm nested.

Hàm không sửa luoi của nơi gọi.

Trả về: độ chênh, một float.

Ví dụ: với bảng 60 dòng của bài tim_luoi (du_lieu(0) trong phần chấm), model = KNeighborsClassifier(), luoi = {"n_neighbors": [1, 15]} và k = 2, hàm trả khoảng 0.051. Ôn lại: nested cross validation.

python
from sklearn.model_selection import GridSearchCV, cross_val_score

def lac_quan(model, luoi, X, y, k):
    pass  # Viết thân hàm thay cho dòng này

Permutation importance của một nhóm cột

Khi hai cột gần như mang cùng thông tin, điểm permutation importance bị chia giữa chúng. Muốn đo cả nhóm, ta xáo các cột của nhóm cùng lúc bằng một hoán vị dòng chung. Viết thân hàm hoan_vi_nhom(model, X, y, cac_cot, so_lan, hat_giong) cho một model đã fit:

  • goc = model.score(X, y); tạo rng = np.random.default_rng(hat_giong) một lần;

  • lặp so_lan lần: chép X thành X_xao, lấy thu_tu = rng.permutation(len(X)), gán X_xao[cac_cot] = X[cac_cot].to_numpy()[thu_tu], ghi goc - model.score(X_xao, y);

  • lấy trung bình các độ giảm.

Hàm không sửa X của nơi gọi.

Trả về: độ giảm trung bình, một float.

Ví dụ: bảng đầu tiên trong phần chấm có 60 dòng rút với np.random.default_rng(0): a theo phân phối chuẩn, b là a cộng nhiễu độ lệch chuẩn 0,3, c theo phân phối chuẩn riêng; nhãn là 1 khi a + b cộng nhiễu lớn hơn 0, và model là một LogisticRegression() đã fit trên chính bảng đó. Với cac_cot = ["a", "b"], so_lan = 4, hat_giong = 0, hàm trả khoảng 0.4458. Ôn lại: permutation importance.

python
import numpy as np

def hoan_vi_nhom(model, X, y, cac_cot, so_lan, hat_giong):
    pass  # Viết thân hàm thay cho dòng này

Câu hỏi thường gặp

Vì sao các bài dùng bảng nhỏ 60 dòng thay cho cả file hoi_vien.csv?

Mỗi lần bấm Chạy, trình chấm gọi hàm của bạn nhiều lần, và mỗi lần GridSearchCV hay nested CV fit hàng chục model. Trên bảng 3.000 dòng, việc đó mất vài giây trong trình duyệt. Bảng nhỏ giữ nguyên cách làm mà chấm xong trong chớp mắt; hàm bạn viết chạy y hệt trên bảng lớn.

Bài lac_quan có lúc ra 0 hay số âm, vậy có sai không?

Không sai. Trên một bảng nhỏ, độ chênh giữa best_score_ và điểm nested dao động mạnh từ lần chia này sang lần chia khác. Bài nested cross validation cho thấy độ lạc quan chỉ hiện rõ khi lấy trung bình qua nhiều lần chia, và lớn dần khi lưới có nhiều cấu hình hơn.

Làm xong sáu bài rồi nên luyện tiếp gì?

Lấy bài tim_luoi và thay pipeline bằng cây quyết định hay HistGradientBoosting trên cả hoi_vien.csv, rồi đọc giá trị SHAP của vài hội viên có rủi ro cao. Dự án giải thích model ở bài sau ghép đúng các bước đó.

Chủ đề

bài tập gridsearchcv

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập