Bài tập GridSearchCV, random search và nested CV
Bài 7/8 · Chương 10
Tinh chỉnh và giải thích model
- 7 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 8
Sáu bài tập GridSearchCV, random search, nested cross validation và permutation importance dưới đây được chấm tự động ngay trên trang: mỗi bài bạn viết thân một hàm Python, bấm Chạy, và từng dòng kiểm tra báo đạt hay chưa. Các bài đi qua cả chương tinh chỉnh và giải thích model, từ đếm số lần fit tới đo độ lạc quan của best_score_.
Cần biết trước: GridSearchCV, nested cross validation và permutation importance.
Cách làm các bài tập
Mỗi bài cho sẵn các dòng import và dòng def với thân là pass. Bạn thay pass bằng thân hàm. Trình chấm không đọc những gì bạn in ra: nó gọi hàm với nhiều đầu vào khác nhau rồi so giá trị trả về, nên hàm phải return. Số thực được so gần đúng, nên đừng làm tròn.
Mỗi hàm có từ bốn tới sáu dòng kiểm tra: ví dụ trong đề, vài trường hợp dễ sai và một dòng kiểm hàm không sửa dữ liệu của nơi gọi. Để chấm nhanh trong trình duyệt, các bài có fit model dùng những bảng nhỏ 60 dòng, ba cột, sinh bằng np.random.default_rng với hạt giống cố định. Ở các bài không fit model, dòng cuối so kết quả của bạn với một cách tính khác trên nhiều đầu vào ngẫu nhiên. Bí thì mở gợi ý theo thứ tự: gợi ý một chỉ chỗ cần nhìn, gợi ý hai nêu cách làm, gợi ý ba gần như là lời giải.
Mức dễ: đếm số lần fit và đọc permutation importance
Hai bài đầu chưa fit model nào: một bài đếm, một bài đọc kết quả có sẵn.
Số lần fit của GridSearchCV
luoi là một dict lưới tham số như param_grid của GridSearchCV: mỗi khóa là tên hyperparameter, mỗi giá trị là list các mức. Viết thân hàm so_lan_fit(luoi, so_fold, refit): đếm số lần GridSearchCV gọi fit() khi chạy lưới đó với cv=so_fold, cộng một lần fit lại nếu refit là True.
Hàm không sửa luoi của nơi gọi.
Trả về: số lần fit, một int.
Ví dụ: so_lan_fit({"cay__max_depth": [4, 8], "cay__min_samples_leaf": [20, 60, 100]}, 5, True) trả 31. Ôn lại: GridSearchCV.
import math
def so_lan_fit(luoi, so_fold, refit):
pass # Viết thân hàm thay cho dòng nàyCột chưa có bằng chứng trong permutation importance
trung_binh và do_lech là hai list cùng độ dài, lấy từ importances_mean và importances_std của permutation_importance; ten_cot là list tên cột theo cùng thứ tự. Viết thân hàm cot_chua_ro(trung_binh, do_lech, ten_cot): trả tên những cột có trung bình không vượt quá hai lần độ lệch, tức trung_binh <= 2 * do_lech, giữ thứ tự của ten_cot.
Hàm không sửa ba list của nơi gọi.
Trả về: tên các cột đó, một list.
Ví dụ: cot_chua_ro([0.076, -0.004, 0.022, 0.003], [0.003, 0.002, 0.002, 0.003], ["so_ngay", "tuoi", "ma_giam", "tu_dong_gia_han"]) trả ["tuoi", "tu_dong_gia_han"]. Ôn lại: permutation importance.
def cot_chua_ro(trung_binh, do_lech, ten_cot):
pass # Viết thân hàm thay cho dòng nàyMức vừa: GridSearchCV trên pipeline và RandomizedSearchCV
Hai bài này fit model thật trên bảng nhỏ: một lần tìm theo lưới trên pipeline có sẵn, một lần tìm ngẫu nhiên với phân phối loguniform.
GridSearchCV trên một pipeline có sẵn
ong là một pipeline hai bước, ("chuan", StandardScaler()) rồi ("lr", LogisticRegression()). luoi là lưới tham số đã viết theo tên bước, như {"lr__C": [0.01, 1.0, 100.0]}. Viết thân hàm tim_luoi(ong, luoi, X, y, k): chạy GridSearchCV cho ong với luoi, cv=k và scoring="roc_auc" trên X, y.
Hàm không sửa luoi của nơi gọi.
Trả về: tổ hợp thắng, best_params_, một dict.
Ví dụ: bảng đầu tiên trong phần chấm có 60 dòng, ba cột a, b, c rút từ phân phối chuẩn với np.random.default_rng(0) rồi đưa về trung bình 0, 10, 200 và độ lệch chuẩn 1, 5, 50; nhãn là 1 khi a + 0.7 * (b - 10) / 5 cộng nhiễu lớn hơn 0. Với bảng đó, luoi = {"lr__C": [0.01, 1.0, 100.0]} và k = 3, hàm trả {"lr__C": 100.0}. Ôn lại: GridSearchCV.
from sklearn.model_selection import GridSearchCV
def tim_luoi(ong, luoi, X, y, k):
pass # Viết thân hàm thay cho dòng nàyTìm C bằng RandomizedSearchCV
model là một LogisticRegression() chưa fit. Viết thân hàm c_ngau_nhien(model, X, y, so_lan, hat_giong): chạy RandomizedSearchCV cho model với phân phối {"C": loguniform(0.001, 100)}, n_iter=so_lan, cv=3, scoring="roc_auc" và random_state=hat_giong.
Hàm không sửa X của nơi gọi.
Trả về: giá trị C thắng, một float.
Ví dụ: với bảng 60 dòng của bài tim_luoi (du_lieu(0) trong phần chấm), so_lan = 3, hat_giong = 0, hàm trả khoảng 3.7666. Ôn lại: RandomizedSearchCV.
from scipy.stats import loguniform
from sklearn.model_selection import RandomizedSearchCV
def c_ngau_nhien(model, X, y, so_lan, hat_giong):
pass # Viết thân hàm thay cho dòng nàyMức khó: độ lạc quan của best_score_ và xáo một nhóm cột
Hai bài cuối ghép hai bước: một bài so best_score_ với nested CV trên cùng dữ liệu, một bài mở rộng permutation importance cho các cột tương quan.
best_score_ lạc quan hơn nested CV bao nhiêu
Viết thân hàm lac_quan(model, luoi, X, y, k):
dựng
tim = GridSearchCV(model, luoi, cv=k, scoring="roc_auc");điểm nested: trung bình
cross_val_score(tim, X, y, cv=k), đưatimchưa fit vào;best_score_: fittimtrên cảX,yrồi đọc thuộc tính đó;lấy
best_score_trừ điểm nested.
Hàm không sửa luoi của nơi gọi.
Trả về: độ chênh, một float.
Ví dụ: với bảng 60 dòng của bài tim_luoi (du_lieu(0) trong phần chấm), model = KNeighborsClassifier(), luoi = {"n_neighbors": [1, 15]} và k = 2, hàm trả khoảng 0.051. Ôn lại: nested cross validation.
from sklearn.model_selection import GridSearchCV, cross_val_score
def lac_quan(model, luoi, X, y, k):
pass # Viết thân hàm thay cho dòng nàyPermutation importance của một nhóm cột
Khi hai cột gần như mang cùng thông tin, điểm permutation importance bị chia giữa chúng. Muốn đo cả nhóm, ta xáo các cột của nhóm cùng lúc bằng một hoán vị dòng chung. Viết thân hàm hoan_vi_nhom(model, X, y, cac_cot, so_lan, hat_giong) cho một model đã fit:
goc = model.score(X, y); tạorng = np.random.default_rng(hat_giong)một lần;lặp
so_lanlần: chépXthànhX_xao, lấythu_tu = rng.permutation(len(X)), gánX_xao[cac_cot] = X[cac_cot].to_numpy()[thu_tu], ghigoc - model.score(X_xao, y);lấy trung bình các độ giảm.
Hàm không sửa X của nơi gọi.
Trả về: độ giảm trung bình, một float.
Ví dụ: bảng đầu tiên trong phần chấm có 60 dòng rút với np.random.default_rng(0): a theo phân phối chuẩn, b là a cộng nhiễu độ lệch chuẩn 0,3, c theo phân phối chuẩn riêng; nhãn là 1 khi a + b cộng nhiễu lớn hơn 0, và model là một LogisticRegression() đã fit trên chính bảng đó. Với cac_cot = ["a", "b"], so_lan = 4, hat_giong = 0, hàm trả khoảng 0.4458. Ôn lại: permutation importance.
import numpy as np
def hoan_vi_nhom(model, X, y, cac_cot, so_lan, hat_giong):
pass # Viết thân hàm thay cho dòng nàyCâu hỏi thường gặp
Vì sao các bài dùng bảng nhỏ 60 dòng thay cho cả file hoi_vien.csv?
Mỗi lần bấm Chạy, trình chấm gọi hàm của bạn nhiều lần, và mỗi lần GridSearchCV hay nested CV fit hàng chục model. Trên bảng 3.000 dòng, việc đó mất vài giây trong trình duyệt. Bảng nhỏ giữ nguyên cách làm mà chấm xong trong chớp mắt; hàm bạn viết chạy y hệt trên bảng lớn.
Bài lac_quan có lúc ra 0 hay số âm, vậy có sai không?
Không sai. Trên một bảng nhỏ, độ chênh giữa best_score_ và điểm nested dao động mạnh từ lần chia này sang lần chia khác. Bài nested cross validation cho thấy độ lạc quan chỉ hiện rõ khi lấy trung bình qua nhiều lần chia, và lớn dần khi lưới có nhiều cấu hình hơn.
Làm xong sáu bài rồi nên luyện tiếp gì?
Lấy bài tim_luoi và thay pipeline bằng cây quyết định hay HistGradientBoosting trên cả hoi_vien.csv, rồi đọc giá trị SHAP của vài hội viên có rủi ro cao. Dự án giải thích model ở bài sau ghép đúng các bước đó.
Chủ đề
Dữ liệu của bài
- Tải xuống
hoi_vien.csv
CSV · 207.25 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.