Nested cross validation: vì sao best_score_ lạc quan
Bài 4/8 · Chương 10
Tinh chỉnh và giải thích model
- 8 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 11
Nested cross validation (cross validation lồng nhau) dùng hai vòng: vòng trong chọn hyperparameter như GridSearchCV vẫn làm, vòng ngoài chấm cả việc chọn đó trên những fold mà vòng trong không được nhìn. Bạn cần nó khi muốn biết một quy trình "tìm rồi chọn" cho điểm bao nhiêu trên dữ liệu mới, vì best_score_ của chính lần tìm luôn có phần may đi kèm.
Cần biết trước: GridSearchCV, cross validation và so sánh nhiều lần.
best_score_ lạc quan: thử sáu cây giống hệt nhau
Cây dưới chỉ xem 3 cột ngẫu nhiên ở mỗi lần tách nút (max_features=3), nên random_state đổi cây học ra mà không làm cây tốt hơn hay kém đi một cách có hệ thống. Cho GridSearchCV "chọn" giữa sáu giá trị random_state trên hoi_vien.csv (3.000 hội viên Sóc Vàng, số giả lập của AIDev). Lưới này không chứa lựa chọn nào thật sự tốt hơn, nên mọi khác biệt giữa sáu điểm là dao động:
import pandas as pd
from sklearn.model_selection import GridSearchCV, train_test_split
from sklearn.tree import DecisionTreeClassifier
kh = pd.read_csv("hoi_vien.csv")
X = kh.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"]
X_tr, X_te, y_tr, y_te = train_test_split(
X, kh["roi_bo"], stratify=kh["roi_bo"], random_state=0)
cay = DecisionTreeClassifier(max_depth=5, max_features=3,
min_samples_leaf=40)
tim = GridSearchCV(cay, {"random_state": list(range(6))}, cv=3,
scoring="roc_auc").fit(X_tr, y_tr)
print(tim.cv_results_["mean_test_score"].round(3))
print("best_score_:", round(tim.best_score_, 3))
print("Test:", round(tim.score(X_te, y_te), 3))KẾT QUẢ
[0.739 0.753 0.738 0.737 0.741 0.72 ]
best_score_: 0.753
Test: 0.725Sáu điểm trải từ 0,720 tới 0,753. GridSearchCV báo điểm cao nhất làm best_score_, nhưng random_state=1 thắng vì may trên ba fold này. Trên tập test, cây đó chỉ đạt 0,725. Đây là hiện tượng so sánh nhiều lần quen thuộc: lấy giá trị lớn nhất của nhiều số có dao động thì được một số lệch lên. Theo ngôn ngữ ước lượng điểm, best_score_ là ước lượng chệch lên cho điểm của cấu hình được chọn.
Một lần chia chưa đủ để kết luận, nên thí nghiệm được lặp trên 200 cách chia train/test khác nhau, mỗi lần với lưới 1, 6 và 20 giá trị random_state:
Số cấu hình thử |
| Điểm nested CV trung bình | Điểm test trung bình |
|---|---|---|---|
1 | 0,727 | 0,727 | 0,731 |
6 | 0,737 | 0,724 | 0,733 |
20 | 0,745 | 0,727 | 0,733 |
Thử càng nhiều cấu hình vô nghĩa, best_score_ càng tăng, còn điểm test thì đứng yên quanh 0,733. Với 6 cấu hình, best_score_ cao hơn điểm nested CV ở 90% số lần chia; với 20 cấu hình là 97%. Cột nested CV không tăng theo số cấu hình: đó là cách đo mục sau.
Vòng trong chọn, vòng ngoài chấm
Nested cross validation đặt cả GridSearchCV vào trong một cross validation khác. Với mỗi fold ngoài, GridSearchCV chạy trọn vẹn trên phần còn lại: tự chia fold trong, chọn random_state, fit lại. Sau đó model nó chọn được chấm trên fold ngoài, phần mà việc chọn không hề thấy. Trong code, bạn chỉ cần đưa đối tượng GridSearchCV chưa fit vào cross_validate. Không cần scoring= ở vòng ngoài: GridSearchCV tự chấm bằng chính scoring="roc_auc" của nó.
import pandas as pd
from sklearn.model_selection import (GridSearchCV, cross_validate,
train_test_split)
from sklearn.tree import DecisionTreeClassifier
kh = pd.read_csv("hoi_vien.csv")
X = kh.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"]
X_tr, X_te, y_tr, y_te = train_test_split(
X, kh["roi_bo"], stratify=kh["roi_bo"], random_state=0)
cay = DecisionTreeClassifier(max_depth=5, max_features=3,
min_samples_leaf=40)
tim = GridSearchCV(cay, {"random_state": [0, 1, 2]}, cv=3,
scoring="roc_auc")
kq = cross_validate(tim, X_tr, y_tr, cv=3, return_estimator=True)
print(kq["test_score"].round(3), round(kq["test_score"].mean(), 3))
print([m.best_params_["random_state"] for m in kq["estimator"]])KẾT QUẢ
[0.736 0.725 0.755] 0.738
[2, 0, 1]Điểm nested là 0,738, thấp hơn best_score_ 0,753 của mục trên. Để khối chạy nhanh, lưới ở đây chỉ giữ ba giá trị random_state đầu; GridSearchCV với ba giá trị này trên cả phần train cũng cho best_score_ 0,753. Dòng thứ hai cho thấy ba fold ngoài chọn ba giá trị khác nhau, 2, 0 và 1: thêm một dấu hiệu rằng không có cấu hình nào thật sự thắng. Số lần fit là 3 fold ngoài × (3 cấu hình × 3 fold trong + 1 lần fit lại) = 30, gấp ba một lần GridSearchCV. Đổi cv=3, return_estimator thành cv=4, return_estimator rồi chạy lại: dòng đầu in bốn điểm [0.761 0.722 0.733 0.767] 0.746.
Ở bảng 200 lần chia, điểm nested trung bình (0,724–0,727) hơi thấp hơn điểm test (0,733). Lý do: model trong vòng ngoài chỉ học trên hai phần ba phần train, còn model chấm trên test học trên cả phần train. Lệch nhỏ và về phía thận trọng, khác với độ lạc quan của best_score_.
Đọc điểm nested CV cho đúng
Điểm nested CV không thuộc về một cấu hình cụ thể. Nó chấm cả quy trình "lưới này, cách chia fold trong này, chọn cấu hình có điểm trung bình cao nhất". Mỗi fold ngoài có thể chọn một cấu hình khác, như ví dụ trên. Vì thế quy trình làm việc thường là:
dùng nested CV để biết quy trình tìm cho điểm khoảng bao nhiêu, hay để so hai quy trình, ví dụ cây có tinh chỉnh với logistic regression có tinh chỉnh;
chọn quy trình xong, fit một GridSearchCV trên cả phần train để có model cuối và
best_params_;tập test vẫn chấm một lần ở cuối.
Nested CV tốn thời gian gấp số fold ngoài. Khi không có thời gian, giữ một tập test chỉ chấm một lần cũng cho con số không bị chọn lọc. Nested CV khác ở chỗ dùng được mọi dòng cho cả hai việc, và cho thấy điểm thay đổi ra sao từ fold ngoài này sang fold ngoài khác.
Kiểm tra nhanh
Vì sao
best_score_thường cao hơn điểm của cấu hình thắng trên dữ liệu mới?- Vì GridSearchCV chấm trên chính dữ liệu đã fit
- Vì cấu hình thắng được chọn chính nhờ điểm cao trên các fold đó, nên điểm ấy gồm cả phần may
- Vì
best_score_tính bằng accuracy còn điểm test tính bằng ROC-AUC
Nested CV với 5 fold ngoài, 3 fold trong, lưới 4 cấu hình và
refit=Truecần bao nhiêu lần fit?656013
Những câu nào đúng về điểm nested CV?
- Nó chấm cả quy trình tìm và chọn hyperparameter
- Các fold ngoài có thể chọn những cấu hình khác nhau
- Nó là điểm của cấu hình trong
best_params_khi fit GridSearchCV trên cả phần train - Nó tăng khi lưới có thêm cấu hình vô nghĩa
Chạy
cross_val_score(tim.best_estimator_, X_tr, y_tr, cv=3)sau khi đãtim.fit(X_tr, y_tr)với cùngcv=3. Kết quả thường thế nào so vớitim.best_score_?- Bằng hoặc rất gần, vì cấu hình đã được chọn trên chính các fold đó
- Thấp hơn rõ, vì đây là nested CV
- Không chạy được, vì
best_estimator_đã fit
Bài tập
Tính điểm nested CV cho Ridge
Viết thân hàm diem_nested(X, y, cac_alpha, k_ngoai, k_trong):
vòng trong là
GridSearchCV(Ridge(), {"alpha": cac_alpha}, cv=k_trong);vòng ngoài chấm đối tượng đó, chưa fit, bằng
cross_val_score(..., cv=k_ngoai)trênX,y, dùng cách chấm mặc định (R²);lấy trung bình các điểm của vòng ngoài.
Hàm không sửa cac_alpha của nơi gọi.
Trả về: điểm R² trung bình của vòng ngoài, một float.
Ví dụ: bộ đầu tiên trong phần chấm có 48 dòng, 8 cột số rút từ phân phối chuẩn với np.random.default_rng(0), và y = 2 * X[:, 0] - X[:, 1] cộng nhiễu độ lệch chuẩn 2. Với bộ đó, cac_alpha = [30.0, 0.1, 3.0], k_ngoai = 4, k_trong = 3, hàm trả khoảng 0.1217; còn best_score_ của một GridSearchCV trên cả bộ đó là khoảng 0.288.
from sklearn.linear_model import Ridge
from sklearn.model_selection import GridSearchCV, cross_val_score
def diem_nested(X, y, cac_alpha, k_ngoai, k_trong):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
best_score_là điểm lớn nhất trong nhiều điểm có dao động, nên lệch lên so với điểm của cấu hình đó trên dữ liệu mới.Thử càng nhiều cấu hình,
best_score_càng lạc quan, kể cả khi không cấu hình nào tốt hơn thật.Nested CV: đưa GridSearchCV chưa fit vào
cross_val_scorehaycross_validate; vòng trong chọn, vòng ngoài chấm.Điểm nested chấm cả quy trình chọn; model cuối vẫn là GridSearchCV fit trên cả phần train.
Cross validation lại
best_estimator_trên cùng dữ liệu không phải nested CV.
Câu hỏi thường gặp
Nested CV có cho ra hyperparameter tốt nhất không?
Không trực tiếp. Mỗi fold ngoài chọn một cấu hình riêng, và chúng có thể khác nhau. Nested CV trả lời câu hỏi "quy trình tìm này cho điểm bao nhiêu"; hyperparameter dùng cho model cuối lấy từ một lần GridSearchCV trên cả phần train.
Dùng bao nhiêu fold cho vòng ngoài và vòng trong?
Số lần fit bằng fold ngoài × (số cấu hình × fold trong + 1), nên 3 tới 5 fold mỗi vòng là thường gặp. Vòng ngoài nhiều fold hơn cho ước lượng ổn định hơn; vòng trong ít fold làm việc chọn ồn hơn nhưng chạy nhanh hơn.
Nested CV khác giữ riêng một tập test thế nào?
Cả hai đều cho một con số không bị chọn lọc. Tập test chỉ dùng một phần dữ liệu và cho một con số; nested CV dùng mọi dòng cho cả chọn lẫn chấm và cho thấy điểm dao động ra sao giữa các fold. Đổi lại, nó tốn thời gian gấp số fold ngoài.
Khi nào thật sự cần nested CV?
Khi bạn so nhiều quy trình có tinh chỉnh với nhau trên một bảng không lớn, như cây có tìm lưới bằng GridSearchCV với logistic regression có tìm lưới. So bằng best_score_ của từng quy trình thì quy trình có lưới lớn hơn được lợi oan.
Chủ đề
Dữ liệu của bài
- Tải xuống
hoi_vien.csv
CSV · 207.25 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.