Bỏ qua đến nội dung chính
Mục lục

Nested cross validation: vì sao best_score_ lạc quan

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 4/8 · Chương 10

Tinh chỉnh và giải thích model

  • 8 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Nested cross validation (cross validation lồng nhau) dùng hai vòng: vòng trong chọn hyperparameter như GridSearchCV vẫn làm, vòng ngoài chấm cả việc chọn đó trên những fold mà vòng trong không được nhìn. Bạn cần nó khi muốn biết một quy trình "tìm rồi chọn" cho điểm bao nhiêu trên dữ liệu mới, vì best_score_ của chính lần tìm luôn có phần may đi kèm.

Cần biết trước: GridSearchCV, cross validation và so sánh nhiều lần.

best_score_ lạc quan: thử sáu cây giống hệt nhau

Cây dưới chỉ xem 3 cột ngẫu nhiên ở mỗi lần tách nút (max_features=3), nên random_state đổi cây học ra mà không làm cây tốt hơn hay kém đi một cách có hệ thống. Cho GridSearchCV "chọn" giữa sáu giá trị random_state trên hoi_vien.csv (3.000 hội viên Sóc Vàng, số giả lập của AIDev). Lưới này không chứa lựa chọn nào thật sự tốt hơn, nên mọi khác biệt giữa sáu điểm là dao động:

python
import pandas as pd
from sklearn.model_selection import GridSearchCV, train_test_split
from sklearn.tree import DecisionTreeClassifier

kh = pd.read_csv("hoi_vien.csv")
X = kh.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"]
X_tr, X_te, y_tr, y_te = train_test_split(
    X, kh["roi_bo"], stratify=kh["roi_bo"], random_state=0)
cay = DecisionTreeClassifier(max_depth=5, max_features=3,
                             min_samples_leaf=40)
tim = GridSearchCV(cay, {"random_state": list(range(6))}, cv=3,
                   scoring="roc_auc").fit(X_tr, y_tr)
print(tim.cv_results_["mean_test_score"].round(3))
print("best_score_:", round(tim.best_score_, 3))
print("Test:", round(tim.score(X_te, y_te), 3))

KẾT QUẢ

[0.739 0.753 0.738 0.737 0.741 0.72 ]
best_score_: 0.753
Test: 0.725

Sáu điểm trải từ 0,720 tới 0,753. GridSearchCV báo điểm cao nhất làm best_score_, nhưng random_state=1 thắng vì may trên ba fold này. Trên tập test, cây đó chỉ đạt 0,725. Đây là hiện tượng so sánh nhiều lần quen thuộc: lấy giá trị lớn nhất của nhiều số có dao động thì được một số lệch lên. Theo ngôn ngữ ước lượng điểm, best_score_ là ước lượng chệch lên cho điểm của cấu hình được chọn.

Một lần chia chưa đủ để kết luận, nên thí nghiệm được lặp trên 200 cách chia train/test khác nhau, mỗi lần với lưới 1, 6 và 20 giá trị random_state:

Số cấu hình thử

best_score_ trung bình

Điểm nested CV trung bình

Điểm test trung bình

1

0,727

0,727

0,731

6

0,737

0,724

0,733

20

0,745

0,727

0,733

Thử càng nhiều cấu hình vô nghĩa, best_score_ càng tăng, còn điểm test thì đứng yên quanh 0,733. Với 6 cấu hình, best_score_ cao hơn điểm nested CV ở 90% số lần chia; với 20 cấu hình là 97%. Cột nested CV không tăng theo số cấu hình: đó là cách đo mục sau.

Vòng trong chọn, vòng ngoài chấm

Nested cross validation đặt cả GridSearchCV vào trong một cross validation khác. Với mỗi fold ngoài, GridSearchCV chạy trọn vẹn trên phần còn lại: tự chia fold trong, chọn random_state, fit lại. Sau đó model nó chọn được chấm trên fold ngoài, phần mà việc chọn không hề thấy. Trong code, bạn chỉ cần đưa đối tượng GridSearchCV chưa fit vào cross_validate. Không cần scoring= ở vòng ngoài: GridSearchCV tự chấm bằng chính scoring="roc_auc" của nó.

python
import pandas as pd
from sklearn.model_selection import (GridSearchCV, cross_validate,
                                     train_test_split)
from sklearn.tree import DecisionTreeClassifier
kh = pd.read_csv("hoi_vien.csv")
X = kh.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"]
X_tr, X_te, y_tr, y_te = train_test_split(
    X, kh["roi_bo"], stratify=kh["roi_bo"], random_state=0)
cay = DecisionTreeClassifier(max_depth=5, max_features=3,
                             min_samples_leaf=40)
tim = GridSearchCV(cay, {"random_state": [0, 1, 2]}, cv=3,
                   scoring="roc_auc")
kq = cross_validate(tim, X_tr, y_tr, cv=3, return_estimator=True)
print(kq["test_score"].round(3), round(kq["test_score"].mean(), 3))
print([m.best_params_["random_state"] for m in kq["estimator"]])

KẾT QUẢ

[0.736 0.725 0.755] 0.738
[2, 0, 1]

Điểm nested là 0,738, thấp hơn best_score_ 0,753 của mục trên. Để khối chạy nhanh, lưới ở đây chỉ giữ ba giá trị random_state đầu; GridSearchCV với ba giá trị này trên cả phần train cũng cho best_score_ 0,753. Dòng thứ hai cho thấy ba fold ngoài chọn ba giá trị khác nhau, 2, 0 và 1: thêm một dấu hiệu rằng không có cấu hình nào thật sự thắng. Số lần fit là 3 fold ngoài × (3 cấu hình × 3 fold trong + 1 lần fit lại) = 30, gấp ba một lần GridSearchCV. Đổi cv=3, return_estimator thành cv=4, return_estimator rồi chạy lại: dòng đầu in bốn điểm [0.761 0.722 0.733 0.767] 0.746.

Ở bảng 200 lần chia, điểm nested trung bình (0,724–0,727) hơi thấp hơn điểm test (0,733). Lý do: model trong vòng ngoài chỉ học trên hai phần ba phần train, còn model chấm trên test học trên cả phần train. Lệch nhỏ và về phía thận trọng, khác với độ lạc quan của best_score_.

Đọc điểm nested CV cho đúng

Điểm nested CV không thuộc về một cấu hình cụ thể. Nó chấm cả quy trình "lưới này, cách chia fold trong này, chọn cấu hình có điểm trung bình cao nhất". Mỗi fold ngoài có thể chọn một cấu hình khác, như ví dụ trên. Vì thế quy trình làm việc thường là:

  • dùng nested CV để biết quy trình tìm cho điểm khoảng bao nhiêu, hay để so hai quy trình, ví dụ cây có tinh chỉnh với logistic regression có tinh chỉnh;

  • chọn quy trình xong, fit một GridSearchCV trên cả phần train để có model cuối và best_params_;

  • tập test vẫn chấm một lần ở cuối.

Nested CV tốn thời gian gấp số fold ngoài. Khi không có thời gian, giữ một tập test chỉ chấm một lần cũng cho con số không bị chọn lọc. Nested CV khác ở chỗ dùng được mọi dòng cho cả hai việc, và cho thấy điểm thay đổi ra sao từ fold ngoài này sang fold ngoài khác.

Kiểm tra nhanh

  1. Vì sao best_score_ thường cao hơn điểm của cấu hình thắng trên dữ liệu mới?

    • Vì GridSearchCV chấm trên chính dữ liệu đã fit
    • Vì cấu hình thắng được chọn chính nhờ điểm cao trên các fold đó, nên điểm ấy gồm cả phần may
    • Vì best_score_ tính bằng accuracy còn điểm test tính bằng ROC-AUC
  2. Nested CV với 5 fold ngoài, 3 fold trong, lưới 4 cấu hình và refit=True cần bao nhiêu lần fit?

    • 65
    • 60
    • 13
  3. Những câu nào đúng về điểm nested CV?

    • Nó chấm cả quy trình tìm và chọn hyperparameter
    • Các fold ngoài có thể chọn những cấu hình khác nhau
    • Nó là điểm của cấu hình trong best_params_ khi fit GridSearchCV trên cả phần train
    • Nó tăng khi lưới có thêm cấu hình vô nghĩa
  4. Chạy cross_val_score(tim.best_estimator_, X_tr, y_tr, cv=3) sau khi đã tim.fit(X_tr, y_tr) với cùng cv=3. Kết quả thường thế nào so với tim.best_score_?

    • Bằng hoặc rất gần, vì cấu hình đã được chọn trên chính các fold đó
    • Thấp hơn rõ, vì đây là nested CV
    • Không chạy được, vì best_estimator_ đã fit
Đúng hết lần đầu +15 XP

Bài tập

Tính điểm nested CV cho Ridge

Viết thân hàm diem_nested(X, y, cac_alpha, k_ngoai, k_trong):

  • vòng trong là GridSearchCV(Ridge(), {"alpha": cac_alpha}, cv=k_trong);

  • vòng ngoài chấm đối tượng đó, chưa fit, bằng cross_val_score(..., cv=k_ngoai) trên X, y, dùng cách chấm mặc định (R²);

  • lấy trung bình các điểm của vòng ngoài.

Hàm không sửa cac_alpha của nơi gọi.

Trả về: điểm R² trung bình của vòng ngoài, một float.

Ví dụ: bộ đầu tiên trong phần chấm có 48 dòng, 8 cột số rút từ phân phối chuẩn với np.random.default_rng(0), và y = 2 * X[:, 0] - X[:, 1] cộng nhiễu độ lệch chuẩn 2. Với bộ đó, cac_alpha = [30.0, 0.1, 3.0], k_ngoai = 4, k_trong = 3, hàm trả khoảng 0.1217; còn best_score_ của một GridSearchCV trên cả bộ đó là khoảng 0.288.

python
from sklearn.linear_model import Ridge
from sklearn.model_selection import GridSearchCV, cross_val_score

def diem_nested(X, y, cac_alpha, k_ngoai, k_trong):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • best_score_ là điểm lớn nhất trong nhiều điểm có dao động, nên lệch lên so với điểm của cấu hình đó trên dữ liệu mới.

  • Thử càng nhiều cấu hình, best_score_ càng lạc quan, kể cả khi không cấu hình nào tốt hơn thật.

  • Nested CV: đưa GridSearchCV chưa fit vào cross_val_score hay cross_validate; vòng trong chọn, vòng ngoài chấm.

  • Điểm nested chấm cả quy trình chọn; model cuối vẫn là GridSearchCV fit trên cả phần train.

  • Cross validation lại best_estimator_ trên cùng dữ liệu không phải nested CV.

Câu hỏi thường gặp

Nested CV có cho ra hyperparameter tốt nhất không?

Không trực tiếp. Mỗi fold ngoài chọn một cấu hình riêng, và chúng có thể khác nhau. Nested CV trả lời câu hỏi "quy trình tìm này cho điểm bao nhiêu"; hyperparameter dùng cho model cuối lấy từ một lần GridSearchCV trên cả phần train.

Dùng bao nhiêu fold cho vòng ngoài và vòng trong?

Số lần fit bằng fold ngoài × (số cấu hình × fold trong + 1), nên 3 tới 5 fold mỗi vòng là thường gặp. Vòng ngoài nhiều fold hơn cho ước lượng ổn định hơn; vòng trong ít fold làm việc chọn ồn hơn nhưng chạy nhanh hơn.

Nested CV khác giữ riêng một tập test thế nào?

Cả hai đều cho một con số không bị chọn lọc. Tập test chỉ dùng một phần dữ liệu và cho một con số; nested CV dùng mọi dòng cho cả chọn lẫn chấm và cho thấy điểm dao động ra sao giữa các fold. Đổi lại, nó tốn thời gian gấp số fold ngoài.

Khi nào thật sự cần nested CV?

Khi bạn so nhiều quy trình có tinh chỉnh với nhau trên một bảng không lớn, như cây có tìm lưới bằng GridSearchCV với logistic regression có tìm lưới. So bằng best_score_ của từng quy trình thì quy trình có lưới lớn hơn được lợi oan.

Chủ đề

nested cross validation

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập