Bỏ qua đến nội dung chính
Mục lục

Cross validation: KFold, StratifiedKFold, cross_val_score

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 6/14 · Chương 3

Đánh giá model

  • 8 phút
  • Cơ bản
  • Python 3.14
  • Cập nhật

Cross validation (kiểm định chéo) chia bảng thành k phần gọi là fold, lần lượt lấy mỗi fold làm tập chấm và học trên k − 1 fold còn lại, rồi báo điểm trung bình kèm độ dao động giữa các fold. Bạn dùng nó khi một lần chia train/test cho con số phụ thuộc may rủi vào hạt giống, nhất là khi bảng không lớn.

Cần biết trước: pipeline, train, validation, test và phương sai mẫu chia n − 1.

Một lần chia cho một con số may rủi

Bảng khách hàng Sóc Vàng (số giả lập của AIDev), cùng pipeline của bài trước. Chấm 10 lần, mỗi lần một hạt giống chia khác:

python
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
kh = pd.read_csv("hoi_vien.csv")
X = kh.drop(columns=["ma_kh", "tinh", "kenh_dang_ky", "goi",
    "diem_danh_gia_tb", "hoi_cach_huy_sau_moc", "roi_bo"])
y = kh["roi_bo"]
pipe, diem = make_pipeline(StandardScaler(), LogisticRegression()), []
for hat in range(10):
    X_train, X_test, y_train, y_test = train_test_split(
        X, y, test_size=0.2, random_state=hat, stratify=y)
    diem.append(pipe.fit(X_train, y_train).score(X_test, y_test))
print("Thấp, cao:", round(min(diem), 3), round(max(diem), 3))

KẾT QUẢ

Thấp, cao: 0.815 0.83

Cùng model, cùng dữ liệu, mà một lần chia báo 0,815, lần khác 0,83. Một con số đơn lẻ không cho biết bạn đang ở đầu nào của khoảng đó. Cross validation thay nó bằng k điểm có hệ thống.

KFold chia bảng thành k phần

KFold(n_splits=5) cắt các dòng thành 5 phần liền nhau. split() trả lần lượt từng cặp chỉ số train và chỉ số chấm; mỗi dòng nằm trong phần chấm đúng một lần. Trên 10 dòng:

python
from sklearn.model_selection import KFold

for train, cham in KFold(n_splits=5).split(range(10)):
    print("chấm:", cham, "- học trên", len(train), "dòng")

KẾT QUẢ

chấm: [0 1] - học trên 8 dòng
chấm: [2 3] - học trên 8 dòng
chấm: [4 5] - học trên 8 dòng
chấm: [6 7] - học trên 8 dòng
chấm: [8 9] - học trên 8 dòng

Không xáo, các fold là các khúc liền nhau theo thứ tự dòng. Thêm shuffle=True, random_state=0 thì các dòng được xáo trước khi cắt, vẫn đủ 5 phần, mỗi dòng chấm một lần. Đổi KFold(n_splits=5) thành KFold(n_splits=2) rồi chạy lại: dòng đầu in chấm: [0 1 2 3 4] - học trên 5 dòng.

cross_val_score(): điểm từng fold, trung bình và độ lệch

cross_val_score(pipe, X, y, cv=5) làm hết vòng lặp: mỗi fold fit một bản sao mới của pipeline trên phần học rồi chấm trên phần còn lại. Kết quả là một mảng k điểm. Báo nó bằng trung bình và độ lệch chuẩn mẫu giữa các fold:

s=∑i=1k(di−dˉ)2k−1s = \sqrt{\frac{\sum_{i=1}^{k} (d_i - \bar{d})^2}{k - 1}}

Trong đó:

  • k: số fold, cv=5.

  • dᵢ (diem[i]): điểm của fold thứ i.

  • d̄ (diem.mean()): trung bình k điểm.

  • s (diem.std(ddof=1)): độ lệch chuẩn mẫu, chia k − 1 như bài phương sai mẫu.

python
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_val_score
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

kh = pd.read_csv("hoi_vien.csv")
X = kh.drop(columns=["ma_kh", "tinh", "kenh_dang_ky", "goi",
    "diem_danh_gia_tb", "hoi_cach_huy_sau_moc", "roi_bo"])
pipe = make_pipeline(StandardScaler(), LogisticRegression())
diem = cross_val_score(pipe, X, kh["roi_bo"], cv=5)
print(diem.round(3))
print(round(diem.mean(), 3), "±", round(diem.std(ddof=1), 3))

KẾT QUẢ

[0.82  0.807 0.825 0.818 0.822]
0.818 ± 0.007

Đọc là: accuracy khoảng 0,818, dao động giữa các fold cỡ 0,007. Vì scaler nằm trong pipeline, mỗi fold học thước đo chỉ trên phần học của nó, nên fold đang chấm không lọt vào tiền xử lý. np.std() mặc định ddof=0; ghi rõ ddof=1 khi báo độ lệch của một mẫu nhỏ như 5 fold.

StratifiedKFold giữ tỉ lệ nhãn trong từng fold

Với nhãn phân loại, cv=5 của cross_val_score thực ra dùng StratifiedKFold(5) không xáo (shuffle=False): mỗi fold giữ gần đúng tỉ lệ khách rời bỏ của cả bảng (19,8%), nhưng các dòng vẫn được lấy theo thứ tự trong bảng. KFold chỉ cắt theo thứ tự dòng, không nhìn nhãn.

cross_validate() và scoring=

cross_validate() giống cross_val_score() nhưng trả một dict, có thêm thời gian và, nếu yêu cầu, điểm trên phần học. scoring= chọn metric theo tên, như "roc_auc" hay "f1", thay cho accuracy mặc định:

python
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import StratifiedKFold, cross_validate
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
kh = pd.read_csv("hoi_vien.csv")
X = kh.drop(columns=["ma_kh", "tinh", "kenh_dang_ky", "goi",
    "diem_danh_gia_tb", "hoi_cach_huy_sau_moc", "roi_bo"])
pipe = make_pipeline(StandardScaler(), LogisticRegression())
cv = StratifiedKFold(5, shuffle=True, random_state=0)
kq = cross_validate(pipe, X, kh["roi_bo"], cv=cv, scoring="roc_auc",
                    return_train_score=True)
print(sorted(kq))
print("Phần học:", kq["train_score"].mean().round(3))
print("Phần chấm:", kq["test_score"].mean().round(3))

KẾT QUẢ

['fit_time', 'score_time', 'test_score', 'train_score']
Phần học: 0.799
Phần chấm: 0.793

Điểm trên phần học và phần chấm gần nhau, dấu hiệu model chưa học thuộc dữ liệu; bài overfitting đọc khoảng cách này kỹ hơn. Cross validation dùng để chọn model; tập test giữ riêng vẫn được chấm một lần ở cuối.

Kiểm tra nhanh

  1. Sau from sklearn.model_selection import KFold, [c.tolist() for _, c in KFold(3).split(range(6))] cho kết quả gì?

    • [[0, 3], [1, 4], [2, 5]]
    • [[0, 1], [2, 3], [4, 5]]
    • [[0, 1, 2], [3, 4, 5]]
  2. Cross validation 5 fold cho điểm 0.80, 0.82, 0.81, 0.83, 0.79. Báo kết quả thế nào là hợp lý?

    • Chỉ báo 0.83, fold tốt nhất
    • Trung bình 0.81 kèm độ lệch chuẩn giữa các fold
    • Chỉ báo fold cuối, vì nó được chấm sau cùng
  3. Những câu nào đúng về KFold và StratifiedKFold?

    • StratifiedKFold giữ tỉ lệ nhãn của cả bảng trong từng fold
    • Với nhãn phân loại, cv=5 của cross_val_score dùng StratifiedKFold
    • KFold không xáo luôn an toàn với bảng đã sắp theo nhãn
    • Mỗi dòng được chấm ở mọi fold
  4. Trong khung bẫy, vì sao bốn fold đầu của KFold có tỉ lệ rời bỏ 0?

    • Vì KFold bỏ qua các dòng có nhãn 1
    • Vì bảng đã sắp theo nhãn và KFold cắt theo thứ tự dòng, nên mọi khách rời bỏ dồn vào fold cuối
    • Vì random_state chưa được đặt cho StratifiedKFold
Đúng hết lần đầu +15 XP

Bài tập

Điểm cross validation kèm độ lệch

X là một DataFrame cột số, y là nhãn 0/1. Viết thân hàm diem_cv(X, y, so_fold, hat_giong):

  • dựng make_pipeline(StandardScaler(), LogisticRegression());

  • chạy cross_val_score với StratifiedKFold(so_fold, shuffle=True, random_state=hat_giong);

  • tính trung bình các điểm và độ lệch chuẩn mẫu của chúng với ddof=1.

Hàm không sửa X của nơi gọi.

Trả về: trung bình và độ lệch chuẩn theo thứ tự đó, mỗi số một float, gói trong một tuple.

python
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import StratifiedKFold, cross_val_score
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

def diem_cv(X, y, so_fold, hat_giong):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • Cross validation k fold: mỗi fold làm phần chấm một lần, học trên k − 1 fold còn lại.

  • cross_val_score() trả mảng k điểm; báo trung bình ± độ lệch chuẩn với ddof=1.

  • KFold cắt theo thứ tự dòng; thêm shuffle=True, random_state=… để xáo.

  • StratifiedKFold giữ tỉ lệ nhãn trong từng fold; dùng nó cho nhãn phân loại.

  • cross_validate() trả dict, thêm return_train_score=True và scoring= để chọn metric.

Câu hỏi thường gặp

Nên chọn bao nhiêu fold?

5 hay 10 là lựa chọn quen thuộc. Nhiều fold hơn thì mỗi lần học trên nhiều dòng hơn nhưng chạy lâu hơn và mỗi phần chấm nhỏ hơn. Bảng vài trăm dòng thường dùng 5 fold; bảng rất lớn thì 3 fold đã đủ.

Có cross validation rồi thì còn cần tập test không?

Có. Cross validation dùng để so và chọn model; khi đã chọn nhiều lần trên cùng các fold, điểm của model thắng hơi lạc quan. Giữ một tập test riêng như bài train, validation, test, chấm một lần ở cuối.

Độ lệch giữa các fold lớn nói lên điều gì?

Điểm phụ thuộc nhiều vào việc dòng nào rơi vào phần chấm: bảng nhỏ, lớp hiếm, hay vài dòng bất thường. Độ lệch này đo dao động của một fold, không phải của điểm trung bình: trên 200 cách xáo của bảng Sóc Vàng, độ lệch giữa các fold quanh 0,009, còn trung bình 5 fold chỉ dao động 0,0013. Muốn so hai model, chấm cả hai trên cùng các fold rồi xem chênh lệch từng fold có cùng chiều không. Bài độ dao động của cross validation tính kỹ chuyện này.

Dữ liệu theo thời gian thì dùng KFold được không?

Không nên, vì fold chấm có thể nằm trước phần học, một kiểu rò theo thời gian. scikit-learn có TimeSeriesSplit, luôn chấm trên các dòng đứng sau phần học.

Chủ đề

cross validation

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập