Cross validation: KFold, StratifiedKFold, cross_val_score
Bài 6/14 · Chương 3
Đánh giá model
- 8 phút
- Cơ bản
- Python 3.14
- Cập nhật
Trong bài này · 13
Cross validation (kiểm định chéo) chia bảng thành k phần gọi là fold, lần lượt lấy mỗi fold làm tập chấm và học trên k − 1 fold còn lại, rồi báo điểm trung bình kèm độ dao động giữa các fold. Bạn dùng nó khi một lần chia train/test cho con số phụ thuộc may rủi vào hạt giống, nhất là khi bảng không lớn.
Cần biết trước: pipeline, train, validation, test và phương sai mẫu chia n − 1.
Một lần chia cho một con số may rủi
Bảng khách hàng Sóc Vàng (số giả lập của AIDev), cùng pipeline của bài trước. Chấm 10 lần, mỗi lần một hạt giống chia khác:
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
kh = pd.read_csv("hoi_vien.csv")
X = kh.drop(columns=["ma_kh", "tinh", "kenh_dang_ky", "goi",
"diem_danh_gia_tb", "hoi_cach_huy_sau_moc", "roi_bo"])
y = kh["roi_bo"]
pipe, diem = make_pipeline(StandardScaler(), LogisticRegression()), []
for hat in range(10):
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.2, random_state=hat, stratify=y)
diem.append(pipe.fit(X_train, y_train).score(X_test, y_test))
print("Thấp, cao:", round(min(diem), 3), round(max(diem), 3))KẾT QUẢ
Thấp, cao: 0.815 0.83Cùng model, cùng dữ liệu, mà một lần chia báo 0,815, lần khác 0,83. Một con số đơn lẻ không cho biết bạn đang ở đầu nào của khoảng đó. Cross validation thay nó bằng k điểm có hệ thống.
KFold chia bảng thành k phần
KFold(n_splits=5) cắt các dòng thành 5 phần liền nhau. split() trả lần lượt từng cặp chỉ số train và chỉ số chấm; mỗi dòng nằm trong phần chấm đúng một lần. Trên 10 dòng:
from sklearn.model_selection import KFold
for train, cham in KFold(n_splits=5).split(range(10)):
print("chấm:", cham, "- học trên", len(train), "dòng")KẾT QUẢ
chấm: [0 1] - học trên 8 dòng
chấm: [2 3] - học trên 8 dòng
chấm: [4 5] - học trên 8 dòng
chấm: [6 7] - học trên 8 dòng
chấm: [8 9] - học trên 8 dòngKhông xáo, các fold là các khúc liền nhau theo thứ tự dòng. Thêm shuffle=True, random_state=0 thì các dòng được xáo trước khi cắt, vẫn đủ 5 phần, mỗi dòng chấm một lần. Đổi KFold(n_splits=5) thành KFold(n_splits=2) rồi chạy lại: dòng đầu in chấm: [0 1 2 3 4] - học trên 5 dòng.
cross_val_score(): điểm từng fold, trung bình và độ lệch
cross_val_score(pipe, X, y, cv=5) làm hết vòng lặp: mỗi fold fit một bản sao mới của pipeline trên phần học rồi chấm trên phần còn lại. Kết quả là một mảng k điểm. Báo nó bằng trung bình và độ lệch chuẩn mẫu giữa các fold:
Trong đó:
k: số fold,
cv=5.dᵢ (
diem[i]): điểm của fold thứ i.d̄ (
diem.mean()): trung bình k điểm.s (
diem.std(ddof=1)): độ lệch chuẩn mẫu, chia k − 1 như bài phương sai mẫu.
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_val_score
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
kh = pd.read_csv("hoi_vien.csv")
X = kh.drop(columns=["ma_kh", "tinh", "kenh_dang_ky", "goi",
"diem_danh_gia_tb", "hoi_cach_huy_sau_moc", "roi_bo"])
pipe = make_pipeline(StandardScaler(), LogisticRegression())
diem = cross_val_score(pipe, X, kh["roi_bo"], cv=5)
print(diem.round(3))
print(round(diem.mean(), 3), "±", round(diem.std(ddof=1), 3))KẾT QUẢ
[0.82 0.807 0.825 0.818 0.822]
0.818 ± 0.007Đọc là: accuracy khoảng 0,818, dao động giữa các fold cỡ 0,007. Vì scaler nằm trong pipeline, mỗi fold học thước đo chỉ trên phần học của nó, nên fold đang chấm không lọt vào tiền xử lý. np.std() mặc định ddof=0; ghi rõ ddof=1 khi báo độ lệch của một mẫu nhỏ như 5 fold.
StratifiedKFold giữ tỉ lệ nhãn trong từng fold
Với nhãn phân loại, cv=5 của cross_val_score thực ra dùng StratifiedKFold(5) không xáo (shuffle=False): mỗi fold giữ gần đúng tỉ lệ khách rời bỏ của cả bảng (19,8%), nhưng các dòng vẫn được lấy theo thứ tự trong bảng. KFold chỉ cắt theo thứ tự dòng, không nhìn nhãn.
cross_validate() và scoring=
cross_validate() giống cross_val_score() nhưng trả một dict, có thêm thời gian và, nếu yêu cầu, điểm trên phần học. scoring= chọn metric theo tên, như "roc_auc" hay "f1", thay cho accuracy mặc định:
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import StratifiedKFold, cross_validate
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
kh = pd.read_csv("hoi_vien.csv")
X = kh.drop(columns=["ma_kh", "tinh", "kenh_dang_ky", "goi",
"diem_danh_gia_tb", "hoi_cach_huy_sau_moc", "roi_bo"])
pipe = make_pipeline(StandardScaler(), LogisticRegression())
cv = StratifiedKFold(5, shuffle=True, random_state=0)
kq = cross_validate(pipe, X, kh["roi_bo"], cv=cv, scoring="roc_auc",
return_train_score=True)
print(sorted(kq))
print("Phần học:", kq["train_score"].mean().round(3))
print("Phần chấm:", kq["test_score"].mean().round(3))KẾT QUẢ
['fit_time', 'score_time', 'test_score', 'train_score']
Phần học: 0.799
Phần chấm: 0.793Điểm trên phần học và phần chấm gần nhau, dấu hiệu model chưa học thuộc dữ liệu; bài overfitting đọc khoảng cách này kỹ hơn. Cross validation dùng để chọn model; tập test giữ riêng vẫn được chấm một lần ở cuối.
Kiểm tra nhanh
Sau
from sklearn.model_selection import KFold,[c.tolist() for _, c in KFold(3).split(range(6))]cho kết quả gì?[[0, 3], [1, 4], [2, 5]][[0, 1], [2, 3], [4, 5]][[0, 1, 2], [3, 4, 5]]
Cross validation 5 fold cho điểm
0.80, 0.82, 0.81, 0.83, 0.79. Báo kết quả thế nào là hợp lý?- Chỉ báo
0.83, fold tốt nhất - Trung bình
0.81kèm độ lệch chuẩn giữa các fold - Chỉ báo fold cuối, vì nó được chấm sau cùng
- Chỉ báo
Những câu nào đúng về KFold và StratifiedKFold?
StratifiedKFoldgiữ tỉ lệ nhãn của cả bảng trong từng fold- Với nhãn phân loại,
cv=5củacross_val_scoredùngStratifiedKFold KFoldkhông xáo luôn an toàn với bảng đã sắp theo nhãn- Mỗi dòng được chấm ở mọi fold
Trong khung bẫy, vì sao bốn fold đầu của
KFoldcó tỉ lệ rời bỏ 0?- Vì
KFoldbỏ qua các dòng có nhãn 1 - Vì bảng đã sắp theo nhãn và
KFoldcắt theo thứ tự dòng, nên mọi khách rời bỏ dồn vào fold cuối - Vì
random_statechưa được đặt choStratifiedKFold
- Vì
Bài tập
Điểm cross validation kèm độ lệch
X là một DataFrame cột số, y là nhãn 0/1. Viết thân hàm diem_cv(X, y, so_fold, hat_giong):
dựng
make_pipeline(StandardScaler(), LogisticRegression());chạy
cross_val_scorevớiStratifiedKFold(so_fold, shuffle=True, random_state=hat_giong);tính trung bình các điểm và độ lệch chuẩn mẫu của chúng với
ddof=1.
Hàm không sửa X của nơi gọi.
Trả về: trung bình và độ lệch chuẩn theo thứ tự đó, mỗi số một float, gói trong một tuple.
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import StratifiedKFold, cross_val_score
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
def diem_cv(X, y, so_fold, hat_giong):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Cross validation k fold: mỗi fold làm phần chấm một lần, học trên k − 1 fold còn lại.
cross_val_score()trả mảng k điểm; báo trung bình ± độ lệch chuẩn vớiddof=1.KFoldcắt theo thứ tự dòng; thêmshuffle=True, random_state=…để xáo.StratifiedKFoldgiữ tỉ lệ nhãn trong từng fold; dùng nó cho nhãn phân loại.cross_validate()trả dict, thêmreturn_train_score=Truevàscoring=để chọn metric.
Câu hỏi thường gặp
Nên chọn bao nhiêu fold?
5 hay 10 là lựa chọn quen thuộc. Nhiều fold hơn thì mỗi lần học trên nhiều dòng hơn nhưng chạy lâu hơn và mỗi phần chấm nhỏ hơn. Bảng vài trăm dòng thường dùng 5 fold; bảng rất lớn thì 3 fold đã đủ.
Có cross validation rồi thì còn cần tập test không?
Có. Cross validation dùng để so và chọn model; khi đã chọn nhiều lần trên cùng các fold, điểm của model thắng hơi lạc quan. Giữ một tập test riêng như bài train, validation, test, chấm một lần ở cuối.
Độ lệch giữa các fold lớn nói lên điều gì?
Điểm phụ thuộc nhiều vào việc dòng nào rơi vào phần chấm: bảng nhỏ, lớp hiếm, hay vài dòng bất thường. Độ lệch này đo dao động của một fold, không phải của điểm trung bình: trên 200 cách xáo của bảng Sóc Vàng, độ lệch giữa các fold quanh 0,009, còn trung bình 5 fold chỉ dao động 0,0013. Muốn so hai model, chấm cả hai trên cùng các fold rồi xem chênh lệch từng fold có cùng chiều không. Bài độ dao động của cross validation tính kỹ chuyện này.
Dữ liệu theo thời gian thì dùng KFold được không?
Không nên, vì fold chấm có thể nằm trước phần học, một kiểu rò theo thời gian. scikit-learn có TimeSeriesSplit, luôn chấm trên các dòng đứng sau phần học.
Chủ đề
Dữ liệu của bài
- Tải xuống
hoi_vien.csv
CSV · 207.25 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.