Vì sao điểm cross validation dao động giữa các fold
Bài 1/8 · Chương 12
Toán vừa đủ cho Machine Learning
- 8 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 11
Năm điểm của 5-fold cross validation dao động vì mỗi fold chấm model trên một nhóm dòng khác nhau. Khi mỗi fold chỉ có vài chục dòng, vài dòng khó dồn vào fold nào cũng đủ kéo điểm fold đó lệch vài phần trăm. Coi năm điểm là một mẫu nhỏ: độ lệch chuẩn của chúng đo độ lệch giữa các fold, còn sai số chuẩn đo độ chắc của điểm trung bình.
Cần biết trước: cross validation và sai số chuẩn.
Năm điểm của năm fold là một mẫu nhỏ
Bảng 300 hội viên Sóc Vàng dựng bằng NumPy, bốn feature, nhãn hủy gói. Logistic regression chấm bằng 5-fold có xáo trộn, mỗi fold 60 dòng:
import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import KFold, cross_val_score
rng = np.random.default_rng(7)
X = rng.normal(size=(300, 4))
y = (X @ [1, -.8, .5, 0] + rng.normal(0, 1.2, 300) > 0).astype(int)
cv = KFold(n_splits=5, shuffle=True, random_state=0)
diem = cross_val_score(LogisticRegression(), X, y, cv=cv)
print(diem.round(3))
s = diem.std(ddof=1)
se = s / np.sqrt(len(diem))
print(round(diem.mean(), 4), round(s, 4), round(se, 4))KẾT QUẢ
[0.8 0.733 0.733 0.783 0.667]
0.7433 0.0522 0.0233Cùng một model, cùng một bảng, điểm chạy từ 0,667 tới 0,8. Đổi random_state=0 thành random_state=1 rồi chạy lại: dòng đầu in [0.75 0.817 0.817 0.733 0.717], trung bình thành 0,7667, dù model và dữ liệu không đổi. Sai số chuẩn của trung bình là:
Trong đó:
s (
diem.std(ddof=1)): độ lệch chuẩn mẫu của k điểm, chia k − 1.k (
len(diem)): số fold, ở đây là 5.SE (
se): sai số chuẩn của điểm trung bình.
Năm fold đoán đúng 48, 44, 44, 47 và 40 trên 60 dòng:
Bước | Việc | Kết quả |
|---|---|---|
1 | Trung bình số dòng đúng: 223 / 5 | 44,6, tức 0,7433 |
2 | Bình phương độ lệch: 3,4²; 0,6²; 0,6²; 2,4²; 4,6² | 11,56; 0,36; 0,36; 5,76; 21,16 |
3 | Tổng 39,2 chia k − 1 = 4, lấy căn | √9,8 = 3,13 dòng |
4 | Đổi ra tỉ lệ: 3,13 / 60 | s = 0,0522 |
5 | SE = 0,0522 / √5 | 0,0233 |
Chia k − 1 thay cho k vì trung bình được tính từ chính năm điểm đó, như bài phương sai mẫu chia n − 1.
Độ lệch giữa fold và độ lệch của trung bình
s = 0,052 trả lời câu hỏi: một fold lệch khỏi trung bình khoảng bao nhiêu. SE = 0,023 trả lời câu khác: nếu có một bảng 300 hội viên khác từ cùng nguồn, điểm trung bình 5 fold sẽ lệch khoảng bao nhiêu. Câu thứ hai kiểm được bằng mô phỏng: dựng 12 bảng mới từ cùng công thức, chấm mỗi bảng bằng 5-fold, xem các trung bình tản ra thế nào:
import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import KFold, cross_val_score
def bang_moi(rng):
X = rng.normal(size=(300, 4))
y = (X @ [1.0, -0.8, 0.5, 0.0] + rng.normal(0, 1.2, 300) > 0)
return X, y.astype(int)
rng = np.random.default_rng(2026)
cv = KFold(n_splits=5, shuffle=True, random_state=0)
tb = [cross_val_score(LogisticRegression(), *bang_moi(rng), cv=cv).mean()
for _ in range(12)]
print(np.round(tb, 3))
print("lệch của trung bình:", round(np.std(tb, ddof=1), 4))KẾT QUẢ
[0.777 0.743 0.78 0.77 0.75 0.74 0.74 0.817 0.733 0.803 0.753
0.723]
lệch của trung bình: 0.0288Trung bình của 12 bảng tản ra khoảng 0,029, cùng cỡ với SE = 0,023 ước từ một bảng. Đây là phân phối mẫu của điểm trung bình. SE chỉ là ước lượng thô: năm fold dùng chung phần lớn dòng để học, nên năm điểm không độc lập như năm lần đo riêng, và s/√k thường hơi lạc quan.
So hai model trên cùng các fold
Muốn biết model B kém hơn A thật hay do may rủi, đừng so hai trung bình với hai SE riêng. Chấm cả hai trên đúng cùng năm fold, lấy hiệu từng cặp, rồi tính khoảng tin cậy cho trung bình của hiệu:
import numpy as np
from scipy import stats
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import KFold, cross_val_score
from sklearn.neighbors import KNeighborsClassifier
rng = np.random.default_rng(7)
X = rng.normal(size=(300, 4))
y = (X @ [1, -.8, .5, 0] + rng.normal(0, 1.2, 300) > 0).astype(int)
cv = KFold(n_splits=5, shuffle=True, random_state=0)
d = (cross_val_score(LogisticRegression(), X, y, cv=cv)
- cross_val_score(KNeighborsClassifier(15), X, y, cv=cv))
se = d.std(ddof=1) / np.sqrt(len(d))
print(d.round(3), d.mean().round(4))
print(np.round(stats.t.interval(0.95, 4, d.mean(), se), 4))KẾT QUẢ
[ 0.083 0.05 0.067 0.05 -0.017] 0.0467
[-0.0005 0.0939]Logistic regression hơn KNN ở bốn trên năm fold, trung bình 0,047. Với cách chia này (random_state=0), khoảng tin cậy 95% của hiệu chạm 0 ở cận dưới, nên năm fold chưa đủ để khẳng định. Chính kết luận đó cũng mong manh: chạy lại với 200 giá trị random_state của KFold, khoảng chứa 0 ở 92 lần (46%). Cận dưới thường nằm từ −0,037 tới +0,037 (phân vị 5 và 95), trung vị +0,002, còn hiệu trung bình thường từ 0,027 tới 0,077. Chênh lệch này nằm đúng trên ranh giới: tùy cách xáo mà một lần chạy nói "đủ" hay "chưa đủ". Gặp trường hợp sát ranh giới như vậy, đừng đổi random_state tới khi khoảng tách khỏi 0; hãy báo cả khoảng, ghi là chưa rõ, hoặc tìm thêm dữ liệu. Vì các fold không độc lập, khoảng thật còn rộng hơn khoảng này. So theo cặp có lợi vì fold khó làm cả hai model cùng thấp điểm, và hiệu từng cặp gạt bớt phần dao động chung đó.
Kiểm tra nhanh
Sau
import numpy as np,print(round(float(np.array([0.7, 0.8, 0.9]).std(ddof=1)), 4))in ra gì?0.10.08160.0577
Năm điểm có s = 0,052 và SE = 0,023. Câu nào đọc đúng hai số này?
- Một fold thường lệch khỏi trung bình cỡ 0,05, còn điểm trung bình lệch cỡ 0,02 giữa các bảng dữ liệu
- Điểm trung bình chắc chắn nằm trong khoảng 0,7433 ± 0,023
- Model sẽ đạt 0,7433 ± 0,052 trên mọi bảng mới
Những câu nào đúng khi so hai model bằng cross validation?
- Hai model phải được chấm trên đúng cùng các fold
- Khoảng tin cậy của hiệu chạm 0 nghĩa là chưa đủ bằng chứng về chênh lệch
- Model có trung bình cao hơn là model tốt hơn, bất kể chênh bao nhiêu
- Các fold độc lập nên khoảng tin cậy của hiệu là chính xác
Trong khung bẫy, vì sao
diem.std()cho 0,0467 còndiem.std(ddof=1)cho 0,0522?- Vì
std()mặc định làm tròn - Vì mặc định chia k = 5, còn
ddof=1chia k − 1 = 4 - Vì
ddof=1bỏ điểm thấp nhất
- Vì
Bài tập
Khoảng tin cậy cho chênh lệch hai model
diem_a và diem_b là hai list điểm của model A và B trên cùng k fold, cùng thứ tự fold. muc là mức tin cậy, ví dụ 0.95.
Viết thân hàm khoang_chenh(diem_a, diem_b, muc): lấy hiệu từng cặp A − B, tính sai số chuẩn của hiệu bằng độ lệch chuẩn ddof=1 chia căn k, rồi dùng stats.t.interval() của SciPy với k − 1 bậc tự do.
Hàm không sửa diem_a, diem_b của nơi gọi.
Trả về: cận dưới và cận trên, một list hai số float.
Ví dụ: khoang_chenh([0.8, 0.75, 0.7, 0.85, 0.8], [0.7, 0.75, 0.65, 0.8, 0.7], 0.95) trả về khoảng [0.0081, 0.1119].
import numpy as np
from scipy import stats
def khoang_chenh(diem_a, diem_b, muc):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Điểm của k fold là một mẫu k số: điểm dao động vì mỗi fold chấm trên một nhóm dòng khác.
Độ lệch chuẩn s (
ddof=1) đo một fold lệch khỏi trung bình bao nhiêu.Sai số chuẩn SE = s / √k đo điểm trung bình lệch bao nhiêu nếu đổi sang bảng dữ liệu khác.
Mô phỏng 12 bảng mới cho độ lệch của trung bình 0,029, cùng cỡ SE = 0,023 ước từ một bảng.
So hai model trên cùng các fold, lấy hiệu từng cặp rồi tính khoảng tin cậy t cho trung bình hiệu.
Các fold không độc lập, nên SE và khoảng tin cậy chỉ là ước lượng thô, thường hẹp hơn thực tế.
Câu hỏi thường gặp
Có nên lặp cross validation nhiều lần với cách xáo khác nhau không?
RepeatedKFold lấy trung bình qua nhiều cách chia, nên điểm trung bình bớt phụ thuộc vào một random_state. Nhưng nó vẫn dùng đúng một bảng dữ liệu: dao động do có ít dòng thì lặp bao nhiêu lần cũng không giảm. Bài cross validation đo phần dao động do cách xáo trên bảng hội viên.
Tăng số fold có làm điểm bớt dao động không?
Mỗi fold nhỏ đi nên điểm từng fold dao động mạnh hơn, còn trung bình thì gần như không chắc hơn bao nhiêu, vì tổng số dòng được chấm vẫn là cả bảng. 5 hay 10 fold là lựa chọn quen thuộc. Muốn điểm chắc hơn thì cần thêm dữ liệu.
Dùng kiểm định t cặp trên điểm các fold có đúng không?
Phép tính giống hệt kiểm định t cặp với ttest_rel(), nhưng giả định các cặp độc lập bị vi phạm vì các fold chia nhau dữ liệu học. Kết quả p-value vì vậy thường quá nhỏ. Dùng nó như một chỉ dấu thô, và coi một chênh lệch nằm sát ranh giới là chưa rõ.
Vì sao bảng nhỏ làm điểm các fold lệch nhau nhiều?
Mỗi fold ở đây chỉ có 60 dòng, nên mỗi dòng chiếm 1/60 ≈ 0,017 của accuracy fold đó. Ba dòng khó dồn vào cùng một fold đã kéo điểm fold xuống khoảng 0,05, đúng cỡ s = 0,052 ở đầu bài. Khi fold dài hơn, mỗi dòng nặng ít hơn và các dòng khó rải đều hơn giữa các fold, nên năm điểm sát nhau hơn; bảng nhỏ vì vậy cần đọc điểm cross validation thận trọng hơn.
Chủ đề
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.