Train, validation, test: validation set dùng để làm gì
Bài 2/14 · Chương 3
Đánh giá model
- 7 phút
- Cơ bản
- Python 3.14
- Cập nhật
Trong bài này · 11
Train, validation, test là cách chia dữ liệu làm ba phần: tập train để model học, tập validation (validation set) để so các model ứng viên và chọn một, tập test để chấm đúng một lần ở cuối. Bạn cần phần thứ ba khi phải chọn giữa nhiều model, như thử ba bộ cột cho model giá nhà rồi giữ bộ tốt nhất.
Cần biết trước: train_test_split(), fit, predict, score và DataFrame.
Chia ba phần bằng hai lần train_test_split()
train_test_split() chỉ cắt làm hai, nên muốn ba phần thì gọi hai lần: lần đầu tách tập test, lần sau chia phần còn lại thành train và validation. File hoi_vien.csv có 3.000 thành viên gói Sóc Vàng (số giả lập của AIDev), cột roi_bo là 1 khi khách bỏ gói. Chia 60/20/20:
import pandas as pd
from sklearn.model_selection import train_test_split
kh = pd.read_csv("hoi_vien.csv")
con_lai, test = train_test_split(
kh, test_size=0.2, random_state=0, stratify=kh["roi_bo"]
)
train, val = train_test_split(
con_lai, test_size=0.25, random_state=0,
stratify=con_lai["roi_bo"]
)
for ten, phan in [("train", train), ("val", val), ("test", test)]:
print(ten, len(phan), round(phan["roi_bo"].mean(), 3))KẾT QUẢ
train 1800 0.198
val 600 0.198
test 600 0.198Lần hai ghi test_size=0.25 vì phần còn lại chỉ có 2.400 dòng: 25% của 2.400 là 600, đúng 20% của cả bảng. Cả hai lần đều có stratify, nên ba phần giữ cùng tỉ lệ 19,8% khách rời bỏ. Phần validation còn được gọi là tập kiểm định hay tập dev.
Chọn model trên tập validation
Giả sử bạn phân vân giữa ba bộ cột cho model giá nhà. Cả ba học trên tập train, rồi được chấm trên tập validation, phần chưa model nào thấy. File gia_nha.csv có 2.500 căn ở TP. Hồ Chí Minh, cột gia_ty là giá tính bằng tỷ đồng:
import pandas as pd
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split
nha = pd.read_csv("gia_nha.csv")
con_lai, test = train_test_split(nha, test_size=0.2, random_state=0)
train, val = train_test_split(con_lai, random_state=0)
ung_vien = {
"1 cột": ["dien_tich_m2"],
"2 cột": ["dien_tich_m2", "khoang_cach_trung_tam_km"],
"6 cột": ["dien_tich_m2", "so_phong_ngu", "so_tang",
"khoang_cach_trung_tam_km", "tuoi_nha", "gan_metro"],
}
for ten, cot in ung_vien.items():
model = LinearRegression().fit(train[cot], train["gia_ty"])
print(ten, round(model.score(val[cot], val["gia_ty"]), 3))KẾT QUẢ
1 cột 0.262
2 cột 0.487
6 cột 0.724Lần chia thứ hai bỏ trống test_size, nên hàm lấy 25% mặc định, vẫn là 20% của cả bảng. Bộ 6 cột có điểm validation cao nhất, nên ta giữ nó. Thử 200 hạt giống chia khác nhau thì lần nào bộ 6 cột cũng thắng, nên lựa chọn này không phụ thuộc may rủi của một lần chia. Tập test chưa được nhắc tới ở bước này: nó vẫn nằm yên.
Đổi "6 cột" thành "6 cột (giữ)" rồi chạy lại: dòng cuối in 6 cột (giữ) 0.724.
Chấm tập test một lần ở cuối
Đã chọn xong thì fit lại model đã chọn trên cả train lẫn validation (nhiều dữ liệu hơn), rồi chấm trên tập test đúng một lần. Con số này là con số đem báo cáo:
import pandas as pd
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split
nha = pd.read_csv("gia_nha.csv")
con_lai, test = train_test_split(nha, test_size=0.2, random_state=0)
cot = ["dien_tich_m2", "so_phong_ngu", "so_tang",
"khoang_cach_trung_tam_km", "tuoi_nha", "gan_metro"]
model = LinearRegression().fit(con_lai[cot], con_lai["gia_ty"])
print("Test:", round(model.score(test[cot], test["gia_ty"]), 3))KẾT QUẢ
Test: 0.707Hai con số chênh nhau 0,017, cỡ dao động giữa hai tập 500 căn khác nhau. Khi phải chọn giữa nhiều ứng viên sát nhau, điểm validation của ứng viên thắng thường lạc quan hơn, vì nó thắng một phần nhờ may; đó là lý do con số báo cáo vẫn là điểm test. Nếu bây giờ bạn thấy 0.707 chưa đủ rồi quay lại thử bộ cột khác và chấm lại trên test, tập test thành tập validation thứ hai và mất vai trò "dữ liệu chưa thấy". Bảng ít dòng thì một tập validation nhỏ cho điểm dao động; khi đó cross validation chia phần train thành nhiều lượt và lấy trung bình thay cho một tập validation cố định.
Kiểm tra nhanh
Sau
from sklearn.model_selection import train_test_splitvàcon_lai, test = train_test_split(list(range(1000)), test_size=0.2, random_state=0),len(train_test_split(con_lai, test_size=0.25, random_state=0)[1])cho kết quả gì?250200160
Trong khung bẫy thử 50
random_state, vì sao điểm0.451không nên đem báo cáo?- Vì hạt giống cho điểm cao làm model học sai
- Vì đó là con số cao nhất trong 50 lần chia, được chọn chính bằng điểm test
- Vì
max()làm tròn sai
Những việc nào nên làm trên tập validation?
- So điểm của ba bộ cột để chọn một bộ
- Chọn giữa hai loại model đã fit trên tập train
- Fit model lần đầu
- Báo điểm cuối cùng của model đã chọn
Bạn đã chấm model trên test, thấy điểm thấp, đổi bộ cột rồi chấm lại test. Điểm test lần hai có ý nghĩa gì?
- Vẫn là ước lượng không thiên lệch cho dữ liệu mới
- Lạc quan hơn thực tế, vì test đã được dùng để chọn
- Luôn thấp hơn điểm validation
Bài tập
Chia bảng thành train, validation, test
Viết thân hàm chia_ba_phan(bang, cot_nhan, ti_le_val, ti_le_test, hat_giong) chia bang thành ba phần bằng hai lần train_test_split():
tập test chiếm
ti_le_testsố dòng của cả bảng, tập validation chiếmti_le_valsố dòng của cả bảng, phần còn lại là train;cả ba phần giữ tỉ lệ các lớp của cột
cot_nhan;hai lần chia dùng
random_state=hat_giong.
Mỗi phần là một DataFrame giữ mọi cột của bang. Hàm không sửa bang của nơi gọi.
Trả về: ba phần theo thứ tự train, validation, test, một tuple.
import pandas as pd
from sklearn.model_selection import train_test_split
def chia_ba_phan(bang, cot_nhan, ti_le_val, ti_le_test, hat_giong):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Ba phần chia bằng hai lần
train_test_split(): tách test trước, rồi chia phần còn lại thành train và validation.Lần chia thứ hai dùng tỉ lệ so với phần còn lại: 20% của cả bảng là
0.2 / 0.8 = 0.25.Train để fit, validation để so và chọn model, test để báo điểm cuối cùng.
Chọn bằng điểm test, kể cả chọn
random_state, làm con số báo cáo lạc quan.Chấm test đúng một lần, sau khi mọi lựa chọn đã xong.
Câu hỏi thường gặp
Validation set và test set khác nhau thế nào?
Khác ở việc dùng, không ở cách chia. Tập validation được nhìn nhiều lần để chọn model, nên điểm trên nó hơi lạc quan. Tập test chỉ được nhìn một lần sau khi đã chọn xong, nên điểm trên nó mới ước lượng được model làm gì với dữ liệu mới.
Tỉ lệ chia train, validation, test bao nhiêu là hợp lý?
60/20/20 hay 70/15/15 là hay gặp. Bảng vài trăm dòng thì tập validation quá nhỏ để so model; khi đó giữ một tập test và dùng cross validation trên phần còn lại thay cho tập validation cố định.
Fit lại trên train cộng validation có làm hỏng tập test không?
Không, miễn tập test không tham gia. Sau khi chọn xong, gộp train và validation để model học trên nhiều dòng hơn là cách làm thường gặp; test vẫn là phần chưa thấy. Chỉ cần nhớ chia trước mọi fit, như bài train_test_split đã nói.
Bảng có nhiều dòng của cùng một khách thì chia thế nào?
Chia theo khách, không theo dòng: mọi dòng của một khách nằm trọn một phần. Chia ngẫu nhiên từng dòng thì validation và test có những khách model đã gặp ở train, và điểm cao giả. Bài data leakage nói kỹ các kiểu rò này.
Chủ đề
Dữ liệu của bài
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.