Bỏ qua đến nội dung chính
Mục lục

Train, validation, test: validation set dùng để làm gì

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 2/14 · Chương 3

Đánh giá model

  • 7 phút
  • Cơ bản
  • Python 3.14
  • Cập nhật

Train, validation, test là cách chia dữ liệu làm ba phần: tập train để model học, tập validation (validation set) để so các model ứng viên và chọn một, tập test để chấm đúng một lần ở cuối. Bạn cần phần thứ ba khi phải chọn giữa nhiều model, như thử ba bộ cột cho model giá nhà rồi giữ bộ tốt nhất.

Cần biết trước: train_test_split(), fit, predict, score và DataFrame.

Chia ba phần bằng hai lần train_test_split()

train_test_split() chỉ cắt làm hai, nên muốn ba phần thì gọi hai lần: lần đầu tách tập test, lần sau chia phần còn lại thành train và validation. File hoi_vien.csv có 3.000 thành viên gói Sóc Vàng (số giả lập của AIDev), cột roi_bo là 1 khi khách bỏ gói. Chia 60/20/20:

python
import pandas as pd
from sklearn.model_selection import train_test_split

kh = pd.read_csv("hoi_vien.csv")
con_lai, test = train_test_split(
    kh, test_size=0.2, random_state=0, stratify=kh["roi_bo"]
)
train, val = train_test_split(
    con_lai, test_size=0.25, random_state=0,
    stratify=con_lai["roi_bo"]
)
for ten, phan in [("train", train), ("val", val), ("test", test)]:
    print(ten, len(phan), round(phan["roi_bo"].mean(), 3))

KẾT QUẢ

train 1800 0.198
val 600 0.198
test 600 0.198

Lần hai ghi test_size=0.25 vì phần còn lại chỉ có 2.400 dòng: 25% của 2.400 là 600, đúng 20% của cả bảng. Cả hai lần đều có stratify, nên ba phần giữ cùng tỉ lệ 19,8% khách rời bỏ. Phần validation còn được gọi là tập kiểm định hay tập dev.

Chọn model trên tập validation

Giả sử bạn phân vân giữa ba bộ cột cho model giá nhà. Cả ba học trên tập train, rồi được chấm trên tập validation, phần chưa model nào thấy. File gia_nha.csv có 2.500 căn ở TP. Hồ Chí Minh, cột gia_ty là giá tính bằng tỷ đồng:

python
import pandas as pd
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split
nha = pd.read_csv("gia_nha.csv")
con_lai, test = train_test_split(nha, test_size=0.2, random_state=0)
train, val = train_test_split(con_lai, random_state=0)
ung_vien = {
    "1 cột": ["dien_tich_m2"],
    "2 cột": ["dien_tich_m2", "khoang_cach_trung_tam_km"],
    "6 cột": ["dien_tich_m2", "so_phong_ngu", "so_tang",
              "khoang_cach_trung_tam_km", "tuoi_nha", "gan_metro"],
}
for ten, cot in ung_vien.items():
    model = LinearRegression().fit(train[cot], train["gia_ty"])
    print(ten, round(model.score(val[cot], val["gia_ty"]), 3))

KẾT QUẢ

1 cột 0.262
2 cột 0.487
6 cột 0.724

Lần chia thứ hai bỏ trống test_size, nên hàm lấy 25% mặc định, vẫn là 20% của cả bảng. Bộ 6 cột có điểm validation cao nhất, nên ta giữ nó. Thử 200 hạt giống chia khác nhau thì lần nào bộ 6 cột cũng thắng, nên lựa chọn này không phụ thuộc may rủi của một lần chia. Tập test chưa được nhắc tới ở bước này: nó vẫn nằm yên.

Đổi "6 cột" thành "6 cột (giữ)" rồi chạy lại: dòng cuối in 6 cột (giữ) 0.724.

Chấm tập test một lần ở cuối

Đã chọn xong thì fit lại model đã chọn trên cả train lẫn validation (nhiều dữ liệu hơn), rồi chấm trên tập test đúng một lần. Con số này là con số đem báo cáo:

python
import pandas as pd
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split

nha = pd.read_csv("gia_nha.csv")
con_lai, test = train_test_split(nha, test_size=0.2, random_state=0)
cot = ["dien_tich_m2", "so_phong_ngu", "so_tang",
       "khoang_cach_trung_tam_km", "tuoi_nha", "gan_metro"]
model = LinearRegression().fit(con_lai[cot], con_lai["gia_ty"])
print("Test:", round(model.score(test[cot], test["gia_ty"]), 3))

KẾT QUẢ

Test: 0.707

Hai con số chênh nhau 0,017, cỡ dao động giữa hai tập 500 căn khác nhau. Khi phải chọn giữa nhiều ứng viên sát nhau, điểm validation của ứng viên thắng thường lạc quan hơn, vì nó thắng một phần nhờ may; đó là lý do con số báo cáo vẫn là điểm test. Nếu bây giờ bạn thấy 0.707 chưa đủ rồi quay lại thử bộ cột khác và chấm lại trên test, tập test thành tập validation thứ hai và mất vai trò "dữ liệu chưa thấy". Bảng ít dòng thì một tập validation nhỏ cho điểm dao động; khi đó cross validation chia phần train thành nhiều lượt và lấy trung bình thay cho một tập validation cố định.

Kiểm tra nhanh

  1. Sau from sklearn.model_selection import train_test_split và con_lai, test = train_test_split(list(range(1000)), test_size=0.2, random_state=0), len(train_test_split(con_lai, test_size=0.25, random_state=0)[1]) cho kết quả gì?

    • 250
    • 200
    • 160
  2. Trong khung bẫy thử 50 random_state, vì sao điểm 0.451 không nên đem báo cáo?

    • Vì hạt giống cho điểm cao làm model học sai
    • Vì đó là con số cao nhất trong 50 lần chia, được chọn chính bằng điểm test
    • Vì max() làm tròn sai
  3. Những việc nào nên làm trên tập validation?

    • So điểm của ba bộ cột để chọn một bộ
    • Chọn giữa hai loại model đã fit trên tập train
    • Fit model lần đầu
    • Báo điểm cuối cùng của model đã chọn
  4. Bạn đã chấm model trên test, thấy điểm thấp, đổi bộ cột rồi chấm lại test. Điểm test lần hai có ý nghĩa gì?

    • Vẫn là ước lượng không thiên lệch cho dữ liệu mới
    • Lạc quan hơn thực tế, vì test đã được dùng để chọn
    • Luôn thấp hơn điểm validation
Đúng hết lần đầu +15 XP

Bài tập

Chia bảng thành train, validation, test

Viết thân hàm chia_ba_phan(bang, cot_nhan, ti_le_val, ti_le_test, hat_giong) chia bang thành ba phần bằng hai lần train_test_split():

  • tập test chiếm ti_le_test số dòng của cả bảng, tập validation chiếm ti_le_val số dòng của cả bảng, phần còn lại là train;

  • cả ba phần giữ tỉ lệ các lớp của cột cot_nhan;

  • hai lần chia dùng random_state=hat_giong.

Mỗi phần là một DataFrame giữ mọi cột của bang. Hàm không sửa bang của nơi gọi.

Trả về: ba phần theo thứ tự train, validation, test, một tuple.

python
import pandas as pd
from sklearn.model_selection import train_test_split

def chia_ba_phan(bang, cot_nhan, ti_le_val, ti_le_test, hat_giong):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • Ba phần chia bằng hai lần train_test_split(): tách test trước, rồi chia phần còn lại thành train và validation.

  • Lần chia thứ hai dùng tỉ lệ so với phần còn lại: 20% của cả bảng là 0.2 / 0.8 = 0.25.

  • Train để fit, validation để so và chọn model, test để báo điểm cuối cùng.

  • Chọn bằng điểm test, kể cả chọn random_state, làm con số báo cáo lạc quan.

  • Chấm test đúng một lần, sau khi mọi lựa chọn đã xong.

Câu hỏi thường gặp

Validation set và test set khác nhau thế nào?

Khác ở việc dùng, không ở cách chia. Tập validation được nhìn nhiều lần để chọn model, nên điểm trên nó hơi lạc quan. Tập test chỉ được nhìn một lần sau khi đã chọn xong, nên điểm trên nó mới ước lượng được model làm gì với dữ liệu mới.

Tỉ lệ chia train, validation, test bao nhiêu là hợp lý?

60/20/20 hay 70/15/15 là hay gặp. Bảng vài trăm dòng thì tập validation quá nhỏ để so model; khi đó giữ một tập test và dùng cross validation trên phần còn lại thay cho tập validation cố định.

Fit lại trên train cộng validation có làm hỏng tập test không?

Không, miễn tập test không tham gia. Sau khi chọn xong, gộp train và validation để model học trên nhiều dòng hơn là cách làm thường gặp; test vẫn là phần chưa thấy. Chỉ cần nhớ chia trước mọi fit, như bài train_test_split đã nói.

Bảng có nhiều dòng của cùng một khách thì chia thế nào?

Chia theo khách, không theo dòng: mọi dòng của một khách nằm trọn một phần. Chia ngẫu nhiên từng dòng thì validation và test có những khách model đã gặp ở train, và điểm cao giả. Bài data leakage nói kỹ các kiểu rò này.

Chủ đề

train validation test

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập