train_test_split sklearn: test_size, random_state, stratify
Bài 1/14 · Chương 3
Đánh giá model
- 9 phút
- Cơ bản
- Python 3.14
- Cập nhật
Trong bài này · 13
Hàm train_test_split() của sklearn tách một bảng dữ liệu làm hai phần (train test split): phần train để model học, phần test giữ lại để chấm model trên những dòng nó chưa từng thấy. Bạn gọi nó ngay sau khi chọn xong feature và label, như khi định giá nhà và cần biết model đoán đúng đến đâu với căn chưa có trong sổ. Lời gọi đứng trước mọi fit(), kể cả fit của bộ chuẩn hóa hay bộ điền ô thiếu.
Cần biết trước: fit, predict, score, bỏ cột bằng drop() và value_counts().
Chia bảng bằng train_test_split()
File gia_nha.csv có 2.500 căn nhà ở TP. Hồ Chí Minh (số giả lập của AIDev), cột gia_ty là giá bán tính bằng tỷ đồng. Bỏ cột giá ra khỏi bảng để có X, giữ riêng cột giá làm y, rồi chia:
import pandas as pd
from sklearn.model_selection import train_test_split
nha = pd.read_csv("gia_nha.csv")
X = nha.drop(columns=["gia_ty"])
y = nha["gia_ty"]
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.2, random_state=0
)
print(len(X_train), len(X_test))
print(len(y_train), len(y_test))
print(X_test.index[:5].tolist())KẾT QUẢ
2000 500
2000 500
[53, 2391, 2310, 728, 850]test_size=0.2 giữ 20% số dòng làm tập test (test set), 80% còn lại là tập train (train set). Hàm xáo các dòng trước khi cắt, nên năm chỉ số đầu của X_test rải khắp bảng thay vì là 500 dòng cuối. Một bảng vào thì hai phần ra, còn X và y vào thì bốn phần ra, theo thứ tự cố định: X_train, X_test, y_train, y_test. Dòng thứ k của X_test và dòng thứ k của y_test luôn là cùng một căn nhà.
Đổi test_size=0.2 thành test_size=0.1 rồi chạy lại: dòng đầu in 2250 250.
test_size và random_state
Vì hàm xáo dòng một cách ngẫu nhiên, mỗi lần gọi có thể cho một tập test khác. random_state= là hạt giống của lần xáo: cùng hạt giống, cùng bảng thì ra đúng những dòng như lần trước. Chỉ đưa một bảng vào thì hàm trả hai phần:
import pandas as pd
from sklearn.model_selection import train_test_split
nha = pd.read_csv("gia_nha.csv")
for hat_giong in [0, 0, 1]:
_, test = train_test_split(
nha, test_size=0.2, random_state=hat_giong
)
print(hat_giong, test.index[:4].tolist())KẾT QUẢ
0 [53, 2391, 2310, 728]
0 [53, 2391, 2310, 728]
1 [1406, 297, 1276, 2368]Hai lần random_state=0 cho cùng bốn căn đầu, random_state=1 cho bộ khác. Không ghi random_state thì mỗi lần chạy một kiểu, điểm của model nhảy theo và bạn không biết model tốt lên hay chỉ được chia may. Con số cụ thể không quan trọng: 0 hay 42 đều được, miễn là giữ cố định. Bỏ trống test_size thì hàm lấy 25% làm test.
Chấm model trên dữ liệu nó chưa thấy
Điểm của score() trên chính các dòng model đã học không nói được model đoán căn mới tốt đến đâu, vì model có thể đã khớp cả những chỗ ngẫu nhiên của dữ liệu đó. Đoạn dưới lấy thử 24 căn, chia đôi, rồi chấm cùng một model trên hai phần:
import pandas as pd
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split
nha = pd.read_csv("gia_nha.csv").sample(24, random_state=3)
X = nha[["dien_tich_m2", "so_phong_ngu", "so_tang",
"khoang_cach_trung_tam_km", "tuoi_nha", "gan_metro"]]
X_train, X_test, y_train, y_test = train_test_split(
X, nha["gia_ty"], test_size=0.5, random_state=0
)
model = LinearRegression().fit(X_train, y_train)
print("Train:", round(model.score(X_train, y_train), 3))
print("Test: ", round(model.score(X_test, y_test), 3))KẾT QUẢ
Train: 0.988
Test: 0.206Với 12 căn mà model có 7 hệ số để chỉnh (6 feature và hệ số chặn), model khớp tập train gần trọn vẹn (0.988, càng gần 1 càng tốt), nhưng trên 12 căn chưa thấy chỉ còn 0.206. Con số đáng báo cáo là con số của tập test. Chạy lại trên cả 2.500 căn thì hai điểm sát nhau:
import pandas as pd
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split
nha = pd.read_csv("gia_nha.csv")
X = nha[["dien_tich_m2", "so_phong_ngu", "so_tang",
"khoang_cach_trung_tam_km", "tuoi_nha", "gan_metro"]]
X_train, X_test, y_train, y_test = train_test_split(
X, nha["gia_ty"], test_size=0.2, random_state=0
)
model = LinearRegression().fit(X_train, y_train)
print("Train:", round(model.score(X_train, y_train), 3))
print("Test: ", round(model.score(X_test, y_test), 3))KẾT QUẢ
Train: 0.708
Test: 0.707Khi số căn nhiều gấp hàng trăm lần số hệ số, model không còn chỗ để học thuộc từng căn, và điểm test gần điểm train. Tập test là một mẫu của những căn model sẽ gặp sau này; bài tổng thể và mẫu nói vì sao mẫu càng lớn thì con số đo trên nó càng ổn định.
Điều đó chỉ đúng khi các dòng độc lập với nhau. train_test_split() xáo từng dòng riêng lẻ. Bảng có nhiều dòng của cùng một khách, có dòng trùng nhau, hay các dòng nối nhau theo thời gian thì tập test chứa những thứ model gần như đã thấy, và điểm test cao giả. Những trường hợp đó có ở bài data leakage.
Giữ tỉ lệ lớp bằng stratify
Với bài toán phân loại, tập test nên có tỉ lệ các lớp giống cả bảng. File hoi_vien.csv ghi 3.000 thành viên gói Sóc Vàng, cột roi_bo là 1 khi khách bỏ gói. Chia 10% làm test, một lần không và một lần có stratify=y:
import pandas as pd
from sklearn.model_selection import train_test_split
kh = pd.read_csv("hoi_vien.csv")
X = kh.drop(columns=["ma_kh", "roi_bo"])
y = kh["roi_bo"]
print(y.value_counts(normalize=True).round(3).to_dict())
for chia_tang in [None, y]:
_, _, _, y_test = train_test_split(
X, y, test_size=0.1, random_state=2, stratify=chia_tang
)
print(y_test.value_counts(normalize=True).round(3).to_dict())KẾT QUẢ
{0: 0.802, 1: 0.198}
{0: 0.76, 1: 0.24}
{0: 0.803, 1: 0.197}Cả bảng có 19,8% khách bỏ gói. Lần chia không stratify, hạt giống này cho tập test 24%, cao hơn hẳn, nên mọi điểm đo trên đó lệch theo. Thử 200 hạt giống thì tập test 300 dòng thường lệch khoảng ±2 điểm phần trăm, có hạt giống lệch tới 7 điểm; hạt giống 2 thuộc nhóm lệch nhiều. stratify=y chia riêng từng lớp theo đúng tỉ lệ, nên test giữ 19,7%. Lớp càng hiếm và tập test càng nhỏ thì độ lệch càng lớn.
Kiểm tra nhanh
Sau
from sklearn.model_selection import train_test_split,len(train_test_split(list(range(10)), test_size=0.3, random_state=0)[1])cho kết quả gì?7310
Sau
from sklearn.model_selection import train_test_split,len(train_test_split(list(range(50)), test_size=20, random_state=0)[1])cho kết quả gì?201030
Những câu nào đúng về train_test_split()?
- Cùng bảng và cùng
random_statethì tập test gồm đúng các dòng như lần trước stratify=ygiữ tỉ lệ các lớp củaytrong cả train lẫn test- Điểm
score()trên tập train cho biết model đoán căn nhà mới tốt đến đâu random_state=42cho model chính xác hơnrandom_state=0
- Cùng bảng và cùng
Viết
X_train, y_train, X_test, y_test = train_test_split(X, y)rồi gọifit(X_train, y_train)thì báo lỗi gì?- Báo lỗi
ValueError, vì hai biến đưa vàofit()lệch số dòng - Báo lỗi
TypeError - Báo lỗi
KeyError
- Báo lỗi
Bài tập
Chia bảng khách hàng giữ tỉ lệ lớp
bang là một DataFrame có một cột nhãn tên cot_nhan, các cột còn lại là feature. Viết thân hàm chia_du_lieu(bang, cot_nhan, ti_le_test, hat_giong): tách X, y, rồi chia bằng train_test_split() sao cho
phần test chiếm
ti_le_testsố dòng (một số thực từ 0 tới 1);tỉ lệ các lớp của
ytrong test giống trong cả bảng;gọi lại với cùng
hat_giongthì ra đúng các dòng như lần trước.
Hàm không sửa bang của nơi gọi.
Trả về: bốn phần theo thứ tự X_train, X_test, y_train, y_test, một list hay một tuple đều được.
import pandas as pd
from sklearn.model_selection import train_test_split
def chia_du_lieu(bang, cot_nhan, ti_le_test, hat_giong):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
train_test_split(X, y)trả bốn phần theo thứ tựX_train,X_test,y_train,y_test.test_size=0.2là 20% số dòng; số nguyên như20là số dòng; bỏ trống thì 25%.Cùng
random_statevà cùng bảng thì ra đúng tập test như lần trước.Điểm
score()đáng báo cáo là điểm trên tập test, phần model chưa thấy khifit().stratify=ygiữ tỉ lệ lớp ở bài toán phân loại; không dùng với nhãn số liên tục.
Câu hỏi thường gặp
Nên chia train test theo tỉ lệ bao nhiêu?
Hay gặp nhất là 80/20 hoặc 75/25. Bảng vài trăm dòng thì tập test nhỏ đến mức điểm dao động mạnh giữa các lần chia; khi đó cross validation chia nhiều lần và lấy trung bình, thay cho một lần chia may rủi.
random_state=42 có gì đặc biệt không?
Không. 42 chỉ là con số nhiều người quen dùng. Mọi số nguyên đều cố định được cách xáo; điều quan trọng là giữ đúng một số trong suốt dự án để so model cho công bằng.
Không dùng sklearn thì chia train test trong Python thế nào?
Xáo bảng bằng df.sample(frac=1, random_state=0) rồi cắt bằng iloc. Nhưng train_test_split() đã làm sẵn việc chia đồng bộ X với y và giữ tỉ lệ lớp, nên ít chỗ để sai hơn.
Khi nào không nên chia ngẫu nhiên?
Khi các dòng không độc lập. Đoán tháng sau từ các tháng trước thì test phải là những tháng cuối; nhiều dòng của cùng một khách thì cả khách nằm trọn một bên; dòng trùng thì bỏ trước khi chia. Bài data leakage nói kỹ các kiểu rò này, trong đó có rò theo thời gian.
Có cần thêm tập validation không?
Cần, khi bạn thử nhiều model hay nhiều tham số rồi chọn cái tốt nhất: chọn trên tập test thì tập test không còn là dữ liệu "chưa thấy". Bài train, validation, test chia bảng làm ba phần.
Chủ đề
Dữ liệu của bài
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.