Data leakage trong machine learning: rò rỉ dữ liệu
Bài 3/14 · Chương 3
Đánh giá model
- 9 phút
- Cơ bản
- Python 3.14
- Cập nhật
Trong bài này · 13
Data leakage (rò rỉ dữ liệu) trong machine learning là khi lúc học model được xem những thông tin sẽ không có trong tay vào ngày dự đoán thật, nên điểm test cao mà dự đoán thật thì sai. Bạn gặp nó khi bảng có cột ghi nhận sau ngày cần dự đoán, khi tiền xử lý nhìn cả tập test, hay khi chia ngẫu nhiên dữ liệu theo thời gian.
Cần biết trước: train_test_split(), train, validation, test và tương quan giữa các cột.
Rò nhãn: cột được ghi sau lúc dự đoán
File hoi_vien.csv (số giả lập của AIDev) là ảnh chụp 3.000 thành viên gói Sóc Vàng ở mốc 15/06/2026; roi_bo là 1 khi khách bỏ gói trong 60 ngày sau mốc. Cột hoi_cach_huy_sau_moc đếm số lần khách hỏi cách hủy gói sau mốc. Model dưới đây là LogisticRegression, một model phân loại; ở bài này bạn chỉ gọi fit() rồi score() để lấy tỉ lệ đoán đúng trên tập test.
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
kh = pd.read_csv("hoi_vien.csv")
cot = ["so_lan_dang_nhap_30_ngay", "so_don_90_ngay",
"so_lan_khieu_nai", "ti_le_giao_tre", "tu_dong_gia_han"]
for them in [[], ["hoi_cach_huy_sau_moc"]]:
X_train, X_test, y_train, y_test = train_test_split(
kh[cot + them], kh["roi_bo"], test_size=0.25,
random_state=0, stratify=kh["roi_bo"])
model = LogisticRegression().fit(X_train, y_train)
diem = model.score(X_test, y_test)
print(len(cot + them), "cột:", round(diem, 3))KẾT QUẢ
5 cột: 0.8
6 cột: 0.912Thêm một cột, điểm test nhảy từ 0.8 lên 0.912. Nhưng cột này chỉ có số sau khi khách đã tính chuyện bỏ gói; lúc cần danh sách khách để giữ chân, nó chưa được ghi. Đây là rò nhãn (target leakage): một feature chứa một phần đáp án vì nó được ghi sau thời điểm dự đoán.
Model rò nhãn sụp khi dùng thật
File hoi_vien_ky_sau.csv là 800 thành viên của quý sau. Lúc dự đoán, cột hỏi cách hủy của họ bằng 0 cho mọi người, vì những lần hỏi đó chưa xảy ra; code đặt cột đó về 0 bằng assign(). Hai model, có và không có cột rò, fit trên cùng tập train như trên; mỗi model bắt được bao nhiêu phần khách rời bỏ, trên tập test và quý sau?
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
kh = pd.read_csv("hoi_vien.csv")
moi = pd.read_csv("hoi_vien_ky_sau.csv")
train, test = train_test_split(kh, test_size=0.25, random_state=0,
stratify=kh["roi_bo"])
cot = ["so_lan_dang_nhap_30_ngay", "so_don_90_ngay",
"so_lan_khieu_nai", "ti_le_giao_tre", "tu_dong_gia_han"]
for c in [cot, cot + ["hoi_cach_huy_sau_moc"]]:
model = LogisticRegression().fit(train[c], train["roi_bo"])
bat = [model.predict(b[c])[b["roi_bo"] == 1].mean().round(3)
for b in (test, moi.assign(hoi_cach_huy_sau_moc=0))]
print(len(c), "cột - test:", bat[0], "quý sau:", bat[1])KẾT QUẢ
5 cột - test: 0.067 quý sau: 0.111
6 cột - test: 0.664 quý sau: 0.007Trên tập test, model có cột rò bắt được 2 trong 3 khách rời bỏ, model sạch chỉ 1 trong 15: nhìn điểm test thì ai cũng chọn model rò. Sang quý sau, model rò gần như không bắt được ai, vì nó dựa hẳn vào một cột trống đúng lúc cần, còn model sạch vẫn bắt được khoảng 1 trong 9. Tỉ lệ đoán đúng không cho thấy chuyện này: quý sau có 16,9% khách bỏ gói, nên cả hai model đều đúng quanh 0,83, ngang cách đoán "không ai bỏ". Model sạch 5 cột cũng còn yếu; các bài precision, recall, F1 và sau đó đo và cải thiện đúng chỗ yếu này.
Điểm cao bất thường là dấu hiệu rò
Bạn hiếm khi biết trước cột nào rò. Dấu hiệu đầu tiên là một điểm số tốt hơn mức bài toán thường cho, hay một cột tương quan với nhãn mạnh vượt hẳn các cột khác. In tương quan của từng cột với roi_bo:
import pandas as pd
kh = pd.read_csv("hoi_vien.csv")
cot = ["so_lan_dang_nhap_30_ngay", "so_don_90_ngay",
"so_lan_khieu_nai", "ti_le_giao_tre", "tu_dong_gia_han",
"hoi_cach_huy_sau_moc", "roi_bo"]
print(kh[cot].corr()["roi_bo"].round(2))KẾT QUẢ
so_lan_dang_nhap_30_ngay -0.23
so_don_90_ngay -0.26
so_lan_khieu_nai 0.11
ti_le_giao_tre 0.10
tu_dong_gia_han -0.07
hoi_cach_huy_sau_moc 0.70
roi_bo 1.00
Name: roi_bo, dtype: float64Các cột hành vi trước mốc chỉ tương quan 0,07 đến 0,26 với nhãn; hoi_cach_huy_sau_moc lên 0,70. Tương quan cao chưa chứng minh rò, nhưng nó là lý do để hỏi: cột này được ghi lúc nào, và lúc dự đoán thật mình có nó không?
Rò qua tiền xử lý: fit trên cả bảng
Mọi bước học từ dữ liệu, không chỉ model, phải fit trên tập train. Ví dụ dưới là một bảng toàn số ngẫu nhiên: 100 khách, 5.000 cột, nhãn 0/1 bốc thăm ngẫu nhiên, nên chẳng model nào đoán đúng hơn 50% trên dữ liệu mới. SelectKBest(k=50) là bộ chọn 50 cột tương quan với nhãn mạnh nhất; nó fit như một model. Làm đúng, chọn cột chỉ trên tập train:
import numpy as np
from sklearn.feature_selection import SelectKBest
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
rng = np.random.default_rng(0)
X = rng.normal(size=(100, 5000))
y = rng.integers(0, 2, 100)
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.3, random_state=0)
chon = SelectKBest(k=50).fit(X_train, y_train)
model = LogisticRegression().fit(chon.transform(X_train), y_train)
diem = model.score(chon.transform(X_test), y_test)
print("Test:", round(diem, 3))KẾT QUẢ
Test: 0.533Điểm 0.533 là đúng sự thật: dữ liệu không có tín hiệu, model đoán gần như tung đồng xu. Đổi k=50 thành k=5 rồi chạy lại: điểm vẫn quanh mức đoán bừa, in Test: 0.4.
Trên dữ liệu không có chút tín hiệu nào, cách làm sai cho 0.9. Thử 200 hạt giống thì cách sai cho trung bình 0,95, chín phần mười số lần nằm giữa 0,87 và 1. Một model "gần 100%" có thể chỉ là con số của một bước chọn cột đã nhìn đáp án. Cách làm đúng ở ví dụ trước, qua cùng 200 hạt giống, cho trung bình 0,50, chín phần mười số lần giữa 0,33 và 0,67: 0.533 chỉ là kết quả của một lần chia.
Rò theo thời gian
Dữ liệu nối nhau theo ngày thì chia ngẫu nhiên cho model học cả những ngày sau tập test. Một quán bán qua app có số đơn tăng dần trong 200 ngày; từ ngày 150 một quán cạnh bên mở cửa và mỗi ngày mất khoảng 25 đơn. So hai cách chia, cách thứ hai dùng shuffle=False để giữ thứ tự, tập test là 50 ngày cuối:
import numpy as np
import pandas as pd
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split
rng = np.random.default_rng(3)
ngay = pd.DataFrame({"ngay": range(200)})
don = 40 + 0.2 * ngay["ngay"] + rng.normal(0, 4, 200)
don[ngay["ngay"] >= 150] -= 25
for xao in [True, False]:
X_train, X_test, y_train, y_test = train_test_split(
ngay, don, test_size=0.25, shuffle=xao, random_state=0)
doan = LinearRegression().fit(X_train, y_train).predict(X_test)
sai = (y_test - doan).abs().mean()
print("xáo" if xao else "theo thời gian", round(sai, 1))KẾT QUẢ
xáo 7.1
theo thời gian 24.9Số in ra cho biết trung bình mỗi ngày test, dự đoán lệch số đơn thật bao nhiêu. Chia xáo, model lệch trung bình 7,1 đơn: trông ổn, vì ngày test nằm xen giữa những ngày đã học. Chia theo thời gian, model chưa từng thấy ngày nào sau mốc 150 và lệch trung bình 24,9 đơn, gần đúng 25 đơn mà quán mất mỗi ngày. Cách thứ hai mới giống lúc dùng thật: hôm nay chỉ biết quá khứ.
Kiểm tra nhanh
Cần dự đoán vào ngày 15/06 khách nào sẽ bỏ gói trong 60 ngày tới. Cột nào gây rò nhãn?
- Số đơn trong 90 ngày trước 15/06
- Số lần gọi tổng đài xin hoàn tiền trong tháng 7
- Tuổi của khách
Những dấu hiệu nào nên khiến bạn nghi có rò rỉ dữ liệu?
- Một cột tương quan với nhãn 0,7 trong khi các cột khác dưới 0,3
- Điểm test cao hơn hẳn mức bài toán tương tự thường đạt
- Điểm train cao hơn điểm test một chút
- Model là
LogisticRegression
Trong khung bẫy chọn cột, vì sao bảng toàn số ngẫu nhiên lại cho điểm test
0.9?- Vì 5.000 cột chắc chắn có tín hiệu thật
- Vì
SelectKBestđã fit trên cả bảng, kể cả nhãn của những dòng sau này thành tập test - Vì
random_state=0cho lần chia may
Sau
from sklearn.model_selection import train_test_split,train_test_split(list(range(8)), test_size=0.25, shuffle=False)[1]cho kết quả gì?[0, 1][3, 6][6, 7]
Bài tập
Chia bảng theo thời gian
bang là một DataFrame có cột thời gian tên cot_thoi_gian (số tháng, hay ngày viết dạng "2026-06-15"), các dòng không theo thứ tự. Viết thân hàm chia_theo_thoi_gian(bang, cot_thoi_gian, ti_le_test) chia bảng sao cho:
tập test là
ti_le_testsố dòng có thời gian muộn nhất, tập train là phần còn lại;không dòng nào của train muộn hơn một dòng của test;
mỗi phần giữ mọi cột và index của
bang.
Hàm không sửa bang của nơi gọi.
Trả về: train và test theo thứ tự đó, một list hay một tuple đều được.
import pandas as pd
from sklearn.model_selection import train_test_split
def chia_theo_thoi_gian(bang, cot_thoi_gian, ti_le_test):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Rò rỉ dữ liệu: lúc học model thấy thông tin mà lúc dùng thật không có.
Rò nhãn: feature được ghi sau thời điểm dự đoán; model dựa vào nó sụp khi cột đó trống.
Điểm test đẹp bất thường hay một cột tương quan vượt hẳn là dấu hiệu cần hỏi cột được ghi lúc nào.
Mọi bước học từ dữ liệu (chọn cột, chuẩn hóa, điền ô thiếu) fit trên train, rồi mới transform test.
Dữ liệu theo thời gian: sắp theo thời gian, chia với
shuffle=Falseđể test đứng sau train.
Câu hỏi thường gặp
Rò rỉ dữ liệu khác overfitting thế nào?
Overfitting là model học thuộc nhiễu của tập train, nên điểm test thấp hơn điểm train. Rò rỉ thì ngược lại: điểm test cao giả, vì tập test đã lọt vào việc học. Bài overfitting và underfitting nói kỹ trường hợp thứ nhất.
Chuẩn hóa dữ liệu trước khi chia có gây rò không?
Có, theo cùng cơ chế với bộ chọn cột: trung bình và độ lệch chuẩn tính cả trên dòng test. Mức ảnh hưởng thì nhỏ hơn ví dụ chọn cột nhiều. Với năm cột hành vi của bảng 3.000 khách, fit scaler trên cả bảng hay chỉ trên train cho cùng điểm test ở 197 trong 200 cách chia; ba lần còn lại lệch một khách trên 750. Nhỏ, nhưng vẫn là sai quy trình. Bài StandardScaler chỉ cách fit đúng chỗ, và bài pipeline gói các bước để khỏi quên.
Làm sao tìm cột rò trong một bảng nhiều cột?
Fit model, xem điểm có đẹp bất thường không; in tương quan của từng cột với nhãn; rồi hỏi người làm ra dữ liệu từng cột được ghi lúc nào. Cột nào chỉ có sau thời điểm dự đoán thì bỏ, kể cả khi nó làm điểm tụt.
Có dữ liệu theo thời gian thì có dùng train_test_split được không?
Được, với shuffle=False sau khi sắp các dòng theo thời gian, như bài tập trên. Nhiều dòng của cùng một khách cũng cần chia theo khách, không theo dòng, vì cùng một lý do: test phải là thứ model chưa từng thấy, như bài train, validation, test nói.
Chủ đề
Dữ liệu của bài
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.