Dự án phát hiện data leakage: cột biết trước tương lai
Bài 14/14 · Chương 3
Đánh giá model
- 7 phút
- Cơ bản
- Python 3.14
- Cập nhật
Trong bài này · 9
Dự án phát hiện data leakage này bắt đầu từ một model trông rất đẹp: đoán khách sắp bỏ gói thành viên với accuracy hơn 90% và AUC hơn 0,9, cao hơn hẳn những gì các bài trước đạt được. Bạn sẽ lần ra cột gây ra con số đó, viết lại phần đánh giá cho sạch bằng pipeline và cross validation, rồi kiểm cả hai con số trên dữ liệu quý sau.
Cần biết trước: data leakage, pipeline và ROC-AUC.
Chương trình sẽ làm gì
File hoi_vien.csv là số giả lập của AIDev: 3.000 thành viên gói Sóc Vàng chụp ở mốc 15/06/2026, nhãn roi_bo là 1 khi khách bỏ gói trong 60 ngày sau mốc. File hoi_vien_ky_sau.csv là 800 thành viên của quý sau. Chương trình trả lời bốn câu:
Một model dựng nhanh trên mọi cột số đạt bao nhiêu?
Cột nào làm điểm số đẹp bất thường?
Đánh giá sạch, bỏ cột rò và để pipeline lo bước chuẩn hóa, cho bao nhiêu?
Trên khách quý sau, điểm nào còn đứng?
Thứ tự dựng: dựng model nhanh, đọc tương quan, bỏ từng cột, viết lại đánh giá, kiểm trên quý sau, cuối cùng ghép thành một chương trình.
Bước 1: Dựng nhanh một model trên mọi cột số
Lấy mọi cột số trừ nhãn và cột diem_danh_gia_tb có ô trống, rồi fit một pipeline:
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_auc_score
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
kh = pd.read_csv("hoi_vien.csv")
y = kh.pop("roi_bo")
X = kh.select_dtypes("number").drop(columns=["diem_danh_gia_tb"])
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.25, random_state=0, stratify=y)
pipe = make_pipeline(StandardScaler(), LogisticRegression())
p = pipe.fit(X_train, y_train).predict_proba(X_test)[:, 1]
print("Accuracy:", round(pipe.score(X_test, y_test), 3))
print("AUC:", round(roc_auc_score(y_test, p), 3))KẾT QUẢ
Accuracy: 0.909
AUC: 0.916Accuracy 0,909 so với 0,80 của model lười, AUC 0,916 so với khoảng 0,76 của cùng pipeline ở bài ROC-AUC. Nhảy vọt như vậy chỉ nhờ thêm một cột là chuyện hiếm; điểm đẹp bất thường là lý do để kiểm tra trước khi vui.
Bước 2: Đọc tương quan của từng cột với nhãn
In hệ số tương quan của mọi cột với roi_bo, xếp tăng dần, như bài tương quan đã đọc bằng hình:
import pandas as pd
kh = pd.read_csv("hoi_vien.csv")
y = kh.pop("roi_bo")
X = kh.select_dtypes("number").drop(columns=["diem_danh_gia_tb"])
print(X.corrwith(y).round(2).sort_values())KẾT QUẢ
so_don_90_ngay -0.26
so_lan_dang_nhap_30_ngay -0.23
chi_tieu_90_ngay_nghin -0.21
tu_dong_gia_han -0.07
so_thang_su_dung -0.07
tuoi -0.01
ti_le_dung_ma_giam 0.10
ti_le_giao_tre 0.10
so_lan_khieu_nai 0.11
so_ngay_tu_lan_mua_cuoi 0.34
hoi_cach_huy_sau_moc 0.70
dtype: float64Mười cột hành vi trước mốc có tương quan từ −0,26 tới 0,34. Cột hoi_cach_huy_sau_moc đứng riêng ở 0,70. Tên cột đã nói hết: số lần hỏi cách hủy gói sau mốc dự đoán. Còn so_ngay_tu_lan_mua_cuoi ở 0,34 cũng cao, nhưng nó được ghi trước mốc nên hợp lệ.
Bước 3: Bỏ từng cột, xem điểm tụt bao nhiêu
Tương quan chỉ nhìn từng cột riêng lẻ. Cách hỏi thẳng model là bỏ một cột, chấm lại bằng cross validation 3 fold, rồi xem AUC trung bình tụt bao nhiêu:
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_val_score
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
kh = pd.read_csv("hoi_vien.csv")
y = kh.pop("roi_bo")
X = kh.select_dtypes("number").drop(columns=["diem_danh_gia_tb"])
pipe = make_pipeline(StandardScaler(), LogisticRegression())
def auc(bang):
d = cross_val_score(pipe, bang, y, cv=3, scoring="roc_auc")
return d.mean()
du = auc(X)
for bo in ["so_ngay_tu_lan_mua_cuoi", "hoi_cach_huy_sau_moc"]:
print(bo, round(du - auc(X.drop(columns=bo)), 3))KẾT QUẢ
so_ngay_tu_lan_mua_cuoi 0.009
hoi_cach_huy_sau_moc 0.146Bỏ so_ngay_tu_lan_mua_cuoi, AUC tụt chưa tới 0,01; bỏ cột hỏi cách hủy, AUC tụt 0,146. Gần như toàn bộ phần "đẹp" của model đến từ một cột không thể có vào ngày cần dự đoán. Bỏ từng cột rồi chấm lại là một cách kiểm tra rò rỉ dữ liệu: cột nào một mình gánh gần hết điểm số thì phải hỏi nó được ghi lúc nào.
Bước 4: Viết lại đánh giá cho sạch
Bỏ cột rò, giữ scaler trong pipeline để mỗi fold tự học thước đo trên phần train, rồi chấm bằng cross validation 5 fold:
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import StratifiedKFold, cross_val_score
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
kh = pd.read_csv("hoi_vien.csv")
y = kh.pop("roi_bo")
X = kh.select_dtypes("number").drop(
columns=["diem_danh_gia_tb", "hoi_cach_huy_sau_moc"])
pipe = make_pipeline(StandardScaler(), LogisticRegression())
cv = StratifiedKFold(5, shuffle=True, random_state=0)
d = cross_val_score(pipe, X, y, cv=cv, scoring="roc_auc")
print(round(d.mean(), 3), "±", round(d.std(ddof=1), 3))KẾT QUẢ
0.793 ± 0.014AUC sạch khoảng 0,79, thấp hơn con số 0,92 ban đầu nhưng là con số dám đem đi hứa. Một lỗi thường đi kèm là chuẩn hóa cả bảng bằng StandardScaler().fit_transform(X) trước khi chia; trên bảng này mức chênh nhỏ, cỡ một phần vạn AUC, nhưng thước đo đã nhìn tập test. Pipeline làm việc đó đúng chỗ mà bạn không phải nhớ.
Bước 5: Kiểm lời hứa trên khách quý sau
Vào ngày dự đoán của quý sau, chưa ai hỏi cách hủy, nên cột đó bằng 0 cho mọi khách. Fit hai model trên cả 3.000 khách, một có cột rò, một đã bỏ, rồi chấm cả hai trên 800 khách quý sau trong đúng điều kiện ấy:
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_auc_score
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
kh = pd.read_csv("hoi_vien.csv")
y = kh.pop("roi_bo")
X = kh.select_dtypes("number").drop(columns=["diem_danh_gia_tb"])
moi = pd.read_csv("hoi_vien_ky_sau.csv")
X_moi = moi[X.columns].assign(hoi_cach_huy_sau_moc=0)
for ten, cot in [("có cột rò:", X.columns),
("đã bỏ cột rò:", X.columns.drop("hoi_cach_huy_sau_moc"))]:
pipe = make_pipeline(StandardScaler(), LogisticRegression())
p = pipe.fit(X[cot], y).predict_proba(X_moi[cot])[:, 1]
print("AUC quý sau,", ten, round(roc_auc_score(moi["roi_bo"], p), 3))KẾT QUẢ
AUC quý sau, có cột rò: 0.742
AUC quý sau, đã bỏ cột rò: 0.745Ba con số kể hai câu chuyện khác nhau. Từ 0,92 trên tập test xuống 0,79 khi đánh giá sạch ở bước 4: đoạn đó là cái giá của cột rò. Từ 0,79 xuống khoảng 0,74 trên quý sau: đoạn này cả model sạch cũng chịu (0,745), vì khách quý sau không giống hệt khách quý này. Chia ngẫu nhiên trong một quý không đo được kiểu thay đổi đó; chỉ một tập chấm lấy từ thời điểm sau mới đo được, như bài data leakage đã nói về dữ liệu theo thời gian. Model có cột rò còn tệ hơn một chút, dù nó đã "biết" nhãn lúc học.
Bước 6: Ghép thành chương trình hoàn chỉnh
Chương trình dưới đọc hai file một lần và in bốn dòng: điểm của model rò trên tập test, cột tương quan mạnh nhất, điểm sạch qua cross validation, và điểm của hai model trên quý sau:
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_auc_score
from sklearn.model_selection import (
StratifiedKFold, cross_val_score, train_test_split)
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
RO = "hoi_cach_huy_sau_moc"
kh = pd.read_csv("hoi_vien.csv")
moi = pd.read_csv("hoi_vien_ky_sau.csv")
y = kh.pop("roi_bo")
X = kh.select_dtypes("number").drop(columns=["diem_danh_gia_tb"])
def tao_pipe():
return make_pipeline(StandardScaler(), LogisticRegression())
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.25, random_state=0, stratify=y)
ro = tao_pipe().fit(X_train, y_train)
auc_test = roc_auc_score(y_test, ro.predict_proba(X_test)[:, 1])
print("1. Model có cột rò, AUC trên test:", round(auc_test, 3))
tq = X.corrwith(y).abs().sort_values(ascending=False)
print("2. Tương quan mạnh nhất:", tq.index[0], round(tq.iloc[0], 2))
cv = StratifiedKFold(5, shuffle=True, random_state=0)
d = cross_val_score(tao_pipe(), X.drop(columns=[RO]), y, cv=cv,
scoring="roc_auc")
print("3. Đánh giá sạch:", round(d.mean(), 3), "±",
round(d.std(ddof=1), 3))
X_moi = moi[X.columns].assign(**{RO: 0})
auc_moi = []
for c in (X.columns, X.columns.drop(RO)):
p = tao_pipe().fit(X[c], y).predict_proba(X_moi[c])[:, 1]
auc_moi.append(round(roc_auc_score(moi["roi_bo"], p), 3))
print("4. Quý sau, có cột rò và đã bỏ:", auc_moi)KẾT QUẢ
1. Model có cột rò, AUC trên test: 0.916
2. Tương quan mạnh nhất: hoi_cach_huy_sau_moc 0.7
3. Đánh giá sạch: 0.793 ± 0.014
4. Quý sau, có cột rò và đã bỏ: [0.742, 0.745]Bài tập
Đo AUC tụt bao nhiêu khi bỏ từng cột
X_train, X_test là hai DataFrame cột số, y_train, y_test là nhãn 0/1. Viết thân hàm muc_tut_khi_bo(X_train, X_test, y_train, y_test):
fit
make_pipeline(StandardScaler(), LogisticRegression())trên tập train với mọi cột, tính AUC trên tập test bằngpredict_proba(...)[:, 1];với mỗi cột, fit lại một pipeline mới trên tập train đã bỏ cột đó, tính AUC trên tập test cũng bỏ cột đó;
mức tụt của một cột là AUC đầy đủ trừ AUC khi bỏ cột.
Hàm không sửa các bảng của nơi gọi.
Trả về: một dict với khóa là tên cột, giá trị là mức tụt, một float; mức âm nghĩa là bỏ cột còn tốt hơn.
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_auc_score
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
def muc_tut_khi_bo(X_train, X_test, y_train, y_test):
pass # Viết thân hàm thay cho dòng nàyThử mở rộng
Các hướng dưới làm được ngay với chương trình trên:
Gọi
muc_tut_khi_botrên cả mười một cột số ở bước 1, rồi xếp kết quả giảm dần để thấy cột rò đứng tách hẳn.Thay
LogisticRegression()bằng một cây quyết định và xem cột rò có còn làm điểm nhảy như vậy không.Ở bước 5, thay vì đặt cột rò bằng 0, điền nó bằng giá trị thật của quý sau (
moi[RO]) và xem model rò "đẹp" trở lại ra sao: đó là con số không bao giờ có được vào ngày dự đoán.Vẽ learning curve của pipeline sạch như bài learning curve để xem thêm khách có giúp không.
Chấm pipeline sạch bằng
scoring="f1"thay cho AUC, như bài cross validation.
Chủ đề
Dữ liệu của bài
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.