Bỏ qua đến nội dung chính
Mục lục

Dự án so sánh model trên cùng một cách chia cross validation

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 10/10 · Chương 6

Cây quyết định, Random Forest và boosting

  • 10 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Dự án so sánh model này hỏi một câu mà bảng cross validation không tự trả lời được: thứ hạng đo trên dữ liệu kỳ này có còn đúng khi model gặp hội viên của kỳ sau không? Bốn model (logistic regression, cây đã tỉa, random forest, gradient boosting) được chấm trên cùng các fold của hoi_vien.csv, rồi fit trên cả kỳ này và chấm một lần trên hoi_vien_ky_sau.csv. Cuối trang bạn tự viết hàm tóm tắt hiệu của từng model so với một model làm mốc.

Cần biết trước: tỉa cây, random forest, HistGradientBoosting và chọn model.

Chương trình sẽ làm gì

Hai file là số giả lập của AIDev, cùng các cột. hoi_vien.csv có 3.000 thành viên gói Sóc Vàng của kỳ này, nhãn roi_bo là 1 khi người đó bỏ gói trong 60 ngày sau mốc. hoi_vien_ky_sau.csv có 800 thành viên của kỳ sau, đóng vai dữ liệu chưa có lúc chọn model. Chương trình dùng 10 cột số đầu tiên, giống bài chọn model. Trang dùng ba fold thay cho năm, và rừng, boosting ít cây, để mỗi khối chạy kịp trên trình duyệt.

Chương trình có một dict model và hai lần duyệt dict đó: lần đầu chấm cross validation trên kỳ này, lần sau fit trên cả kỳ này rồi chấm kỳ sau. Thứ tự dựng: bảng điểm theo fold, hiệu theo fold của hai cặp model, điểm kỳ sau, đặt hai bảng cạnh nhau, cuối cùng ghép lại.

Bước 1: Bảng điểm theo fold của kỳ này

Mỗi model là một cột, mỗi fold là một dòng. Cùng biến folds cho cả bốn model, để mỗi dòng là một cuộc so trên cùng dữ liệu. Khối này fit 12 lần nên trang chỉ hiển thị; chương trình ở bước 5 chạy lại nó trên máy:

python
import pandas as pd
from sklearn.ensemble import HistGradientBoostingClassifier, RandomForestClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import StratifiedKFold, cross_val_score
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.tree import DecisionTreeClassifier

kh = pd.read_csv("hoi_vien.csv")
y = kh.pop("roi_bo")
X = kh.select_dtypes("number").iloc[:, :10]
folds = StratifiedKFold(3, shuffle=True, random_state=0)
cac_model = {
    "logistic": make_pipeline(StandardScaler(), LogisticRegression()),
    "cây tỉa": DecisionTreeClassifier(min_samples_leaf=40, random_state=0),
    "rừng 8 cây": RandomForestClassifier(n_estimators=8, min_samples_leaf=20,
                                         max_samples=0.5, random_state=0),
    "boosting 15 cây": HistGradientBoostingClassifier(
        max_iter=15, max_leaf_nodes=8, learning_rate=0.2, random_state=0)}
diem = pd.DataFrame({t: cross_val_score(m, X, y, cv=folds, scoring="roc_auc")
                     for t, m in cac_model.items()})
print(diem.to_string(float_format="{:.3f}".format))
print(diem.agg(["mean", "std"]).T.to_string(float_format="{:.3f}".format))

Kết quả trên máy (scikit-learn 1.8.0, pandas 3.0.2):

Fold

Logistic

Cây tỉa

Rừng 8 cây

Boosting 15 cây

0

0,783

0,728

0,755

0,768

1

0,808

0,754

0,792

0,804

2

0,781

0,712

0,752

0,756

Trung bình

0,791

0,731

0,767

0,776

Độ lệch chuẩn

0,015

0,021

0,022

0,025

max_samples=0.5 cho mỗi cây của rừng học trên một nửa số dòng, và rừng lấy trung bình xác suất của tám cây. Fold 1 dễ với cả bốn model, fold 2 khó với cả bốn: độ lệch chuẩn ở cột std (0,015 tới 0,025) phần lớn là chuyện fold khó hay dễ, không phải chuyện model.

Với min_samples_leaf=5 thay cho 40, cột cây tỉa còn 0,653, 0,665 và 0,644, vì lá quá nhỏ thì cây học cả nhiễu.

Bước 2: Hiệu theo fold của hai cặp model

Bảng của bước 1 đã có đủ số để so từng cặp: trừ hai cột cho nhau theo từng dòng. Phép trừ bỏ đi phần fold khó hay dễ chung của hai model, nên hiệu theo fold dao động ít hơn hẳn từng cột. Khối dưới chép lại bảng và so hai cặp:

python
import pandas as pd

diem = pd.DataFrame({"logistic": [0.783, 0.808, 0.781],
                     "cây tỉa": [0.728, 0.754, 0.712],
                     "rừng 8 cây": [0.755, 0.792, 0.752],
                     "boosting 15 cây": [0.768, 0.804, 0.756]})
for a, b in [("boosting 15 cây", "rừng 8 cây"), ("logistic", "boosting 15 cây")]:
    d = diem[a] - diem[b]
    print(a, "-", b, ":", d.round(3).tolist(), "| s_d:", round(d.std(), 3))

KẾT QUẢ

boosting 15 cây - rừng 8 cây : [0.013, 0.012, 0.004] | s_d: 0.005
logistic - boosting 15 cây : [0.015, 0.004, 0.025] | s_d: 0.011

Cả hai cặp cùng dấu ở cả ba fold. Cặp đầu hơn nhau trung bình 0,010 với s_d 0,005; cặp sau 0,015 với s_d 0,011. Ba fold là ít, nên đo lại với 200 hạt giống khác cho folds (chạy trên máy): boosting hơn rừng đủ ba fold ở 103 lần và có trung bình cao hơn ở 183 lần; logistic hơn boosting đủ ba fold ở 157 lần và có trung bình cao hơn ở cả 200 lần. Hạt giống 0 của trang là một cách chia bình thường cho cả hai cặp.

Bước 3: Chấm một lần trên dữ liệu kỳ sau

Cross validation chỉ chia lại dữ liệu kỳ này. Để biết model làm ăn thế nào với hội viên chưa có lúc chọn, fit mỗi model trên cả 3.000 dòng kỳ này rồi chấm một lần trên 800 dòng của hoi_vien_ky_sau.csv, cùng 10 cột:

python
import pandas as pd
from sklearn.ensemble import HistGradientBoostingClassifier, RandomForestClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_auc_score
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.tree import DecisionTreeClassifier

kh = pd.read_csv("hoi_vien.csv")
y = kh.pop("roi_bo")
X = kh.select_dtypes("number").iloc[:, :10]
ks = pd.read_csv("hoi_vien_ky_sau.csv")
y_sau = ks.pop("roi_bo")
X_sau = ks[X.columns]
cac_model = {
    "logistic": make_pipeline(StandardScaler(), LogisticRegression()),
    "cây tỉa": DecisionTreeClassifier(min_samples_leaf=40, random_state=0),
    "rừng 8 cây": RandomForestClassifier(n_estimators=8, min_samples_leaf=20,
                                         max_samples=0.5, random_state=0),
    "boosting 15 cây": HistGradientBoostingClassifier(
        max_iter=15, max_leaf_nodes=8, learning_rate=0.2, random_state=0)}
print(len(ks), "hội viên kỳ sau, tỉ lệ rời bỏ", round(y_sau.mean(), 3))
for t, m in cac_model.items():
    p = m.fit(X, y).predict_proba(X_sau)[:, 1]
    print(t, round(roc_auc_score(y_sau, p), 3))

KẾT QUẢ

800 hội viên kỳ sau, tỉ lệ rời bỏ 0.169
logistic 0.745
cây tỉa 0.724
rừng 8 cây 0.727
boosting 15 cây 0.742

ks[X.columns] lấy đúng các cột model đã học, theo đúng thứ tự. Kỳ sau có tỉ lệ rời bỏ 16,9%, thấp hơn 19,8% của kỳ này; ROC-AUC chỉ đo thứ tự xếp hạng nên vẫn so được giữa hai kỳ.

Bước 4: Đặt hai bảng cạnh nhau

Model

Trung bình CV kỳ này

Kỳ sau

Kỳ sau trừ CV

Logistic

0,791

0,745

−0,046

Boosting 15 cây

0,776

0,742

−0,034

Rừng 8 cây

0,767

0,727

−0,039

Cây tỉa

0,731

0,724

−0,007

Hai điều đọc được, một giữ và một không:

  • Thứ tự giữ. Bốn model đứng đúng thứ tự cũ.

  • Con số và khoảng cách không giữ. Cả bốn model thấp hơn trung bình CV của chính nó, từ 0,007 (cây tỉa) tới 0,046 (logistic). Rừng hơn cây tỉa 0,035 ở CV nhưng chỉ 0,003 ở kỳ sau; logistic hơn boosting 0,015 ở CV, còn 0,003 ở kỳ sau. Chỉ boosting hơn rừng là gần như giữ nguyên (0,010 ở CV, 0,014 ở kỳ sau).

800 dòng cũng chỉ là một mẫu. Rút lại 200 lần 800 dòng của kỳ sau (có hoàn lại, chạy trên máy), điểm của một model dao động với độ lệch chuẩn 0,024 tới 0,027. Boosting hơn rừng ở 92% số lần; logistic hơn boosting ở khoảng 60%; rừng hơn cây tỉa ở khoảng một nửa. Nghĩa là kỳ sau chỉ còn tách được một trong ba cặp liền nhau, dù ở CV kỳ này cả ba cặp đều cùng dấu ở mọi fold.

Bước 5: Ghép thành chương trình hoàn chỉnh

Chương trình dưới đọc hai file, chấm cross validation trên cùng folds, in bảng điểm theo fold và hiệu theo fold của boosting với rừng, rồi fit trên cả kỳ này và in điểm kỳ sau cạnh trung bình CV. Nó fit 16 lần nên trang chỉ hiển thị; chép cả khối vào máy để chạy một lượt:

python
import pandas as pd
from sklearn.ensemble import HistGradientBoostingClassifier, RandomForestClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_auc_score
from sklearn.model_selection import StratifiedKFold, cross_val_score
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.tree import DecisionTreeClassifier

kh = pd.read_csv("hoi_vien.csv")
y = kh.pop("roi_bo")
X = kh.select_dtypes("number").iloc[:, :10]
ks = pd.read_csv("hoi_vien_ky_sau.csv")
y_sau = ks.pop("roi_bo")
X_sau = ks[X.columns]
folds = StratifiedKFold(3, shuffle=True, random_state=0)
cac_model = {
    "logistic": make_pipeline(StandardScaler(), LogisticRegression()),
    "cây tỉa": DecisionTreeClassifier(min_samples_leaf=40, random_state=0),
    "rừng 8 cây": RandomForestClassifier(n_estimators=8, min_samples_leaf=20,
                                         max_samples=0.5, random_state=0),
    "boosting 15 cây": HistGradientBoostingClassifier(
        max_iter=15, max_leaf_nodes=8, learning_rate=0.2, random_state=0)}

diem = pd.DataFrame({t: cross_val_score(m, X, y, cv=folds, scoring="roc_auc")
                     for t, m in cac_model.items()})
print(diem.to_string(float_format="{:.3f}".format))
d = diem["boosting 15 cây"] - diem["rừng 8 cây"]
print("boosting - rừng:", d.round(3).tolist(), "| s_d:", round(d.std(), 3))
ky_sau = {t: roc_auc_score(y_sau, m.fit(X, y).predict_proba(X_sau)[:, 1])
          for t, m in cac_model.items()}
bang = pd.DataFrame({"cv": diem.mean(), "ky_sau": pd.Series(ky_sau)})
print(bang.to_string(float_format="{:.3f}".format))

Trên máy, chương trình in đúng bảng điểm của bước 1, dòng boosting - rừng: [0.013, 0.012, 0.004] | s_d: 0.005 của bước 2, rồi bảng hai cột cv và ky_sau có cùng số với bảng ở bước 4.

Câu trả lời cho câu hỏi đầu trang, với hai bảng này: thứ tự của cross validation kỳ này vẫn đúng ở kỳ sau, nhưng khoảng cách thì không chuyển sang được. Rừng hơn cây tỉa ở cả ba fold và ở 194 trên 200 cách chia, vậy mà ở kỳ sau hai model gần như ngang nhau; cây tỉa mất ít điểm nhất khi đổi kỳ. Một chênh lệch đo bằng CV trên dữ liệu kỳ này nói model nào hơn trên kỳ này. Muốn biết nó còn hơn bao nhiêu với hội viên mới, phải chấm trên dữ liệu mới, một lần, và đọc kèm độ dao động của chính mẫu đó.

Với max_iter=40 thay cho 15, dòng boosting - rừng thành [0.012, 0.011, -0.004] | s_d: 0.009: có một fold đổi dấu.

Bài tập

Tóm tắt hiệu của từng model so với mốc

Bảng diem của chương trình có mỗi cột một model, mỗi dòng một fold. Viết thân hàm so_voi_moc(diem, moc): với mỗi cột khác cột moc, lấy cột đó trừ cột moc theo từng fold, rồi tính trung bình các hiệu và đếm số fold có hiệu lớn hơn hẳn 0. Giữ thứ tự cột của bảng. Hàm không sửa bảng diem của nơi gọi.

Trả về: một dict từ tên model tới cặp (hiệu trung bình là một float, số fold thắng là một int).

Ví dụ với bảng điểm của chương trình và moc = "cây tỉa", phần tử của rừng là khoảng (0.035, 3): rừng hơn cây tỉa ở cả ba fold.

python
import pandas as pd

def so_voi_moc(diem, moc):
    pass  # Viết thân hàm thay cho dòng này

Thử mở rộng

Các hướng dưới làm được ngay với chương trình trên:

  • Đổi StratifiedKFold(3, ...) thành 5 fold và tăng rừng lên 100 cây trên máy của bạn: khoảng cách giữa rừng và cây tỉa ở kỳ sau có rộng ra không?

  • Gọi so_voi_moc(diem, "logistic") trên bảng của chương trình để xem model nào thua logistic ở fold nào.

  • Chia 800 dòng kỳ sau làm ba phần bằng StratifiedKFold(3, shuffle=True, random_state=0).split(X_sau, y_sau), chấm bốn model đã fit trên từng phần, rồi xem hiệu boosting trừ rừng có cùng dấu ở cả ba phần không.

  • Thêm cột goi và kenh_dang_ky dạng category cho boosting với categorical_features="from_dtype", như bài HistGradientBoosting.

Chủ đề

dự án so sánh model

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập