Bỏ qua đến nội dung chính
Mục lục

Machine learning algorithms: chọn model cho dữ liệu bảng

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 8/10 · Chương 6

Cây quyết định, Random Forest và boosting

  • 10 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Với dữ liệu bảng (mỗi dòng một khách, mỗi cột một đặc điểm), các thuật toán machine learning hay dùng gói gọn trong một danh sách ngắn. Đó là logistic regression, KNN, SVM, Naive Bayes, cây quyết định, random forest và gradient boosting. Bài này chạy cả danh sách đó trên cùng một bộ fold, rồi so từng cặp model bằng hiệu điểm ở từng fold, thay cho việc đặt hai con số trung bình cạnh nhau.

Cần biết trước: baseline, logistic regression và cross validation.

Thứ tự thử model cho một bảng mới

Thứ tự

Model

Cần chuẩn bị

Thử để biết điều gì

1

DummyClassifier (baseline)

không

mức sàn: model nào không vượt được thì vô dụng

2

Logistic regression

chuẩn hóa, mã hóa cột chữ, điền ô trống

quan hệ gần tuyến tính đã đủ chưa

3

Naive Bayes, KNN, SVM

chuẩn hóa (KNN, SVM)

có cấu trúc nào khác mà logistic bỏ sót không

4

Cây quyết định đã tỉa

không cần chuẩn hóa

có luật dễ đọc nào đủ tốt không

5

Random forest

không cần chuẩn hóa

quan hệ cong, tương tác giữa cột có đáng kể không

6

HistGradientBoosting, LightGBM

cột category, ô trống dùng trực tiếp

còn bớt được sai số nữa không

Càng xuống dưới, model càng nhiều tham số phải chọn và càng tốn thời gian fit, nên một con số đẹp ở dòng dưới chỉ có nghĩa khi đặt cạnh các dòng trên. Điều kiện quan trọng hơn thứ tự: mọi model chấm trên cùng một bộ fold, để mỗi fold là một cuộc so cặp.

Chạy năm model đầu trên cùng các fold

StratifiedKFold(5, shuffle=True, random_state=0) cố định cách chia: model nào cũng gặp đúng năm bộ train và validation như nhau. Bảng hoi_vien.csv có 3.000 hội viên, dùng 10 cột số. Bước 1 và 2:

python
import pandas as pd
from sklearn.dummy import DummyClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import StratifiedKFold, cross_val_score
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
kh = pd.read_csv("hoi_vien.csv")
y = kh.pop("roi_bo")
X = kh.select_dtypes("number").iloc[:, :10]
folds = StratifiedKFold(5, shuffle=True, random_state=0)
lr = make_pipeline(StandardScaler(), LogisticRegression())
for ten, m in [("dummy", DummyClassifier()), ("logistic", lr)]:
    d = cross_val_score(m, X, y, cv=folds, scoring="roc_auc")
    print(ten, f"{d.mean():.3f} ± {d.std(ddof=1):.3f}", d.round(3))

KẾT QUẢ

dummy 0.500 ± 0.000 [0.5 0.5 0.5 0.5 0.5]
logistic 0.793 ± 0.014 [0.783 0.797 0.813 0.794 0.777]

Mỗi dòng in trung bình ROC-AUC, độ lệch chuẩn giữa 5 fold và điểm của từng fold. Logistic vượt xa mức sàn 0,5. Bước 3 và 4 với cùng folds:

python
import pandas as pd
from sklearn.model_selection import StratifiedKFold, cross_val_score
from sklearn.naive_bayes import GaussianNB
from sklearn.tree import DecisionTreeClassifier
kh = pd.read_csv("hoi_vien.csv")
y = kh.pop("roi_bo")
X = kh.select_dtypes("number").iloc[:, :10]
folds = StratifiedKFold(5, shuffle=True, random_state=0)
cay = DecisionTreeClassifier(min_samples_leaf=40, random_state=0)
for ten, m in [("naive bayes", GaussianNB()), ("cây", cay)]:
    d = cross_val_score(m, X, y, cv=folds, scoring="roc_auc")
    print(ten, f"{d.mean():.3f} ± {d.std(ddof=1):.3f}", d.round(3))

KẾT QUẢ

naive bayes 0.766 ± 0.020 [0.752 0.746 0.796 0.773 0.761]
cây 0.748 ± 0.026 [0.752 0.787 0.749 0.735 0.716]

Đổi min_samples_leaf=40 thành min_samples_leaf=5 rồi chạy lại: dòng cuối in cây 0.659 ± 0.031 [0.621 0.7 0.677 0.638 0.659], đúng điều bài tỉa cây đã chỉ ra: lá quá nhỏ thì cây học thuộc.

Các model nặng hơn (KNN, SVM, rừng 200 cây, boosting 200 cây) cần vài giây cho 5 fold, quá ngân sách một khối trên trang. Code dưới chỉ hiển thị: nó chạy trên máy, nối tiếp khối bước 1 và 2 (dùng lại X, y, folds, make_pipeline, StandardScaler, cross_val_score), với lightgbm 4.6.0:

python
import lightgbm as lgb
from sklearn.ensemble import HistGradientBoostingClassifier as HGB
from sklearn.ensemble import RandomForestClassifier
from sklearn.neighbors import KNeighborsClassifier
from sklearn.svm import SVC
cac_model = {
    "knn 25": make_pipeline(StandardScaler(), KNeighborsClassifier(25)),
    "svm rbf": make_pipeline(StandardScaler(), SVC()),
    "rừng 200 cây": RandomForestClassifier(
        200, min_samples_leaf=10, random_state=0),
    "hgb": HGB(max_iter=200, learning_rate=0.05, max_leaf_nodes=15,
               random_state=0),
    "lightgbm": lgb.LGBMClassifier(n_estimators=200, learning_rate=0.05,
        num_leaves=15, random_state=0, verbose=-1)}
for ten, m in cac_model.items():
    d = cross_val_score(m, X, y, cv=folds, scoring="roc_auc")
    print(ten, f"{d.mean():.3f} ± {d.std(ddof=1):.3f}", d.round(3))

Kết quả khi chạy trên máy:

Model

ROC-AUC trung bình

Độ lệch chuẩn giữa 5 fold

Điểm từng fold

KNN, 25 láng giềng

0,755

0,024

0,738; 0,752; 0,794; 0,758; 0,734

SVM nhân rbf

0,719

0,030

0,695; 0,720; 0,770; 0,707; 0,704

Rừng 200 cây

0,787

0,014

0,773; 0,796; 0,807; 0,782; 0,777

HistGradientBoosting

0,769

0,017

0,769; 0,788; 0,783; 0,755; 0,750

LightGBM

0,766

0,022

0,762; 0,782; 0,794; 0,748; 0,744

Hai trung bình cao nhất là logistic 0,793 và rừng 0,787: cách nhau 0,006, chưa tới nửa độ lệch chuẩn giữa các fold của mỗi model (0,014). Bảng trung bình chưa nói được logistic có hơn rừng không; mục sau dùng các fold.

So hai model theo từng fold

Logistic hơn rừng 0,006 về trung bình, trong khi độ lệch chuẩn giữa các fold của mỗi model là 0,014. Nhìn hai trung bình riêng thì khó nói gì: độ lệch giữa các fold lớn gấp đôi chênh lệch giữa hai model. Vì hai model dùng cùng fold, có cách nhìn sắc hơn: lấy hiệu d của từng fold. Fold khó thì cả hai cùng thấp, và phép trừ bỏ đi phần khó dễ chung đó. Với k fold:

sd=1k−1∑i=1k(di−dˉ)2s_d = \sqrt{\frac{1}{k-1}\sum_{i=1}^{k}\left(d_i - \bar{d}\right)^2}

Trong đó:

  • d_i (d[i]): điểm model A trừ điểm model B ở fold thứ i;

  • d̄ (d.mean()): trung bình của các hiệu;

  • k (len(d)): số fold;

  • s_d (d.std(ddof=1)): độ lệch chuẩn của các hiệu, chia cho k − 1.

Tính tay cho logistic trừ rừng, năm hiệu là 0,010; 0,001; 0,006; 0,012; 0,000.

Bước

Phép tính

Kết quả

Trung bình hiệu

(0,010 + 0,001 + 0,006 + 0,012 + 0,000) / 5

0,0058

Tổng bình phương độ lệch

0,0042² + 0,0048² + 0,0002² + 0,0062² + 0,0058²

0,0001128

Chia k − 1

0,0001128 / 4

0,0000282

Căn bậc hai

√0,0000282

0,0053

numpy cho cùng con số, kèm hiệu của logistic trừ HistGradientBoosting:

python
import numpy as np

logistic = np.array([0.783, 0.797, 0.813, 0.794, 0.777])
rung = np.array([0.773, 0.796, 0.807, 0.782, 0.777])
hgb = np.array([0.769, 0.788, 0.783, 0.755, 0.75])
for ten, b in [("rừng", rung), ("hgb", hgb)]:
    d = logistic - b
    print(ten, d.round(3), "| d̄:", d.mean().round(4),
          "| s_d:", d.std(ddof=1).round(4))

KẾT QUẢ

rừng [0.01  0.001 0.006 0.012 0.   ] | d̄: 0.0058 | s_d: 0.0053
hgb [0.014 0.009 0.03  0.039 0.027] | d̄: 0.0238 | s_d: 0.0122

Logistic không thua rừng ở fold nào, nhưng hai fold có hiệu gần bằng 0 (0,001 và 0,000) và d̄ chỉ cỡ s_d: một cách chia khác rất dễ cho ra một fold âm, nên hai model này chưa tách được bằng điểm. Với HistGradientBoosting, hiệu dương ở cả năm fold và trung bình 0,024 gấp đôi s_d: trên bảng này, bản boosting chưa chỉnh tham số kém logistic thật. Năm fold dùng chung dữ liệu train nên các hiệu không hoàn toàn độc lập; bài vì sao điểm cross validation dao động giải thích vì sao đừng coi những con số này là một phép kiểm định chính xác.

Kiểm tra nhanh

  1. Bạn nhận một bảng khách hàng mới. Model nào nên chạy đầu tiên?

    • DummyClassifier, để có mức sàn
    • LightGBM, vì thường mạnh nhất
    • SVM với nhân rbf
  2. Điểm ROC-AUC theo fold của model A là [0.80, 0.78, 0.82], của model B là [0.79, 0.76, 0.80]. Hiệu theo từng fold và trung bình hiệu là gì?

    • [0.01, 0.02, 0.02], trung bình khoảng 0.0167
    • [0.01, 0.02, 0.02], trung bình 0.02
    • Không tính được vì hai model khác loại
  3. Những tình huống nào cho thấy chưa nói được model nào hơn?

    • Hiệu theo từng fold có cả dấu dương lẫn dấu âm
    • Trung bình hiệu nhỏ hơn hẳn độ lệch chuẩn giữa các fold của từng model, và hiệu đổi dấu
    • Hiệu dương ở cả năm fold và trung bình gấp đôi s_d
    • Một model có trung bình cao hơn 0,001
  4. Logistic hơn rừng 0,006 ROC-AUC trung bình, còn độ lệch chuẩn giữa 5 fold của mỗi model là 0,014. Chỉ nhìn hai trung bình, bạn kết luận được gì?

    • Chưa kết luận được: hai model dao động giữa các fold nhiều gấp đôi chênh lệch, cần xem hiệu ở từng fold
    • Logistic hơn rõ, vì trung bình cao hơn
    • Rừng hơn, vì nhiều cây ổn định hơn
Đúng hết lần đầu +15 XP

Bài tập

Hiệu theo từng fold của hai model

a và b là hai list điểm của hai model trên cùng các fold (cùng độ dài, ít nhất 2 phần tử). Viết thân hàm hieu_theo_fold(a, b) tính hiệu a[i] - b[i] của từng fold, rồi trả trung bình của các hiệu và độ lệch chuẩn của chúng (chia cho số fold trừ 1). Hàm không sửa list của nơi gọi.

Trả về: cặp (trung bình hiệu, độ lệch chuẩn của hiệu), một tuple hai float.

Ví dụ: hieu_theo_fold([0.80, 0.78, 0.82], [0.79, 0.76, 0.80]) trả khoảng (0.0167, 0.0058).

python
def hieu_theo_fold(a, b):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • Với dữ liệu bảng, thử theo thứ tự: baseline, logistic regression, Naive Bayes, KNN, SVM, cây đã tỉa, random forest, boosting.

  • Mọi model chấm trên cùng một biến folds, để mỗi fold là một cuộc so cặp.

  • Lấy hiệu theo từng fold, rồi xem trung bình hiệu so với độ lệch chuẩn của hiệu và hiệu có đổi dấu không.

  • Độ lệch giữa các fold của từng model có thể lớn hơn chênh lệch giữa hai model; khi đó so hai trung bình riêng không đủ.

  • Trên bảng hội viên, logistic hơn HistGradientBoosting ở cả năm fold (d̄ gấp đôi s_d), còn hiệu với rừng chỉ cỡ s_d.

Câu hỏi thường gặp

Các thuật toán machine learning nào hợp với dữ liệu bảng?

Logistic regression và hồi quy tuyến tính làm mốc, rồi các model cây: random forest và gradient boosting như HistGradientBoosting hay LightGBM. Với ảnh, âm thanh hay văn bản dài, mạng nơ-ron mới là lựa chọn chính.

Vì sao boosting thua logistic trên bảng hội viên?

Có lẽ vì bảng chỉ có 3.000 dòng và quan hệ giữa các cột với khả năng rời bỏ khá gần tuyến tính trên thang log-odds; boosting chưa chỉnh tham số dễ học thêm nhiễu. Trên bảng hàng trăm nghìn dòng với nhiều tương tác, thứ tự thường đảo lại.

Thuật toán học máy nào dễ giải thích cho người ngoài nghề?

Cây quyết định nông và logistic regression: cây cho một chuỗi câu hỏi, logistic cho hệ số mỗi cột. Rừng và boosting cần công cụ giải thích riêng như permutation importance.

Có nên chọn model bằng phần test không?

Không. Phần test chỉ dùng một lần cho model cuối cùng; so sánh và chọn model làm bằng cross validation trên phần train, như bài data leakage giải thích. Trang này chấm trên cả 3.000 dòng vì chỉ so model; khi làm thật, tách phần test ra trước.

Chủ đề

machine learning algorithms

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập