Machine learning algorithms: chọn model cho dữ liệu bảng
Bài 8/10 · Chương 6
Cây quyết định, Random Forest và boosting
- 10 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 11
Với dữ liệu bảng (mỗi dòng một khách, mỗi cột một đặc điểm), các thuật toán machine learning hay dùng gói gọn trong một danh sách ngắn. Đó là logistic regression, KNN, SVM, Naive Bayes, cây quyết định, random forest và gradient boosting. Bài này chạy cả danh sách đó trên cùng một bộ fold, rồi so từng cặp model bằng hiệu điểm ở từng fold, thay cho việc đặt hai con số trung bình cạnh nhau.
Cần biết trước: baseline, logistic regression và cross validation.
Thứ tự thử model cho một bảng mới
Thứ tự | Model | Cần chuẩn bị | Thử để biết điều gì |
|---|---|---|---|
1 |
| không | mức sàn: model nào không vượt được thì vô dụng |
2 | Logistic regression | chuẩn hóa, mã hóa cột chữ, điền ô trống | quan hệ gần tuyến tính đã đủ chưa |
3 | Naive Bayes, KNN, SVM | chuẩn hóa (KNN, SVM) | có cấu trúc nào khác mà logistic bỏ sót không |
4 | Cây quyết định đã tỉa | không cần chuẩn hóa | có luật dễ đọc nào đủ tốt không |
5 | Random forest | không cần chuẩn hóa | quan hệ cong, tương tác giữa cột có đáng kể không |
6 | HistGradientBoosting, LightGBM | cột | còn bớt được sai số nữa không |
Càng xuống dưới, model càng nhiều tham số phải chọn và càng tốn thời gian fit, nên một con số đẹp ở dòng dưới chỉ có nghĩa khi đặt cạnh các dòng trên. Điều kiện quan trọng hơn thứ tự: mọi model chấm trên cùng một bộ fold, để mỗi fold là một cuộc so cặp.
Chạy năm model đầu trên cùng các fold
StratifiedKFold(5, shuffle=True, random_state=0) cố định cách chia: model nào cũng gặp đúng năm bộ train và validation như nhau. Bảng hoi_vien.csv có 3.000 hội viên, dùng 10 cột số. Bước 1 và 2:
import pandas as pd
from sklearn.dummy import DummyClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import StratifiedKFold, cross_val_score
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
kh = pd.read_csv("hoi_vien.csv")
y = kh.pop("roi_bo")
X = kh.select_dtypes("number").iloc[:, :10]
folds = StratifiedKFold(5, shuffle=True, random_state=0)
lr = make_pipeline(StandardScaler(), LogisticRegression())
for ten, m in [("dummy", DummyClassifier()), ("logistic", lr)]:
d = cross_val_score(m, X, y, cv=folds, scoring="roc_auc")
print(ten, f"{d.mean():.3f} ± {d.std(ddof=1):.3f}", d.round(3))KẾT QUẢ
dummy 0.500 ± 0.000 [0.5 0.5 0.5 0.5 0.5]
logistic 0.793 ± 0.014 [0.783 0.797 0.813 0.794 0.777]Mỗi dòng in trung bình ROC-AUC, độ lệch chuẩn giữa 5 fold và điểm của từng fold. Logistic vượt xa mức sàn 0,5. Bước 3 và 4 với cùng folds:
import pandas as pd
from sklearn.model_selection import StratifiedKFold, cross_val_score
from sklearn.naive_bayes import GaussianNB
from sklearn.tree import DecisionTreeClassifier
kh = pd.read_csv("hoi_vien.csv")
y = kh.pop("roi_bo")
X = kh.select_dtypes("number").iloc[:, :10]
folds = StratifiedKFold(5, shuffle=True, random_state=0)
cay = DecisionTreeClassifier(min_samples_leaf=40, random_state=0)
for ten, m in [("naive bayes", GaussianNB()), ("cây", cay)]:
d = cross_val_score(m, X, y, cv=folds, scoring="roc_auc")
print(ten, f"{d.mean():.3f} ± {d.std(ddof=1):.3f}", d.round(3))KẾT QUẢ
naive bayes 0.766 ± 0.020 [0.752 0.746 0.796 0.773 0.761]
cây 0.748 ± 0.026 [0.752 0.787 0.749 0.735 0.716]Đổi min_samples_leaf=40 thành min_samples_leaf=5 rồi chạy lại: dòng cuối in cây 0.659 ± 0.031 [0.621 0.7 0.677 0.638 0.659], đúng điều bài tỉa cây đã chỉ ra: lá quá nhỏ thì cây học thuộc.
Các model nặng hơn (KNN, SVM, rừng 200 cây, boosting 200 cây) cần vài giây cho 5 fold, quá ngân sách một khối trên trang. Code dưới chỉ hiển thị: nó chạy trên máy, nối tiếp khối bước 1 và 2 (dùng lại X, y, folds, make_pipeline, StandardScaler, cross_val_score), với lightgbm 4.6.0:
import lightgbm as lgb
from sklearn.ensemble import HistGradientBoostingClassifier as HGB
from sklearn.ensemble import RandomForestClassifier
from sklearn.neighbors import KNeighborsClassifier
from sklearn.svm import SVC
cac_model = {
"knn 25": make_pipeline(StandardScaler(), KNeighborsClassifier(25)),
"svm rbf": make_pipeline(StandardScaler(), SVC()),
"rừng 200 cây": RandomForestClassifier(
200, min_samples_leaf=10, random_state=0),
"hgb": HGB(max_iter=200, learning_rate=0.05, max_leaf_nodes=15,
random_state=0),
"lightgbm": lgb.LGBMClassifier(n_estimators=200, learning_rate=0.05,
num_leaves=15, random_state=0, verbose=-1)}
for ten, m in cac_model.items():
d = cross_val_score(m, X, y, cv=folds, scoring="roc_auc")
print(ten, f"{d.mean():.3f} ± {d.std(ddof=1):.3f}", d.round(3))
Kết quả khi chạy trên máy:
Model | ROC-AUC trung bình | Độ lệch chuẩn giữa 5 fold | Điểm từng fold |
|---|---|---|---|
KNN, 25 láng giềng | 0,755 | 0,024 | 0,738; 0,752; 0,794; 0,758; 0,734 |
SVM nhân rbf | 0,719 | 0,030 | 0,695; 0,720; 0,770; 0,707; 0,704 |
Rừng 200 cây | 0,787 | 0,014 | 0,773; 0,796; 0,807; 0,782; 0,777 |
HistGradientBoosting | 0,769 | 0,017 | 0,769; 0,788; 0,783; 0,755; 0,750 |
LightGBM | 0,766 | 0,022 | 0,762; 0,782; 0,794; 0,748; 0,744 |
Hai trung bình cao nhất là logistic 0,793 và rừng 0,787: cách nhau 0,006, chưa tới nửa độ lệch chuẩn giữa các fold của mỗi model (0,014). Bảng trung bình chưa nói được logistic có hơn rừng không; mục sau dùng các fold.
So hai model theo từng fold
Logistic hơn rừng 0,006 về trung bình, trong khi độ lệch chuẩn giữa các fold của mỗi model là 0,014. Nhìn hai trung bình riêng thì khó nói gì: độ lệch giữa các fold lớn gấp đôi chênh lệch giữa hai model. Vì hai model dùng cùng fold, có cách nhìn sắc hơn: lấy hiệu d của từng fold. Fold khó thì cả hai cùng thấp, và phép trừ bỏ đi phần khó dễ chung đó. Với k fold:
Trong đó:
d_i(d[i]): điểm model A trừ điểm model B ở fold thứ i;d̄(d.mean()): trung bình của các hiệu;k(len(d)): số fold;s_d(d.std(ddof=1)): độ lệch chuẩn của các hiệu, chia cho k − 1.
Tính tay cho logistic trừ rừng, năm hiệu là 0,010; 0,001; 0,006; 0,012; 0,000.
Bước | Phép tính | Kết quả |
|---|---|---|
Trung bình hiệu | (0,010 + 0,001 + 0,006 + 0,012 + 0,000) / 5 | 0,0058 |
Tổng bình phương độ lệch | 0,0042² + 0,0048² + 0,0002² + 0,0062² + 0,0058² | 0,0001128 |
Chia k − 1 | 0,0001128 / 4 | 0,0000282 |
Căn bậc hai | √0,0000282 | 0,0053 |
numpy cho cùng con số, kèm hiệu của logistic trừ HistGradientBoosting:
import numpy as np
logistic = np.array([0.783, 0.797, 0.813, 0.794, 0.777])
rung = np.array([0.773, 0.796, 0.807, 0.782, 0.777])
hgb = np.array([0.769, 0.788, 0.783, 0.755, 0.75])
for ten, b in [("rừng", rung), ("hgb", hgb)]:
d = logistic - b
print(ten, d.round(3), "| d̄:", d.mean().round(4),
"| s_d:", d.std(ddof=1).round(4))KẾT QUẢ
rừng [0.01 0.001 0.006 0.012 0. ] | d̄: 0.0058 | s_d: 0.0053
hgb [0.014 0.009 0.03 0.039 0.027] | d̄: 0.0238 | s_d: 0.0122Logistic không thua rừng ở fold nào, nhưng hai fold có hiệu gần bằng 0 (0,001 và 0,000) và d̄ chỉ cỡ s_d: một cách chia khác rất dễ cho ra một fold âm, nên hai model này chưa tách được bằng điểm. Với HistGradientBoosting, hiệu dương ở cả năm fold và trung bình 0,024 gấp đôi s_d: trên bảng này, bản boosting chưa chỉnh tham số kém logistic thật. Năm fold dùng chung dữ liệu train nên các hiệu không hoàn toàn độc lập; bài vì sao điểm cross validation dao động giải thích vì sao đừng coi những con số này là một phép kiểm định chính xác.
Kiểm tra nhanh
Bạn nhận một bảng khách hàng mới. Model nào nên chạy đầu tiên?
DummyClassifier, để có mức sàn- LightGBM, vì thường mạnh nhất
- SVM với nhân rbf
Điểm ROC-AUC theo fold của model A là
[0.80, 0.78, 0.82], của model B là[0.79, 0.76, 0.80]. Hiệu theo từng fold và trung bình hiệu là gì?[0.01, 0.02, 0.02], trung bình khoảng0.0167[0.01, 0.02, 0.02], trung bình0.02- Không tính được vì hai model khác loại
Những tình huống nào cho thấy chưa nói được model nào hơn?
- Hiệu theo từng fold có cả dấu dương lẫn dấu âm
- Trung bình hiệu nhỏ hơn hẳn độ lệch chuẩn giữa các fold của từng model, và hiệu đổi dấu
- Hiệu dương ở cả năm fold và trung bình gấp đôi s_d
- Một model có trung bình cao hơn 0,001
Logistic hơn rừng 0,006 ROC-AUC trung bình, còn độ lệch chuẩn giữa 5 fold của mỗi model là 0,014. Chỉ nhìn hai trung bình, bạn kết luận được gì?
- Chưa kết luận được: hai model dao động giữa các fold nhiều gấp đôi chênh lệch, cần xem hiệu ở từng fold
- Logistic hơn rõ, vì trung bình cao hơn
- Rừng hơn, vì nhiều cây ổn định hơn
Bài tập
Hiệu theo từng fold của hai model
a và b là hai list điểm của hai model trên cùng các fold (cùng độ dài, ít nhất 2 phần tử). Viết thân hàm hieu_theo_fold(a, b) tính hiệu a[i] - b[i] của từng fold, rồi trả trung bình của các hiệu và độ lệch chuẩn của chúng (chia cho số fold trừ 1). Hàm không sửa list của nơi gọi.
Trả về: cặp (trung bình hiệu, độ lệch chuẩn của hiệu), một tuple hai float.
Ví dụ: hieu_theo_fold([0.80, 0.78, 0.82], [0.79, 0.76, 0.80]) trả khoảng (0.0167, 0.0058).
def hieu_theo_fold(a, b):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Với dữ liệu bảng, thử theo thứ tự: baseline, logistic regression, Naive Bayes, KNN, SVM, cây đã tỉa, random forest, boosting.
Mọi model chấm trên cùng một biến
folds, để mỗi fold là một cuộc so cặp.Lấy hiệu theo từng fold, rồi xem trung bình hiệu so với độ lệch chuẩn của hiệu và hiệu có đổi dấu không.
Độ lệch giữa các fold của từng model có thể lớn hơn chênh lệch giữa hai model; khi đó so hai trung bình riêng không đủ.
Trên bảng hội viên, logistic hơn HistGradientBoosting ở cả năm fold (d̄ gấp đôi s_d), còn hiệu với rừng chỉ cỡ s_d.
Câu hỏi thường gặp
Các thuật toán machine learning nào hợp với dữ liệu bảng?
Logistic regression và hồi quy tuyến tính làm mốc, rồi các model cây: random forest và gradient boosting như HistGradientBoosting hay LightGBM. Với ảnh, âm thanh hay văn bản dài, mạng nơ-ron mới là lựa chọn chính.
Vì sao boosting thua logistic trên bảng hội viên?
Có lẽ vì bảng chỉ có 3.000 dòng và quan hệ giữa các cột với khả năng rời bỏ khá gần tuyến tính trên thang log-odds; boosting chưa chỉnh tham số dễ học thêm nhiễu. Trên bảng hàng trăm nghìn dòng với nhiều tương tác, thứ tự thường đảo lại.
Thuật toán học máy nào dễ giải thích cho người ngoài nghề?
Cây quyết định nông và logistic regression: cây cho một chuỗi câu hỏi, logistic cho hệ số mỗi cột. Rừng và boosting cần công cụ giải thích riêng như permutation importance.
Có nên chọn model bằng phần test không?
Không. Phần test chỉ dùng một lần cho model cuối cùng; so sánh và chọn model làm bằng cross validation trên phần train, như bài data leakage giải thích. Trang này chấm trên cả 3.000 dòng vì chỉ so model; khi làm thật, tách phần test ra trước.
Chủ đề
Dữ liệu của bài
- Tải xuống
hoi_vien.csv
CSV · 207.25 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.