XGBoost, LightGBM hay HistGradientBoosting? Số đo thật
Bài 7/10 · Chương 6
Cây quyết định, Random Forest và boosting
- 10 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 11
XGBoost là thư viện gradient boosting có lớp XGBClassifier, XGBRegressor dùng như model của scikit-learn; trang này đặt nó cạnh LightGBM và HistGradientBoostingClassifier, rồi so cả ba bằng số đo trên cùng dữ liệu. Dùng trang khi cần đổi tên tham số giữa ba thư viện, hay khi phân vân xgboost vs lightgbm cho một bảng cụ thể.
Cần biết trước: LightGBM.
Bảng tra nhanh: tham số của ba thư viện
Việc | HistGradientBoosting | LightGBM | XGBoost | Mặc định của HGB |
|---|---|---|---|---|
Số cây tối đa |
|
|
|
|
Tốc độ học |
|
|
|
|
Số lá tối đa của một cây |
|
|
|
|
Số tầng tối đa |
|
|
|
|
Số dòng tối thiểu ở một lá |
|
| không có tên tương ứng |
|
Phạt L2 lên giá trị lá |
|
|
|
|
Số bin mỗi cột |
|
|
|
|
Cột category |
| tự nhận dtype |
|
|
Cột cuối in ra từ chính model, bằng get_params():
from sklearn.ensemble import HistGradientBoostingClassifier
hgb = HistGradientBoostingClassifier()
p = hgb.get_params()
ten = ["max_iter", "learning_rate", "max_leaf_nodes", "max_depth",
"min_samples_leaf", "l2_regularization", "max_bins",
"categorical_features"]
for t in ten:
print(t, "=", repr(p[t]))KẾT QUẢ
max_iter = 100
learning_rate = 0.1
max_leaf_nodes = 31
max_depth = None
min_samples_leaf = 20
l2_regularization = 0.0
max_bins = 255
categorical_features = 'from_dtype'Đổi HistGradientBoostingClassifier() thành HistGradientBoostingClassifier(max_iter=300) rồi chạy lại: dòng đầu in max_iter = 300.
Ví dụ từng bước cho bốn tham số đầu của LightGBM, và early stopping, nằm ở bài LightGBM, bài mẹ của trang này. XGBoost không có min_child_samples: tham số gần với nó, min_child_weight, đếm tổng hessian (độ cong của hàm mất mát, giải thích ở mục sau) trong lá chứ không đếm số dòng.
XGBoost là gì: thuật toán và XGBClassifier
Trang chỉ hiển thị code XGBoost: thư viện chưa nạp được trong trình duyệt của trang. Chạy trên máy sau pip install xgboost; các kết quả dưới đây lấy từ xgboost 3.4.1, lightgbm 4.7.0, scikit-learn 1.8.0, pandas 3.0.2, Python 3.14, một luồng.
Thuật toán xgboost vẫn là gradient boosting: mỗi cây mới học phần còn sai của các cây trước. Điểm riêng là cách tính giá trị của một lá. XGBoost dùng cả gradient (độ dốc) lẫn hessian (độ cong) của hàm mất mát tại từng dòng, rồi phạt giá trị lá bằng reg_lambda:
Trong đó:
w: giá trị của lá, cộng vào log-odds của các dòng rơi vào lá;G: tổng gradient của các dòng trong lá; với log loss, gradient của một dòng làp - y;H: tổng hessian của các dòng trong lá; với log loss, hessian của một dòng làp * (1 - p);λ(reg_lambda): mức phạt, càng lớn thì giá trị lá càng gần 0.
Tính tay cho một lá bốn dòng, nhãn 1, 1, 0, 1, xác suất ban đầu đều là 0,5:
import numpy as np
y = np.array([1, 1, 0, 1])
p = np.full(4, 0.5)
G = (p - y).sum()
H = (p * (1 - p)).sum()
for lam in [0, 1, 10]:
print("lambda", lam, "| giá trị lá:", round(-G / (H + lam), 4))KẾT QUẢ
lambda 0 | giá trị lá: 1.0
lambda 1 | giá trị lá: 0.5
lambda 10 | giá trị lá: 0.0909Ba số này khớp với XGBoost. Trên máy, một cây không được phép chia (gamma=1000 chặn hết các câu hỏi), học trên đúng bốn dòng đó:
import numpy as np
import xgboost as xgb
X = np.array([[1.0], [2.0], [3.0], [4.0]])
y = np.array([1, 1, 0, 1])
for lam in [0, 1, 10]:
m = xgb.XGBClassifier(n_estimators=1, learning_rate=1.0, max_depth=1,
min_child_weight=0, gamma=1000, reg_lambda=lam, base_score=0.5)
m.fit(X, y)
print(lam, m.get_booster().trees_to_dataframe()["Gain"].tolist())
0 [1.0]
1 [0.5]
10 [0.09090909]
Với cây chỉ có một lá, cột Gain của trees_to_dataframe() chứa giá trị của lá. Mặc định reg_lambda=1, nên XGBoost kéo giá trị lá về 0 một chút ngay từ đầu; l2_regularization của HistGradientBoosting làm cùng việc nhưng mặc định là 0.
Trên bảng hội viên, XGBClassifier viết gần như LGBMClassifier. Từ XGBoost 3, enable_categorical mặc định đã là True, nên cột category dùng được ngay; bản 2.x mặc định False và báo lỗi với cột đó. Viết rõ enable_categorical=True thì code chạy giống nhau trên cả hai.
import pandas as pd
import xgboost as xgb
from sklearn.metrics import roc_auc_score
from sklearn.model_selection import train_test_split
loai = dict.fromkeys(["tinh", "kenh_dang_ky", "goi"], "category")
kh = pd.read_csv("hoi_vien.csv", dtype=loai)
y = kh.pop("roi_bo")
X = kh.drop(columns=["ma_kh", "hoi_cach_huy_sau_moc"])
X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.25,
stratify=y, random_state=0)
mo_hinh = xgb.XGBClassifier(n_estimators=100, learning_rate=0.1,
max_depth=3, tree_method="hist", enable_categorical=True,
random_state=0)
mo_hinh.fit(X_tr, y_tr)
print("ROC-AUC test:", round(roc_auc_score(y_te, mo_hinh.predict_proba(X_te)[:, 1]), 3))
ROC-AUC test: 0.763
XGBoost vs LightGBM vs HistGradientBoosting: mặc định khác, điểm khác
Ba thư viện cùng một thuật toán, nhưng không cùng giá trị mặc định. HistGradientBoosting và LightGBM mặc định 100 cây, tốc độ học 0,1, tối đa 31 lá. XGBoost mặc định cây sâu 6 tầng và tốc độ học 0,3, gấp ba hai thư viện kia. So "thư viện nào tốt hơn" bằng tham số mặc định vì thế là so ba bộ mặc định. Chương trình dưới đo cả hai cách trên bảng hội viên, có ba cột category và cột diem_danh_gia_tb có ô trống, cùng năm fold cho mọi model:
import lightgbm as lgb
import pandas as pd
import xgboost as xgb
from sklearn.ensemble import HistGradientBoostingClassifier
from sklearn.model_selection import StratifiedKFold, cross_validate
loai = dict.fromkeys(["tinh", "kenh_dang_ky", "goi"], "category")
kh = pd.read_csv("hoi_vien.csv", dtype=loai)
y = kh.pop("roi_bo")
X = kh.drop(columns=["ma_kh", "hoi_cach_huy_sau_moc"])
folds = StratifiedKFold(5, shuffle=True, random_state=0)
mac_dinh = {
"hgb": HistGradientBoostingClassifier(random_state=0),
"lightgbm": lgb.LGBMClassifier(n_jobs=1, random_state=0, verbose=-1),
"xgboost": xgb.XGBClassifier(enable_categorical=True, n_jobs=1,
random_state=0)}
cung_tham_so = {
"hgb": HistGradientBoostingClassifier(max_iter=200, learning_rate=0.05,
max_leaf_nodes=15, min_samples_leaf=20, early_stopping=False,
random_state=0),
"lightgbm": lgb.LGBMClassifier(n_estimators=200, learning_rate=0.05,
num_leaves=15, min_child_samples=20, n_jobs=1, random_state=0,
verbose=-1),
"xgboost": xgb.XGBClassifier(n_estimators=200, learning_rate=0.05,
max_leaves=15, max_depth=0, grow_policy="lossguide",
enable_categorical=True, n_jobs=1, random_state=0)}
for nhom, cac_model in [("mặc định", mac_dinh), ("cùng tham số", cung_tham_so)]:
diem = {}
for ten, m in cac_model.items():
kq = cross_validate(m, X, y, cv=folds, scoring="roc_auc")
diem[ten] = kq["test_score"]
print(nhom, ten, f"{kq['test_score'].mean():.3f} ± {kq['test_score'].std(ddof=1):.3f}",
"| fit", round(kq["fit_time"].mean(), 2), "s")
for ten in ["lightgbm", "xgboost"]:
d = diem[ten] - diem["hgb"]
print(" ", ten, "- hgb:", d.round(3), "| d̄:", round(d.mean(), 4),
"| s_d:", round(d.std(ddof=1), 4))
Kết quả trên máy (một luồng, mỗi fold fit trên 2.400 dòng):
Cách đặt tham số | Thư viện | ROC-AUC 5 fold | Fit một fold | Hiệu với HGB theo 5 fold |
|---|---|---|---|---|
Mặc định | HistGradientBoosting | 0,762 ± 0,022 | 0,30 s | |
Mặc định | LightGBM | 0,755 ± 0,028 | 0,09 s | 0,005; −0,008; 0,000; −0,015; −0,015 |
Mặc định | XGBoost | 0,730 ± 0,030 | 0,14 s | −0,039; −0,038; −0,016; −0,040; −0,025 |
Cùng tham số | HistGradientBoosting | 0,765 ± 0,024 | 0,35 s | |
Cùng tham số | LightGBM | 0,766 ± 0,027 | 0,12 s | 0,002; 0,002; 0,003; −0,004; 0,001 |
Cùng tham số | XGBoost | 0,758 ± 0,031 | 0,24 s | −0,017; −0,016; 0,014; −0,014; 0,000 |
"Cùng tham số" là 200 cây, tốc độ học 0,05, tối đa 15 lá, ít nhất 20 dòng mỗi lá (XGBoost không có tham số số dòng nên để mặc định). Đọc bảng theo cột hiệu, không theo hạng:
Với mặc định, XGBoost thua HistGradientBoosting ở cả năm fold, trung bình 0,031 (s_d 0,011). Đặt cùng tham số, khoảng cách co còn 0,0065, s_d 0,0135, có một fold XGBoost hơn: phần lớn khoảng cách lúc đầu đến từ tốc độ học 0,3 và cây sâu, không đến từ thư viện.
LightGBM và HistGradientBoosting cùng tham số chênh trung bình 0,0008, mỗi fold dưới 0,005, hiệu đổi dấu: không tách được.
LightGBM fit nhanh gấp khoảng ba HistGradientBoosting, nhưng ở cỡ này mọi con số đều dưới nửa giây.
Kết luận dùng được: muốn so hai thư viện, đặt chúng cùng tham số chính trước, rồi đọc hiệu theo từng fold. Khi chưa có lý do riêng, HistGradientBoostingClassifier không phải cài thêm gì; LightGBM hay XGBoost đáng cài khi cần thứ chỉ thư viện đó có (huấn luyện trên GPU, hàm mất mát tự viết, tham số riêng), hay khi đội của bạn đã dùng sẵn.
CatBoost
CatBoost là thư viện gradient boosting thứ tư hay được nhắc cạnh xgboost và LightGBM. Nó dựng cây đối xứng (các nút cùng tầng hỏi cùng một câu) và mã hóa cột nhóm bằng thống kê nhãn tính theo thứ tự dòng, để giảm rò nhãn khi cột có nhiều nhóm. Lớp CatBoostClassifier nhận tên các cột nhóm qua tham số cat_features= của fit:
from catboost import CatBoostClassifier
mo_hinh = CatBoostClassifier(iterations=200, depth=4, verbose=0,
random_seed=0, thread_count=1)
mo_hinh.fit(X_tr, y_tr, cat_features=["tinh", "kenh_dang_ky", "goi"])
print("ROC-AUC test:", round(roc_auc_score(y_te, mo_hinh.predict_proba(X_te)[:, 1]), 3))
ROC-AUC test: 0.767
Kết quả lấy từ catboost 1.2.10, trên cùng X_tr, X_te của ví dụ XGBoost: 0,767 so với 0,763, một lần chia nên chưa nói được bên nào hơn. CatBoost không nằm trong bảng đo ở trên.
Kiểm tra nhanh
Tham số nào của
HistGradientBoostingClassifierlàm cùng việc vớireg_lambdacủa XGBoost?learning_ratel2_regularizationmin_samples_leaf
Với tham số mặc định, XGBoost thua HistGradientBoosting 0,031 ROC-AUC ở cả năm fold; đặt cùng tham số thì còn 0,0065 và có một fold đổi dấu. Kết luận nào đúng?
- HistGradientBoosting là thư viện tốt hơn XGBoost
- Phần lớn khoảng cách lúc đầu đến từ giá trị mặc định khác nhau, chưa nói được thư viện nào tốt hơn
- XGBoost bị overfitting vì thua ở mọi fold
Trong lá có G = −2 và H = 3, với
reg_lambda=1, XGBoost cho lá giá trị bao nhiêu?- −0,5
- 0,5
- 0,667
Bài tập
Đổi tham số LightGBM, XGBoost sang HistGradientBoosting
tham_so là dict tham số viết theo tên của LightGBM hay XGBoost. TEN_HGB trong starter là bảng tra nhanh ở trên, viết dạng dict. Viết thân hàm sang_hgb(tham_so): với mỗi khóa có trong TEN_HGB, đổi tên khóa sang tên của HistGradientBoosting và giữ giá trị; bỏ khóa không có trong bảng. Thêm hai quy tắc về giá trị: max_depth hay max_leaves nhỏ hơn hay bằng 0 (cách LightGBM, XGBoost nói "không giới hạn") thành None; max_bin lớn hơn 255 thành 255. Hàm không sửa tham_so.
Trả về: tham số mới, một dict.
Ví dụ: sang_hgb({"eta": 0.3, "max_depth": 0, "max_bin": 256, "tree_method": "hist"}) trả {"learning_rate": 0.3, "max_depth": None, "max_bins": 255}.
TEN_HGB = {"n_estimators": "max_iter", "learning_rate": "learning_rate",
"eta": "learning_rate", "num_leaves": "max_leaf_nodes",
"max_leaves": "max_leaf_nodes", "max_depth": "max_depth",
"min_child_samples": "min_samples_leaf",
"reg_lambda": "l2_regularization", "max_bin": "max_bins"}
def sang_hgb(tham_so):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
XGBoost là gradient boosting có
XGBClassifier,XGBRegressortheo kiểu scikit-learn; giá trị lá là −G / (H + λ), vớireg_lambdamặc định 1.Tên tham số khác nhau giữa ba thư viện: số cây là
max_iterở HGB,n_estimatorsở hai thư viện kia; số lá làmax_leaf_nodes,num_leaves,max_leaves.Cột
category: XGBoost 3 bậtenable_categoricalsẵn (bản 2.x phải tự bật); LightGBM tự nhận; HGB dùngcategorical_features="from_dtype". Cột dtypestrthì cả ba đều phải đổi sangcategorytrước.Trên bảng hội viên, khoảng cách 0,031 của XGBoost mặc định co còn 0,0065 khi đặt cùng tham số; LightGBM và HGB cùng tham số không tách được, LightGBM fit nhanh gấp khoảng ba.
Chọn thư viện bằng số đo trên chính bảng của bạn, đọc độ lệch giữa các lần chạy trước khi đọc hạng.
Câu hỏi thường gặp
XGBoost là gì?
XGBoost (eXtreme Gradient Boosting) là thư viện mã nguồn mở cài đặt gradient boosting trên cây, có bản Python, R, Java và các bản khác. Trong Python, XGBClassifier và XGBRegressor có fit, predict, predict_proba giống các model scikit-learn khác; vì thế đặt chúng vào Pipeline hay cross_val_score được.
Nên chọn xgboost vs lightgbm?
Trên bảng hội viên, khi đặt cùng tham số, LightGBM nhỉnh XGBoost 0,008 trung bình và fit nhanh gấp đôi; với tham số mặc định XGBoost thua rõ hơn, chủ yếu vì tốc độ học 0,3. Khi đội của bạn đã quen một thư viện, giữ nó thường đáng giá hơn khác biệt điểm nhỏ đó. Muốn chắc, đặt cùng tham số rồi đo trên bảng của bạn với cùng các fold.
Cài XGBoost thế nào?
Chạy pip install xgboost. Gói trên PyPI kèm bản biên dịch cho Windows, macOS và Linux; bản đầy đủ có cả phần GPU nên khá nặng, còn pip install xgboost-cpu là bản chỉ dùng CPU, nhẹ hơn. Code của trang chạy kiểm trên xgboost 3.4.1; cần đúng bản đó thì cài pip install xgboost==3.4.1.
Chủ đề
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.