Bỏ qua đến nội dung chính
Mục lục

XGBoost, LightGBM hay HistGradientBoosting? Số đo thật

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 7/10 · Chương 6

Cây quyết định, Random Forest và boosting

  • 10 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

XGBoost là thư viện gradient boosting có lớp XGBClassifier, XGBRegressor dùng như model của scikit-learn; trang này đặt nó cạnh LightGBM và HistGradientBoostingClassifier, rồi so cả ba bằng số đo trên cùng dữ liệu. Dùng trang khi cần đổi tên tham số giữa ba thư viện, hay khi phân vân xgboost vs lightgbm cho một bảng cụ thể.

Cần biết trước: LightGBM.

Bảng tra nhanh: tham số của ba thư viện

Việc

HistGradientBoosting

LightGBM

XGBoost

Mặc định của HGB

Số cây tối đa

max_iter

n_estimators

n_estimators

100

Tốc độ học

learning_rate

learning_rate

learning_rate (hay eta)

0.1

Số lá tối đa của một cây

max_leaf_nodes (None là không giới hạn)

num_leaves

max_leaves (0 là không giới hạn)

31

Số tầng tối đa

max_depth

max_depth (-1 là không giới hạn)

max_depth (0 là không giới hạn)

None

Số dòng tối thiểu ở một lá

min_samples_leaf

min_child_samples

không có tên tương ứng

20

Phạt L2 lên giá trị lá

l2_regularization

reg_lambda

reg_lambda (hay lambda)

0.0

Số bin mỗi cột

max_bins (tối đa 255)

max_bin

max_bin

255

Cột category

categorical_features

tự nhận dtype category

enable_categorical=True

'from_dtype'

Cột cuối in ra từ chính model, bằng get_params():

python
from sklearn.ensemble import HistGradientBoostingClassifier

hgb = HistGradientBoostingClassifier()
p = hgb.get_params()
ten = ["max_iter", "learning_rate", "max_leaf_nodes", "max_depth",
       "min_samples_leaf", "l2_regularization", "max_bins",
       "categorical_features"]
for t in ten:
    print(t, "=", repr(p[t]))

KẾT QUẢ

max_iter = 100
learning_rate = 0.1
max_leaf_nodes = 31
max_depth = None
min_samples_leaf = 20
l2_regularization = 0.0
max_bins = 255
categorical_features = 'from_dtype'

Đổi HistGradientBoostingClassifier() thành HistGradientBoostingClassifier(max_iter=300) rồi chạy lại: dòng đầu in max_iter = 300.

Ví dụ từng bước cho bốn tham số đầu của LightGBM, và early stopping, nằm ở bài LightGBM, bài mẹ của trang này. XGBoost không có min_child_samples: tham số gần với nó, min_child_weight, đếm tổng hessian (độ cong của hàm mất mát, giải thích ở mục sau) trong lá chứ không đếm số dòng.

XGBoost là gì: thuật toán và XGBClassifier

Trang chỉ hiển thị code XGBoost: thư viện chưa nạp được trong trình duyệt của trang. Chạy trên máy sau pip install xgboost; các kết quả dưới đây lấy từ xgboost 3.4.1, lightgbm 4.7.0, scikit-learn 1.8.0, pandas 3.0.2, Python 3.14, một luồng.

Thuật toán xgboost vẫn là gradient boosting: mỗi cây mới học phần còn sai của các cây trước. Điểm riêng là cách tính giá trị của một lá. XGBoost dùng cả gradient (độ dốc) lẫn hessian (độ cong) của hàm mất mát tại từng dòng, rồi phạt giá trị lá bằng reg_lambda:

w=−GH+λw = -\frac{G}{H + \lambda}

Trong đó:

  • w: giá trị của lá, cộng vào log-odds của các dòng rơi vào lá;

  • G: tổng gradient của các dòng trong lá; với log loss, gradient của một dòng là p - y;

  • H: tổng hessian của các dòng trong lá; với log loss, hessian của một dòng là p * (1 - p);

  • λ (reg_lambda): mức phạt, càng lớn thì giá trị lá càng gần 0.

Tính tay cho một lá bốn dòng, nhãn 1, 1, 0, 1, xác suất ban đầu đều là 0,5:

python
import numpy as np

y = np.array([1, 1, 0, 1])
p = np.full(4, 0.5)
G = (p - y).sum()
H = (p * (1 - p)).sum()
for lam in [0, 1, 10]:
    print("lambda", lam, "| giá trị lá:", round(-G / (H + lam), 4))

KẾT QUẢ

lambda 0 | giá trị lá: 1.0
lambda 1 | giá trị lá: 0.5
lambda 10 | giá trị lá: 0.0909

Ba số này khớp với XGBoost. Trên máy, một cây không được phép chia (gamma=1000 chặn hết các câu hỏi), học trên đúng bốn dòng đó:

python
import numpy as np
import xgboost as xgb
X = np.array([[1.0], [2.0], [3.0], [4.0]])
y = np.array([1, 1, 0, 1])
for lam in [0, 1, 10]:
    m = xgb.XGBClassifier(n_estimators=1, learning_rate=1.0, max_depth=1,
        min_child_weight=0, gamma=1000, reg_lambda=lam, base_score=0.5)
    m.fit(X, y)
    print(lam, m.get_booster().trees_to_dataframe()["Gain"].tolist())
text
0 [1.0]
1 [0.5]
10 [0.09090909]

Với cây chỉ có một lá, cột Gain của trees_to_dataframe() chứa giá trị của lá. Mặc định reg_lambda=1, nên XGBoost kéo giá trị lá về 0 một chút ngay từ đầu; l2_regularization của HistGradientBoosting làm cùng việc nhưng mặc định là 0.

Trên bảng hội viên, XGBClassifier viết gần như LGBMClassifier. Từ XGBoost 3, enable_categorical mặc định đã là True, nên cột category dùng được ngay; bản 2.x mặc định False và báo lỗi với cột đó. Viết rõ enable_categorical=True thì code chạy giống nhau trên cả hai.

python
import pandas as pd
import xgboost as xgb
from sklearn.metrics import roc_auc_score
from sklearn.model_selection import train_test_split
loai = dict.fromkeys(["tinh", "kenh_dang_ky", "goi"], "category")
kh = pd.read_csv("hoi_vien.csv", dtype=loai)
y = kh.pop("roi_bo")
X = kh.drop(columns=["ma_kh", "hoi_cach_huy_sau_moc"])
X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.25,
                                          stratify=y, random_state=0)
mo_hinh = xgb.XGBClassifier(n_estimators=100, learning_rate=0.1,
    max_depth=3, tree_method="hist", enable_categorical=True,
    random_state=0)
mo_hinh.fit(X_tr, y_tr)
print("ROC-AUC test:", round(roc_auc_score(y_te, mo_hinh.predict_proba(X_te)[:, 1]), 3))
text
ROC-AUC test: 0.763

XGBoost vs LightGBM vs HistGradientBoosting: mặc định khác, điểm khác

Ba thư viện cùng một thuật toán, nhưng không cùng giá trị mặc định. HistGradientBoosting và LightGBM mặc định 100 cây, tốc độ học 0,1, tối đa 31 lá. XGBoost mặc định cây sâu 6 tầng và tốc độ học 0,3, gấp ba hai thư viện kia. So "thư viện nào tốt hơn" bằng tham số mặc định vì thế là so ba bộ mặc định. Chương trình dưới đo cả hai cách trên bảng hội viên, có ba cột category và cột diem_danh_gia_tb có ô trống, cùng năm fold cho mọi model:

python
import lightgbm as lgb
import pandas as pd
import xgboost as xgb
from sklearn.ensemble import HistGradientBoostingClassifier
from sklearn.model_selection import StratifiedKFold, cross_validate
loai = dict.fromkeys(["tinh", "kenh_dang_ky", "goi"], "category")
kh = pd.read_csv("hoi_vien.csv", dtype=loai)
y = kh.pop("roi_bo")
X = kh.drop(columns=["ma_kh", "hoi_cach_huy_sau_moc"])
folds = StratifiedKFold(5, shuffle=True, random_state=0)
mac_dinh = {
    "hgb": HistGradientBoostingClassifier(random_state=0),
    "lightgbm": lgb.LGBMClassifier(n_jobs=1, random_state=0, verbose=-1),
    "xgboost": xgb.XGBClassifier(enable_categorical=True, n_jobs=1,
                                 random_state=0)}
cung_tham_so = {
    "hgb": HistGradientBoostingClassifier(max_iter=200, learning_rate=0.05,
        max_leaf_nodes=15, min_samples_leaf=20, early_stopping=False,
        random_state=0),
    "lightgbm": lgb.LGBMClassifier(n_estimators=200, learning_rate=0.05,
        num_leaves=15, min_child_samples=20, n_jobs=1, random_state=0,
        verbose=-1),
    "xgboost": xgb.XGBClassifier(n_estimators=200, learning_rate=0.05,
        max_leaves=15, max_depth=0, grow_policy="lossguide",
        enable_categorical=True, n_jobs=1, random_state=0)}
for nhom, cac_model in [("mặc định", mac_dinh), ("cùng tham số", cung_tham_so)]:
    diem = {}
    for ten, m in cac_model.items():
        kq = cross_validate(m, X, y, cv=folds, scoring="roc_auc")
        diem[ten] = kq["test_score"]
        print(nhom, ten, f"{kq['test_score'].mean():.3f} ± {kq['test_score'].std(ddof=1):.3f}",
              "| fit", round(kq["fit_time"].mean(), 2), "s")
    for ten in ["lightgbm", "xgboost"]:
        d = diem[ten] - diem["hgb"]
        print("   ", ten, "- hgb:", d.round(3), "| d̄:", round(d.mean(), 4),
              "| s_d:", round(d.std(ddof=1), 4))

Kết quả trên máy (một luồng, mỗi fold fit trên 2.400 dòng):

Cách đặt tham số

Thư viện

ROC-AUC 5 fold

Fit một fold

Hiệu với HGB theo 5 fold

Mặc định

HistGradientBoosting

0,762 ± 0,022

0,30 s

Mặc định

LightGBM

0,755 ± 0,028

0,09 s

0,005; −0,008; 0,000; −0,015; −0,015

Mặc định

XGBoost

0,730 ± 0,030

0,14 s

−0,039; −0,038; −0,016; −0,040; −0,025

Cùng tham số

HistGradientBoosting

0,765 ± 0,024

0,35 s

Cùng tham số

LightGBM

0,766 ± 0,027

0,12 s

0,002; 0,002; 0,003; −0,004; 0,001

Cùng tham số

XGBoost

0,758 ± 0,031

0,24 s

−0,017; −0,016; 0,014; −0,014; 0,000

"Cùng tham số" là 200 cây, tốc độ học 0,05, tối đa 15 lá, ít nhất 20 dòng mỗi lá (XGBoost không có tham số số dòng nên để mặc định). Đọc bảng theo cột hiệu, không theo hạng:

  • Với mặc định, XGBoost thua HistGradientBoosting ở cả năm fold, trung bình 0,031 (s_d 0,011). Đặt cùng tham số, khoảng cách co còn 0,0065, s_d 0,0135, có một fold XGBoost hơn: phần lớn khoảng cách lúc đầu đến từ tốc độ học 0,3 và cây sâu, không đến từ thư viện.

  • LightGBM và HistGradientBoosting cùng tham số chênh trung bình 0,0008, mỗi fold dưới 0,005, hiệu đổi dấu: không tách được.

  • LightGBM fit nhanh gấp khoảng ba HistGradientBoosting, nhưng ở cỡ này mọi con số đều dưới nửa giây.

Kết luận dùng được: muốn so hai thư viện, đặt chúng cùng tham số chính trước, rồi đọc hiệu theo từng fold. Khi chưa có lý do riêng, HistGradientBoostingClassifier không phải cài thêm gì; LightGBM hay XGBoost đáng cài khi cần thứ chỉ thư viện đó có (huấn luyện trên GPU, hàm mất mát tự viết, tham số riêng), hay khi đội của bạn đã dùng sẵn.

CatBoost

CatBoost là thư viện gradient boosting thứ tư hay được nhắc cạnh xgboost và LightGBM. Nó dựng cây đối xứng (các nút cùng tầng hỏi cùng một câu) và mã hóa cột nhóm bằng thống kê nhãn tính theo thứ tự dòng, để giảm rò nhãn khi cột có nhiều nhóm. Lớp CatBoostClassifier nhận tên các cột nhóm qua tham số cat_features= của fit:

python
from catboost import CatBoostClassifier
mo_hinh = CatBoostClassifier(iterations=200, depth=4, verbose=0,
                             random_seed=0, thread_count=1)
mo_hinh.fit(X_tr, y_tr, cat_features=["tinh", "kenh_dang_ky", "goi"])
print("ROC-AUC test:", round(roc_auc_score(y_te, mo_hinh.predict_proba(X_te)[:, 1]), 3))
text
ROC-AUC test: 0.767

Kết quả lấy từ catboost 1.2.10, trên cùng X_tr, X_te của ví dụ XGBoost: 0,767 so với 0,763, một lần chia nên chưa nói được bên nào hơn. CatBoost không nằm trong bảng đo ở trên.

Kiểm tra nhanh

  1. Tham số nào của HistGradientBoostingClassifier làm cùng việc với reg_lambda của XGBoost?

    • learning_rate
    • l2_regularization
    • min_samples_leaf
  2. Với tham số mặc định, XGBoost thua HistGradientBoosting 0,031 ROC-AUC ở cả năm fold; đặt cùng tham số thì còn 0,0065 và có một fold đổi dấu. Kết luận nào đúng?

    • HistGradientBoosting là thư viện tốt hơn XGBoost
    • Phần lớn khoảng cách lúc đầu đến từ giá trị mặc định khác nhau, chưa nói được thư viện nào tốt hơn
    • XGBoost bị overfitting vì thua ở mọi fold
  3. Trong lá có G = −2 và H = 3, với reg_lambda=1, XGBoost cho lá giá trị bao nhiêu?

    • −0,5
    • 0,5
    • 0,667
Đúng hết lần đầu +15 XP

Bài tập

Đổi tham số LightGBM, XGBoost sang HistGradientBoosting

tham_so là dict tham số viết theo tên của LightGBM hay XGBoost. TEN_HGB trong starter là bảng tra nhanh ở trên, viết dạng dict. Viết thân hàm sang_hgb(tham_so): với mỗi khóa có trong TEN_HGB, đổi tên khóa sang tên của HistGradientBoosting và giữ giá trị; bỏ khóa không có trong bảng. Thêm hai quy tắc về giá trị: max_depth hay max_leaves nhỏ hơn hay bằng 0 (cách LightGBM, XGBoost nói "không giới hạn") thành None; max_bin lớn hơn 255 thành 255. Hàm không sửa tham_so.

Trả về: tham số mới, một dict.

Ví dụ: sang_hgb({"eta": 0.3, "max_depth": 0, "max_bin": 256, "tree_method": "hist"}) trả {"learning_rate": 0.3, "max_depth": None, "max_bins": 255}.

python
TEN_HGB = {"n_estimators": "max_iter", "learning_rate": "learning_rate",
           "eta": "learning_rate", "num_leaves": "max_leaf_nodes",
           "max_leaves": "max_leaf_nodes", "max_depth": "max_depth",
           "min_child_samples": "min_samples_leaf",
           "reg_lambda": "l2_regularization", "max_bin": "max_bins"}

def sang_hgb(tham_so):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • XGBoost là gradient boosting có XGBClassifier, XGBRegressor theo kiểu scikit-learn; giá trị lá là −G / (H + λ), với reg_lambda mặc định 1.

  • Tên tham số khác nhau giữa ba thư viện: số cây là max_iter ở HGB, n_estimators ở hai thư viện kia; số lá là max_leaf_nodes, num_leaves, max_leaves.

  • Cột category: XGBoost 3 bật enable_categorical sẵn (bản 2.x phải tự bật); LightGBM tự nhận; HGB dùng categorical_features="from_dtype". Cột dtype str thì cả ba đều phải đổi sang category trước.

  • Trên bảng hội viên, khoảng cách 0,031 của XGBoost mặc định co còn 0,0065 khi đặt cùng tham số; LightGBM và HGB cùng tham số không tách được, LightGBM fit nhanh gấp khoảng ba.

  • Chọn thư viện bằng số đo trên chính bảng của bạn, đọc độ lệch giữa các lần chạy trước khi đọc hạng.

Câu hỏi thường gặp

XGBoost là gì?

XGBoost (eXtreme Gradient Boosting) là thư viện mã nguồn mở cài đặt gradient boosting trên cây, có bản Python, R, Java và các bản khác. Trong Python, XGBClassifier và XGBRegressor có fit, predict, predict_proba giống các model scikit-learn khác; vì thế đặt chúng vào Pipeline hay cross_val_score được.

Nên chọn xgboost vs lightgbm?

Trên bảng hội viên, khi đặt cùng tham số, LightGBM nhỉnh XGBoost 0,008 trung bình và fit nhanh gấp đôi; với tham số mặc định XGBoost thua rõ hơn, chủ yếu vì tốc độ học 0,3. Khi đội của bạn đã quen một thư viện, giữ nó thường đáng giá hơn khác biệt điểm nhỏ đó. Muốn chắc, đặt cùng tham số rồi đo trên bảng của bạn với cùng các fold.

Cài XGBoost thế nào?

Chạy pip install xgboost. Gói trên PyPI kèm bản biên dịch cho Windows, macOS và Linux; bản đầy đủ có cả phần GPU nên khá nặng, còn pip install xgboost-cpu là bản chỉ dùng CPU, nhẹ hơn. Code của trang chạy kiểm trên xgboost 3.4.1; cần đúng bản đó thì cài pip install xgboost==3.4.1.

Chủ đề

xgboost

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập