Bỏ qua đến nội dung chính
Mục lục

LightGBM: LGBMClassifier, bốn tham số và early stopping

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 6/10 · Chương 6

Cây quyết định, Random Forest và boosting

  • 8 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

LightGBM là thư viện gradient boosting của Microsoft, chạy rất nhanh trên bảng lớn và có lớp LGBMClassifier, LGBMRegressor dùng y như model của scikit-learn. Nếu đã quen HistGradientBoostingClassifier, bạn đã biết gần hết ý tưởng: chia bin, cây giới hạn theo số lá, dừng sớm theo phần validation. Bài này đối chiếu bốn tham số chính của hai thư viện, rồi dừng sớm bằng eval_X= và eval_y=.

Cần biết trước: HistGradientBoosting, train, validation, test và ROC-AUC.

Cài LightGBM và fit LGBMClassifier

Trang này chỉ hiển thị code LightGBM: thư viện chưa nạp được trong trình duyệt của trang. Chạy trên máy sau khi cài bằng pip install lightgbm; mọi kết quả in dưới đây lấy từ lần chạy với lightgbm 4.7.0, scikit-learn 1.8.0, pandas 3.0.2, Python 3.14, một luồng.

Bảng hoi_vien.csv có ba cột chữ. Đọc chúng thẳng thành dtype category bằng tham số dtype= của read_csv, rồi fit như mọi model scikit-learn:

python
import lightgbm as lgb
import pandas as pd
from sklearn.metrics import roc_auc_score
from sklearn.model_selection import train_test_split
loai = dict.fromkeys(["tinh", "kenh_dang_ky", "goi"], "category")
kh = pd.read_csv("hoi_vien.csv", dtype=loai)
y = kh.pop("roi_bo")
X = kh.drop(columns=["ma_kh", "hoi_cach_huy_sau_moc"])
X_tr, X_te, y_tr, y_te = train_test_split(X, y, random_state=0)
mo_hinh = lgb.LGBMClassifier(n_estimators=100, learning_rate=0.1,
    num_leaves=15, min_child_samples=20, random_state=0, verbose=-1)
mo_hinh.fit(X_tr, y_tr)
p = mo_hinh.predict_proba(X_te)[:, 1]
print("ROC-AUC test:", round(roc_auc_score(y_te, p), 3))
text
ROC-AUC test: 0.756

verbose=-1 cho LightGBM im lặng khi fit. Cột chữ đã là category nên LightGBM tự dùng chúng như nhóm giá trị (categorical_feature="auto" của fit), và cột diem_danh_gia_tb có ô trống cũng không cần xử lý trước. Kết quả 0,756 gần với 0,755 của HistGradientBoostingClassifier trên cùng cách chia ở bài trước.

Bốn tham số và tên tương ứng trong HistGradientBoosting

LightGBM

HistGradientBoosting

Ý nghĩa

Mặc định LightGBM

n_estimators

max_iter

số cây tối đa

100

learning_rate

learning_rate

phần của mỗi cây được cộng vào

0,1

num_leaves

max_leaf_nodes

số lá tối đa của một cây

31

min_child_samples

min_samples_leaf

số dòng tối thiểu ở một lá

20

Cả hai thư viện giới hạn cây bằng số lá, không bằng số tầng, vì cây mọc theo lá (leaf-wise): mỗi bước chia lá nào làm sai số giảm nhiều nhất, dù lá đó nằm sâu. Một cây nhị phân có số lá hơn số câu hỏi đúng một:

L=s+1L = s + 1

Trong đó:

  • L (num_leaves): số lá của cây;

  • s: số câu hỏi (nút chia) của cây.

Tính tay: num_leaves=15 cho phép tối đa 14 câu hỏi. Một cây mọc đều theo tầng có 15 câu hỏi khi đủ 4 tầng (1 + 2 + 4 + 8) và 16 lá. Cây theo lá dồn câu hỏi vào nhánh có lợi nhất, nên có thể sâu hơn. DecisionTreeClassifier của scikit-learn cũng mọc theo lá khi đặt max_leaf_nodes, nên khối dưới chạy được ngay trên trang:

python
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier
kh = pd.read_csv("hoi_vien.csv")
y = kh.pop("roi_bo")
X = kh.select_dtypes("number").iloc[:, :10]
X_tr, X_te, y_tr, y_te = train_test_split(X, y, random_state=0)
for kieu in [dict(max_depth=4), dict(max_leaf_nodes=15)]:
    cay = DecisionTreeClassifier(random_state=0, **kieu).fit(X_tr, y_tr)
    so_cau_hoi = (cay.tree_.children_left != -1).sum()
    print(kieu, "lá:", cay.get_n_leaves(), "| câu hỏi:", so_cau_hoi,
          "| tầng:", cay.get_depth())

KẾT QUẢ

{'max_depth': 4} lá: 16 | câu hỏi: 15 | tầng: 4
{'max_leaf_nodes': 15} lá: 15 | câu hỏi: 14 | tầng: 6

Cả hai dòng đều đúng công thức: số lá hơn số câu hỏi một. Cây theo lá có ít lá hơn nhưng sâu tới 6 tầng. Cây đầu tiên của model LightGBM ở trên còn lệch hơn; đọc nó bằng trees_to_dataframe():

python
cay = mo_hinh.booster_.trees_to_dataframe().query("tree_index == 0")
print("lá:", cay["split_feature"].isna().sum(),
      "| câu hỏi:", cay["split_feature"].notna().sum(),
      "| tầng sâu nhất:", cay["node_depth"].max() - 1)
text
lá: 15 | câu hỏi: 14 | tầng sâu nhất: 7

Mười bốn câu hỏi nhưng có lá nằm ở tầng 7: cây lệch về những nhánh đông hội viên rời bỏ. Vì vậy với LightGBM, chỉnh num_leaves là cách chính để giới hạn độ phức tạp; max_depth (mặc định -1, không giới hạn) chỉ là chốt chặn phụ.

Early stopping với eval_X và eval_y

Như early_stopping=True của bài trước, LightGBM có thể dừng thêm cây khi phần validation ngừng tốt lên. Khác ở chỗ bạn tự tách phần validation và đưa vào fit qua eval_X= và eval_y=, còn điều kiện dừng là một callback: lgb.early_stopping(30) dừng sau 30 cây liên tiếp không làm log loss trên phần đó giảm.

python
X_fit, X_val, y_fit, y_val = train_test_split(
    X_tr, y_tr, test_size=0.2, stratify=y_tr, random_state=0)
mo_hinh = lgb.LGBMClassifier(n_estimators=500, learning_rate=0.05,
    num_leaves=7, min_child_samples=30, random_state=0, verbose=-1)
mo_hinh.fit(X_fit, y_fit, eval_X=X_val, eval_y=y_val,
            callbacks=[lgb.early_stopping(30, verbose=False)])
print("cây tốt nhất:", mo_hinh.best_iteration_)
print("số cây trong model:", mo_hinh.booster_.num_trees())
p = mo_hinh.predict_proba(X_te)[:, 1]
print("ROC-AUC test:", round(roc_auc_score(y_te, p), 3))
text
cây tốt nhất: 82
số cây trong model: 82
ROC-AUC test: 0.764

Trần là 500 cây, nhưng model chỉ còn 82: cây 82 cho log loss nhỏ nhất trên X_val, ba mươi cây chờ sau nó không tốt hơn, và LightGBM bỏ các cây chờ đó khỏi model. HistGradientBoosting thì giữ lại cả những cây chờ. Phần test vẫn chưa tham gia vào lựa chọn nào, nên 0,764 là con số đáng tin.

Code cũ hay bản 4.6 viết eval_set=[(X_val, y_val)]. Trên 4.7, cách viết đó vẫn chạy và ra đúng 82 cây, nhưng in LGBMDeprecationWarning: The argument 'eval_set' is deprecated, use 'eval_X' and 'eval_y' instead. Cần giữ bản cũ thì cài pip install lightgbm==4.6.0 và dùng eval_set=. Các lỗi hay gặp khi nâng phiên bản, như early_stopping_rounds không còn được nhận trong fit, có ở bài lỗi LightGBM.

Cột category trong LightGBM

Với cột category, mỗi câu hỏi của LightGBM chia các nhóm giá trị thành hai phía (ví dụ gói "Năm" một bên, "Quý" và "Tháng" một bên) thay cho so ngưỡng. Danh sách nhóm của từng cột lúc fit được lưu trong model:

python
for nhom in mo_hinh.booster_.pandas_categorical:
    print(len(nhom), nhom[:3])
text
34 ['An Giang', 'Bắc Ninh', 'Cao Bằng']
5 ['App', 'Facebook', 'TikTok']
3 ['Năm', 'Quý', 'Tháng']

Khi predict, LightGBM đối chiếu nhóm của dữ liệu mới với danh sách này, nên phần test phải có cùng tên cột và cùng dtype category. Muốn chỉ định cột tay, truyền categorical_feature=["tinh", "goi"] vào fit; khi để mặc định, mọi cột dtype category được dùng như cột nhóm. Cột chữ chưa đổi sang category thì fit báo lỗi, xem bài lỗi LightGBM.

Kiểm tra nhanh

  1. Tham số nào của HistGradientBoostingClassifier ứng với num_leaves của LightGBM?

    • max_iter
    • max_leaf_nodes
    • min_samples_leaf
  2. Một cây LightGBM có num_leaves=31. Nó có tối đa bao nhiêu câu hỏi?

    • 31
    • 30
    • 5, vì 2 mũ 5 bằng 32
  3. Những cách dùng early stopping nào giữ được phần test sạch?

    • Tách X_val từ phần train, truyền eval_X=X_val, eval_y=y_val
    • Truyền eval_X=X_te, eval_y=y_te rồi báo ROC-AUC trên X_te
    • Dùng early_stopping=True của HistGradientBoostingClassifier, rồi chấm phần test một lần
  4. Cần làm gì để LightGBM dùng cột goi như cột nhóm?

    • Đổi cột sang dtype category trước khi fit
    • Chuẩn hóa cột bằng StandardScaler
    • Không làm được, LightGBM chỉ nhận cột số
Đúng hết lần đầu +15 XP

Bài tập

Số cây tốt nhất khi dừng sớm

loss là list log loss trên phần validation sau từng cây (phần tử đầu là sau cây 1). kien_nhan là số cây liên tiếp được phép không tốt hơn. Viết thân hàm vong_dung(loss, kien_nhan) mô phỏng early stopping. Đi lần lượt từng cây và ghi nhớ cây có loss nhỏ nhất tính đến lúc đó; chỉ tính là tốt hơn khi nhỏ hơn hẳn. Dừng khi đã qua kien_nhan cây kể từ cây tốt nhất mà không có cây nào tốt hơn. Hàm không sửa list của nơi gọi.

Trả về: số thứ tự (đếm từ 1) của cây tốt nhất lúc dừng, một int.

Ví dụ: vong_dung([0.5, 0.45, 0.44, 0.46, 0.47, 0.30, 0.2], 2) trả 3: sau cây 3, hai cây 4 và 5 không tốt hơn nên dừng, dù cây 6 tốt hơn.

python
def vong_dung(loss, kien_nhan):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • LightGBM là gradient boosting chia bin và mọc cây theo lá; LGBMClassifier, LGBMRegressor có fit, predict như scikit-learn.

  • Bốn tham số chính: n_estimators, learning_rate, num_leaves, min_child_samples, ứng với max_iter, learning_rate, max_leaf_nodes, min_samples_leaf của HistGradientBoosting.

  • Số lá của một cây hơn số câu hỏi đúng một; cây theo lá có thể sâu hơn nhiều so với cây mọc đều cùng số lá.

  • Early stopping: tách phần validation từ phần train, truyền eval_X=, eval_y= (bản 4.6 trở về trước: eval_set=) và callbacks=[lgb.early_stopping(n)]; model chỉ giữ best_iteration_ cây đầu.

  • Cột dtype category được dùng trực tiếp; phần test phải có cùng cột và cùng dtype.

Câu hỏi thường gặp

LGBM là gì?

LGBM là cách viết tắt hay gặp của LightGBM (Light Gradient Boosting Machine), cũng là tiền tố tên lớp: LGBMClassifier, LGBMRegressor. Đó là cùng một thư viện.

LightGBM python cài thế nào?

Chạy pip install lightgbm trong môi trường Python của bạn; gói kèm sẵn bản biên dịch cho Windows, macOS và Linux. Trên Linux tối giản, có thể phải cài thêm thư viện OpenMP của hệ điều hành (gói libgomp1 trên Debian, Ubuntu).

Nên dùng LightGBM hay HistGradientBoosting?

Trên bảng vài nghìn dòng như bảng hội viên, hai thư viện cho điểm gần như nhau, và HistGradientBoosting không cần cài thêm. LightGBM có lợi khi bảng rất lớn hay cần những tham số mà scikit-learn không có. Bài XGBoost, LightGBM hay HistGradientBoosting đo cả ba trên cùng dữ liệu.

LightGBM có cần chuẩn hóa cột không?

Không, cũng như mọi model cây: câu hỏi chỉ so cột với ngưỡng, như bài tỉa cây đã kiểm.

Chủ đề

lightgbm

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập