LightGBM: LGBMClassifier, bốn tham số và early stopping
Bài 6/10 · Chương 6
Cây quyết định, Random Forest và boosting
- 8 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 12
LightGBM là thư viện gradient boosting của Microsoft, chạy rất nhanh trên bảng lớn và có lớp LGBMClassifier, LGBMRegressor dùng y như model của scikit-learn. Nếu đã quen HistGradientBoostingClassifier, bạn đã biết gần hết ý tưởng: chia bin, cây giới hạn theo số lá, dừng sớm theo phần validation. Bài này đối chiếu bốn tham số chính của hai thư viện, rồi dừng sớm bằng eval_X= và eval_y=.
Cần biết trước: HistGradientBoosting, train, validation, test và ROC-AUC.
Cài LightGBM và fit LGBMClassifier
Trang này chỉ hiển thị code LightGBM: thư viện chưa nạp được trong trình duyệt của trang. Chạy trên máy sau khi cài bằng pip install lightgbm; mọi kết quả in dưới đây lấy từ lần chạy với lightgbm 4.7.0, scikit-learn 1.8.0, pandas 3.0.2, Python 3.14, một luồng.
Bảng hoi_vien.csv có ba cột chữ. Đọc chúng thẳng thành dtype category bằng tham số dtype= của read_csv, rồi fit như mọi model scikit-learn:
import lightgbm as lgb
import pandas as pd
from sklearn.metrics import roc_auc_score
from sklearn.model_selection import train_test_split
loai = dict.fromkeys(["tinh", "kenh_dang_ky", "goi"], "category")
kh = pd.read_csv("hoi_vien.csv", dtype=loai)
y = kh.pop("roi_bo")
X = kh.drop(columns=["ma_kh", "hoi_cach_huy_sau_moc"])
X_tr, X_te, y_tr, y_te = train_test_split(X, y, random_state=0)
mo_hinh = lgb.LGBMClassifier(n_estimators=100, learning_rate=0.1,
num_leaves=15, min_child_samples=20, random_state=0, verbose=-1)
mo_hinh.fit(X_tr, y_tr)
p = mo_hinh.predict_proba(X_te)[:, 1]
print("ROC-AUC test:", round(roc_auc_score(y_te, p), 3))
ROC-AUC test: 0.756
verbose=-1 cho LightGBM im lặng khi fit. Cột chữ đã là category nên LightGBM tự dùng chúng như nhóm giá trị (categorical_feature="auto" của fit), và cột diem_danh_gia_tb có ô trống cũng không cần xử lý trước. Kết quả 0,756 gần với 0,755 của HistGradientBoostingClassifier trên cùng cách chia ở bài trước.
Bốn tham số và tên tương ứng trong HistGradientBoosting
LightGBM | HistGradientBoosting | Ý nghĩa | Mặc định LightGBM |
|---|---|---|---|
|
| số cây tối đa | 100 |
|
| phần của mỗi cây được cộng vào | 0,1 |
|
| số lá tối đa của một cây | 31 |
|
| số dòng tối thiểu ở một lá | 20 |
Cả hai thư viện giới hạn cây bằng số lá, không bằng số tầng, vì cây mọc theo lá (leaf-wise): mỗi bước chia lá nào làm sai số giảm nhiều nhất, dù lá đó nằm sâu. Một cây nhị phân có số lá hơn số câu hỏi đúng một:
Trong đó:
L(num_leaves): số lá của cây;s: số câu hỏi (nút chia) của cây.
Tính tay: num_leaves=15 cho phép tối đa 14 câu hỏi. Một cây mọc đều theo tầng có 15 câu hỏi khi đủ 4 tầng (1 + 2 + 4 + 8) và 16 lá. Cây theo lá dồn câu hỏi vào nhánh có lợi nhất, nên có thể sâu hơn. DecisionTreeClassifier của scikit-learn cũng mọc theo lá khi đặt max_leaf_nodes, nên khối dưới chạy được ngay trên trang:
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier
kh = pd.read_csv("hoi_vien.csv")
y = kh.pop("roi_bo")
X = kh.select_dtypes("number").iloc[:, :10]
X_tr, X_te, y_tr, y_te = train_test_split(X, y, random_state=0)
for kieu in [dict(max_depth=4), dict(max_leaf_nodes=15)]:
cay = DecisionTreeClassifier(random_state=0, **kieu).fit(X_tr, y_tr)
so_cau_hoi = (cay.tree_.children_left != -1).sum()
print(kieu, "lá:", cay.get_n_leaves(), "| câu hỏi:", so_cau_hoi,
"| tầng:", cay.get_depth())KẾT QUẢ
{'max_depth': 4} lá: 16 | câu hỏi: 15 | tầng: 4
{'max_leaf_nodes': 15} lá: 15 | câu hỏi: 14 | tầng: 6Cả hai dòng đều đúng công thức: số lá hơn số câu hỏi một. Cây theo lá có ít lá hơn nhưng sâu tới 6 tầng. Cây đầu tiên của model LightGBM ở trên còn lệch hơn; đọc nó bằng trees_to_dataframe():
cay = mo_hinh.booster_.trees_to_dataframe().query("tree_index == 0")
print("lá:", cay["split_feature"].isna().sum(),
"| câu hỏi:", cay["split_feature"].notna().sum(),
"| tầng sâu nhất:", cay["node_depth"].max() - 1)
lá: 15 | câu hỏi: 14 | tầng sâu nhất: 7
Mười bốn câu hỏi nhưng có lá nằm ở tầng 7: cây lệch về những nhánh đông hội viên rời bỏ. Vì vậy với LightGBM, chỉnh num_leaves là cách chính để giới hạn độ phức tạp; max_depth (mặc định -1, không giới hạn) chỉ là chốt chặn phụ.
Early stopping với eval_X và eval_y
Như early_stopping=True của bài trước, LightGBM có thể dừng thêm cây khi phần validation ngừng tốt lên. Khác ở chỗ bạn tự tách phần validation và đưa vào fit qua eval_X= và eval_y=, còn điều kiện dừng là một callback: lgb.early_stopping(30) dừng sau 30 cây liên tiếp không làm log loss trên phần đó giảm.
X_fit, X_val, y_fit, y_val = train_test_split(
X_tr, y_tr, test_size=0.2, stratify=y_tr, random_state=0)
mo_hinh = lgb.LGBMClassifier(n_estimators=500, learning_rate=0.05,
num_leaves=7, min_child_samples=30, random_state=0, verbose=-1)
mo_hinh.fit(X_fit, y_fit, eval_X=X_val, eval_y=y_val,
callbacks=[lgb.early_stopping(30, verbose=False)])
print("cây tốt nhất:", mo_hinh.best_iteration_)
print("số cây trong model:", mo_hinh.booster_.num_trees())
p = mo_hinh.predict_proba(X_te)[:, 1]
print("ROC-AUC test:", round(roc_auc_score(y_te, p), 3))
cây tốt nhất: 82
số cây trong model: 82
ROC-AUC test: 0.764
Trần là 500 cây, nhưng model chỉ còn 82: cây 82 cho log loss nhỏ nhất trên X_val, ba mươi cây chờ sau nó không tốt hơn, và LightGBM bỏ các cây chờ đó khỏi model. HistGradientBoosting thì giữ lại cả những cây chờ. Phần test vẫn chưa tham gia vào lựa chọn nào, nên 0,764 là con số đáng tin.
Code cũ hay bản 4.6 viết eval_set=[(X_val, y_val)]. Trên 4.7, cách viết đó vẫn chạy và ra đúng 82 cây, nhưng in LGBMDeprecationWarning: The argument 'eval_set' is deprecated, use 'eval_X' and 'eval_y' instead. Cần giữ bản cũ thì cài pip install lightgbm==4.6.0 và dùng eval_set=. Các lỗi hay gặp khi nâng phiên bản, như early_stopping_rounds không còn được nhận trong fit, có ở bài lỗi LightGBM.
Cột category trong LightGBM
Với cột category, mỗi câu hỏi của LightGBM chia các nhóm giá trị thành hai phía (ví dụ gói "Năm" một bên, "Quý" và "Tháng" một bên) thay cho so ngưỡng. Danh sách nhóm của từng cột lúc fit được lưu trong model:
for nhom in mo_hinh.booster_.pandas_categorical:
print(len(nhom), nhom[:3])
34 ['An Giang', 'Bắc Ninh', 'Cao Bằng']
5 ['App', 'Facebook', 'TikTok']
3 ['Năm', 'Quý', 'Tháng']
Khi predict, LightGBM đối chiếu nhóm của dữ liệu mới với danh sách này, nên phần test phải có cùng tên cột và cùng dtype category. Muốn chỉ định cột tay, truyền categorical_feature=["tinh", "goi"] vào fit; khi để mặc định, mọi cột dtype category được dùng như cột nhóm. Cột chữ chưa đổi sang category thì fit báo lỗi, xem bài lỗi LightGBM.
Kiểm tra nhanh
Tham số nào của
HistGradientBoostingClassifierứng vớinum_leavescủa LightGBM?max_itermax_leaf_nodesmin_samples_leaf
Một cây LightGBM có
num_leaves=31. Nó có tối đa bao nhiêu câu hỏi?- 31
- 30
- 5, vì 2 mũ 5 bằng 32
Những cách dùng early stopping nào giữ được phần test sạch?
- Tách
X_valtừ phần train, truyềneval_X=X_val, eval_y=y_val - Truyền
eval_X=X_te, eval_y=y_terồi báo ROC-AUC trênX_te - Dùng
early_stopping=TruecủaHistGradientBoostingClassifier, rồi chấm phần test một lần
- Tách
Cần làm gì để LightGBM dùng cột
goinhư cột nhóm?- Đổi cột sang dtype
categorytrước khi fit - Chuẩn hóa cột bằng
StandardScaler - Không làm được, LightGBM chỉ nhận cột số
- Đổi cột sang dtype
Bài tập
Số cây tốt nhất khi dừng sớm
loss là list log loss trên phần validation sau từng cây (phần tử đầu là sau cây 1). kien_nhan là số cây liên tiếp được phép không tốt hơn. Viết thân hàm vong_dung(loss, kien_nhan) mô phỏng early stopping. Đi lần lượt từng cây và ghi nhớ cây có loss nhỏ nhất tính đến lúc đó; chỉ tính là tốt hơn khi nhỏ hơn hẳn. Dừng khi đã qua kien_nhan cây kể từ cây tốt nhất mà không có cây nào tốt hơn. Hàm không sửa list của nơi gọi.
Trả về: số thứ tự (đếm từ 1) của cây tốt nhất lúc dừng, một int.
Ví dụ: vong_dung([0.5, 0.45, 0.44, 0.46, 0.47, 0.30, 0.2], 2) trả 3: sau cây 3, hai cây 4 và 5 không tốt hơn nên dừng, dù cây 6 tốt hơn.
def vong_dung(loss, kien_nhan):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
LightGBM là gradient boosting chia bin và mọc cây theo lá;
LGBMClassifier,LGBMRegressorcófit,predictnhư scikit-learn.Bốn tham số chính:
n_estimators,learning_rate,num_leaves,min_child_samples, ứng vớimax_iter,learning_rate,max_leaf_nodes,min_samples_leafcủa HistGradientBoosting.Số lá của một cây hơn số câu hỏi đúng một; cây theo lá có thể sâu hơn nhiều so với cây mọc đều cùng số lá.
Early stopping: tách phần validation từ phần train, truyền
eval_X=,eval_y=(bản 4.6 trở về trước:eval_set=) vàcallbacks=[lgb.early_stopping(n)]; model chỉ giữbest_iteration_cây đầu.Cột dtype
categoryđược dùng trực tiếp; phần test phải có cùng cột và cùng dtype.
Câu hỏi thường gặp
LGBM là gì?
LGBM là cách viết tắt hay gặp của LightGBM (Light Gradient Boosting Machine), cũng là tiền tố tên lớp: LGBMClassifier, LGBMRegressor. Đó là cùng một thư viện.
LightGBM python cài thế nào?
Chạy pip install lightgbm trong môi trường Python của bạn; gói kèm sẵn bản biên dịch cho Windows, macOS và Linux. Trên Linux tối giản, có thể phải cài thêm thư viện OpenMP của hệ điều hành (gói libgomp1 trên Debian, Ubuntu).
Nên dùng LightGBM hay HistGradientBoosting?
Trên bảng vài nghìn dòng như bảng hội viên, hai thư viện cho điểm gần như nhau, và HistGradientBoosting không cần cài thêm. LightGBM có lợi khi bảng rất lớn hay cần những tham số mà scikit-learn không có. Bài XGBoost, LightGBM hay HistGradientBoosting đo cả ba trên cùng dữ liệu.
LightGBM có cần chuẩn hóa cột không?
Không, cũng như mọi model cây: câu hỏi chỉ so cột với ngưỡng, như bài tỉa cây đã kiểm.
Chủ đề
Dữ liệu của bài
- Tải xuống
hoi_vien.csv
CSV · 207.25 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.