Bỏ qua đến nội dung chính
Mục lục

Gradient boosting trong sklearn: HistGradientBoosting

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 5/10 · Chương 6

Cây quyết định, Random Forest và boosting

  • 9 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Gradient boosting là cách ghép nhiều cây nhỏ nối tiếp, mỗi cây học phần mà các cây trước đoán sai. scikit-learn có sẵn hai lớp làm việc này nhanh: HistGradientBoostingRegressor cho nhãn số và HistGradientBoostingClassifier cho nhãn lớp. Chúng nhận thẳng cột chữ (khi đổi sang category) và ô trống, và biết tự ngừng mọc thêm cây khi một phần dữ liệu để riêng không còn được chấm tốt hơn.

Cần biết trước: boosting, kiểu category của pandas và ROC-AUC.

Chia bin: vì sao HistGradientBoosting nhanh

Vòng boosting tự viết ở bài trước dùng DecisionTreeRegressor, và cây đó thử mọi ngưỡng giữa hai giá trị kề nhau của mỗi cột. Lớp Hist… làm một việc trước khi fit: chia mỗi cột vào tối đa 255 bin (max_bins=255) theo phân vị, rồi chỉ thử ngưỡng giữa các bin. "Hist" là histogram: mỗi bin là một cột của biểu đồ tần suất. Chỉ cột có hơn 255 giá trị khác nhau mới bị gom. Cột khoang_cach_km của bảng giao hàng có 155 giá trị khác nhau, nên được giữ nguyên mỗi giá trị một bin; mọi cột số của bảng giao hàng đều dưới 255 giá trị. Cột chi_tieu_90_ngay_nghin của bảng hội viên thì khác: 1.411 giá trị khác nhau, và scikit-learn gom nó về đúng 255 bin. Code dưới làm việc gom đó bằng tay với 8 bin, dùng 7 ngưỡng phân vị:

python
import numpy as np
import pandas as pd

kh = pd.read_csv("hoi_vien.csv")
chi = kh["chi_tieu_90_ngay_nghin"].to_numpy()
nguong = np.quantile(chi, np.linspace(0, 1, 9)[1:-1])
bin_chi = np.searchsorted(nguong, chi)
print("giá trị khác nhau:", len(np.unique(chi)))
print("ngưỡng:", nguong.round(1))
print("số hội viên mỗi bin:", np.bincount(bin_chi))

KẾT QUẢ

giá trị khác nhau: 1411
ngưỡng: [ 130.8  288.   448.   617.   830.4 1115.2 1617.2]
số hội viên mỗi bin: [375 379 373 375 373 375 375 375]

np.searchsorted(nguong, chi) trả số thứ tự bin cho mỗi hội viên: bằng số ngưỡng nhỏ hơn hẳn giá trị đó, nên giá trị đúng bằng một ngưỡng ở lại bin bên trái ngưỡng đó. Vì ngưỡng là phân vị, mỗi bin có gần bằng số hội viên. Trước khi gom, cây phải thử 1.410 ngưỡng cho riêng cột này; sau khi gom còn 7. Đổi np.linspace(0, 1, 9) thành np.linspace(0, 1, 5) rồi chạy lại: còn ba ngưỡng và dòng cuối in số hội viên mỗi bin: [754 748 748 750].

Lợi thứ hai đến từ chính histogram. Cây thường phải sắp xếp lại giá trị của cột ở mỗi nút để quét các ngưỡng. Bản Hist… thì chỉ đi qua các dòng của nút một lượt, cộng gradient của từng dòng vào bin của nó, rồi quét tối đa 255 tổng đó; histogram của nút con này còn lấy được bằng histogram nút cha trừ histogram nút con kia. Vì vậy 3.000 dòng hay 3 triệu dòng đều chỉ có tối đa 255 bin để xét ở mỗi cột.

Cột category đi thẳng vào model

Bảng giao hàng có bốn cột chữ: thành phố, loại đơn, thời tiết, phương tiện. Đổi chúng sang dtype category (bài astype) thì HistGradientBoostingRegressor dùng trực tiếp, nhờ tham số categorical_features="from_dtype" (mặc định): cột nào là category thì được chia theo nhóm giá trị, không theo ngưỡng. So hai lần fit, chỉ sáu cột số và đủ mười cột:

python
import pandas as pd
from sklearn.ensemble import HistGradientBoostingRegressor
from sklearn.metrics import r2_score
from sklearn.model_selection import train_test_split
gh = pd.read_csv("thoi_gian_giao_hang.csv")
y = gh.pop("thoi_gian_giao_phut")
chu = gh.select_dtypes("str").columns
gh[chu] = gh[chu].astype("category")
X_tr, X_te, y_tr, y_te = train_test_split(gh, y, random_state=0)
for cot in [X_tr.columns.drop(chu), X_tr.columns]:
    hgb = HistGradientBoostingRegressor(
        max_iter=50, max_leaf_nodes=15, random_state=0)
    hgb.fit(X_tr[cot], y_tr)
    r2 = r2_score(y_te, hgb.predict(X_te[cot]))
    print(len(cot), "cột, R² test:", round(r2, 3))

KẾT QUẢ

6 cột, R² test: 0.783
10 cột, R² test: 0.897

Thêm bốn cột chữ, R² trên phần test tăng từ 0,783 lên 0,897: thời tiết và phương tiện giải thích phần lớn chỗ sai còn lại. Không cần get_dummies, không cần chuẩn hóa. Ba tham số trong code:

  • max_iter=50: tối đa 50 cây (vòng boosting).

  • max_leaf_nodes=15: mỗi cây tối đa 15 lá. Lớp Hist… giới hạn cây bằng số lá thay vì số tầng; mặc định 31.

  • learning_rate (không ghi, mặc định 0,1): tốc độ học, như 0.2 * trong vòng tự viết ở bài trước.

Từ decision_function tới xác suất

Với nhãn hai lớp, HistGradientBoostingClassifier cộng các cây trên thang log-odds (bài logistic regression), rồi đổi tổng thành xác suất bằng sigmoid:

p=11+e−Fp = \frac{1}{1 + e^{-F}}

Trong đó:

  • F (hgb.decision_function(X)): tổng điểm của khởi đầu và mọi cây cho một hội viên;

  • p (hgb.predict_proba(X)[:, 1]): xác suất hội viên đó rời bỏ;

  • e: cơ số logarit tự nhiên, khoảng 2,718.

Tính tay với F = 0.479: e mũ −0,479 khoảng 0,619, nên p = 1 / 1,619 ≈ 0,617. Bảng hội viên có ba cột chữ (tỉnh, kênh đăng ký, gói) và cột diem_danh_gia_tb thiếu ở 1.025 dòng; model nhận cả hai mà không cần xử lý trước:

python
import numpy as np
import pandas as pd
from sklearn.ensemble import HistGradientBoostingClassifier
from sklearn.model_selection import train_test_split
loai = dict.fromkeys(["tinh", "kenh_dang_ky", "goi"], "category")
kh = pd.read_csv("hoi_vien.csv", dtype=loai)
y = kh.pop("roi_bo")
X = kh.drop(columns=["ma_kh", "hoi_cach_huy_sau_moc"])
X_tr, X_te, y_tr, y_te = train_test_split(X, y, random_state=0)
hgb = HistGradientBoostingClassifier(
    max_iter=50, max_leaf_nodes=15, random_state=0).fit(X_tr, y_tr)
F = hgb.decision_function(X_te.iloc[:3])
print("F:", F.round(3))
print("sigmoid:", (1 / (1 + np.exp(-F))).round(3))
print("proba:", hgb.predict_proba(X_te.iloc[:3])[:, 1].round(3))

KẾT QUẢ

F: [ 0.479 -0.559 -3.441]
sigmoid: [0.617 0.364 0.031]
proba: [0.617 0.364 0.031]

Dòng sigmoid tự tính khớp dòng predict_proba đến ba chữ số. Hội viên đầu tiên của phần test có ô điểm đánh giá trống: khi fit, mỗi câu hỏi đã học luôn ô trống nên đi nhánh nào.

early_stopping: tự dừng thêm cây

early_stopping=True tách validation_fraction (ở đây 20%) của phần train làm phần validation, chấm log loss trên đó sau mỗi cây, và dừng khi n_iter_no_change cây liên tiếp không làm điểm tốt hơn. max_iter khi đó chỉ là trần. Thuộc tính n_iter_ cho số cây thật sự được fit:

python
import pandas as pd
from sklearn.ensemble import HistGradientBoostingClassifier
from sklearn.metrics import roc_auc_score
from sklearn.model_selection import train_test_split
loai = dict.fromkeys(["tinh", "kenh_dang_ky", "goi"], "category")
kh = pd.read_csv("hoi_vien.csv", dtype=loai)
y = kh.pop("roi_bo")
X = kh.drop(columns=["ma_kh", "hoi_cach_huy_sau_moc"])
X_tr, X_te, y_tr, y_te = train_test_split(X, y, random_state=0)
hgb = HistGradientBoostingClassifier(
    max_iter=300, max_leaf_nodes=15, early_stopping=True,
    validation_fraction=0.2, n_iter_no_change=10, random_state=0)
hgb.fit(X_tr, y_tr)
p = hgb.predict_proba(X_te)[:, 1]
print("số cây:", hgb.n_iter_, "| ROC-AUC test:", round(roc_auc_score(y_te, p), 3))

KẾT QUẢ

số cây: 32 | ROC-AUC test: 0.755

Model dừng ở 32 cây thay vì 300. Vì nó dừng sau 10 cây liên tiếp không tốt hơn, log loss trên phần validation thấp nhất ở cây thứ 22. Lưu ý: model giữ cả 32 cây, không cắt về 22. Thuộc tính validation_score_ lưu điểm sau từng cây (dấu âm của log loss) nếu bạn muốn vẽ lại đường này.

ROC-AUC 0,755 trên phần test chưa hơn logistic regression ở bài decision tree (0,784 trên cùng cách chia, với ít cột hơn): với 3.000 dòng và tham số mặc định, boosting không tự động thắng. Bài chọn model so các model bằng cross validation thay cho một lần chia.

Khi bỏ trống early_stopping, giá trị mặc định là "auto": chỉ bật khi phần train có hơn 10.000 dòng. Với bảng nhỏ, hãy ghi rõ early_stopping=True nếu muốn dừng sớm.

Kiểm tra nhanh

  1. Ngưỡng bin là [2, 5]. Đơn 2 km, 3 km và 7 km rơi vào bin nào, theo cách đếm số ngưỡng nhỏ hơn hẳn giá trị?

    • 0, 1, 2
    • 1, 1, 2
    • 0, 1, 1
  2. Cột thoi_tiet đang là chữ. Cần làm gì để HistGradientBoostingRegressor dùng nó?

    • Không cần làm gì, model tự nhận chữ
    • Đổi cột sang dtype category trước khi fit
    • Chuẩn hóa cột bằng StandardScaler
  3. hgb.decision_function(X) trả 0 cho một hội viên. predict_proba cho lớp 1 là bao nhiêu?

    • 0
    • 0.5
    • 1
  4. Model fit với max_iter=300, early_stopping=True, n_iter_no_change=10 có n_iter_ bằng 32. Những câu nào đúng?

    • Model có 32 cây
    • Mười cây cuối không làm điểm trên phần validation tốt hơn
    • Model có 300 cây, 268 cây cuối có trọng số 0
    • Phần test được dùng để quyết định dừng
Đúng hết lần đầu +15 XP

Bài tập

Đưa giá trị vào bin

gia_tri là list các số, nguong là list ngưỡng đã xếp tăng dần. Viết thân hàm vao_bin(gia_tri, nguong) trả số thứ tự bin của từng giá trị: bằng số ngưỡng nhỏ hơn hẳn giá trị đó, nên giá trị đúng bằng một ngưỡng ở lại bin bên trái. Hàm không sửa list của nơi gọi.

Trả về: số thứ tự bin theo đúng thứ tự của gia_tri, một list các int.

Ví dụ: vao_bin([1.0, 2.5, 9.0, 2.1], [2.1, 4.4]) trả [0, 1, 2, 0].

python
def vao_bin(gia_tri, nguong):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • HistGradientBoostingRegressor và HistGradientBoostingClassifier là gradient boosting có sẵn trong scikit-learn.

  • Trước khi fit, mỗi cột được chia vào tối đa 255 bin theo phân vị; câu hỏi chỉ xét ngưỡng giữa các bin, nên fit nhanh.

  • Cột đổi sang dtype category được dùng trực tiếp nhờ categorical_features="from_dtype"; ô trống cũng được nhận.

  • max_iter, learning_rate, max_leaf_nodes lần lượt đặt số cây tối đa, tốc độ học, số lá mỗi cây.

  • early_stopping=True dừng khi phần validation ngừng tốt lên; n_iter_ cho số cây thật sự được fit.

Câu hỏi thường gặp

Gradient boosting là gì, nói ngắn?

Là boosting mà mỗi cây mới học phần dư (với sai số bình phương) hay gradient của hàm sai số (với log loss) của các cây trước, rồi được cộng vào với một tốc độ học. Bài boosting tự viết vòng này bằng DecisionTreeRegressor.

HistGradientBoostingClassifier khác GradientBoostingClassifier ở đâu?

GradientBoostingClassifier là bản cũ: thử mọi ngưỡng, không nhận ô trống hay cột category, chậm trên bảng lớn. Bản Hist… chia bin trước nên nhanh hơn nhiều khi bảng có hàng chục nghìn dòng trở lên. Với dữ liệu mới, dùng bản Hist….

Nên chọn learning_rate và max_iter thế nào?

Đặt learning_rate nhỏ (0,05 đến 0,1), max_iter rộng, bật early_stopping=True để model tự tìm số cây. Các tham số còn lại như max_leaf_nodes chọn bằng cross validation, không chọn trên phần test.

LightGBM có gì hơn HistGradientBoosting?

Cùng ý tưởng chia bin và mọc cây theo lá, LightGBM có thêm nhiều tham số và chạy nhanh hơn trên bảng rất lớn. Bài LightGBM đi qua bốn tham số chính của nó.

Chủ đề

gradient boosting

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập