Boosting là gì? Học từ lỗi của cây trước, so với bagging
Bài 4/10 · Chương 6
Cây quyết định, Random Forest và boosting
- 9 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 11
Boosting là cách ghép nhiều cây nhỏ theo hàng nối tiếp: cây đầu đoán thô, cây thứ hai học phần mà cây đầu đoán sai, cây thứ ba học phần còn sai sau hai cây, cứ thế. Bagging thì ngược lại: các cây học song song, độc lập, rồi lấy trung bình. Bài này tự viết boosting bằng DecisionTreeRegressor trên thời gian giao hàng để thấy sai số giảm sau từng cây.
Cần biết trước: decision tree, random forest và gradient descent.
Mỗi cây học phần dư của các cây trước
Phần dư (residual) là nhãn trừ dự đoán hiện tại: phần dư dương nghĩa là model đang đoán thiếu. Boosting cho hồi quy đi theo ba bước: bắt đầu bằng trung bình của nhãn, fit một cây nhỏ lên phần dư, rồi cộng một phần dự đoán của cây đó vào dự đoán chung. Viết thành công thức:
Trong đó:
F_0(flúc đầu): trung bình của nhãn, giống nhau cho mọi dòng;h_m(cay.predict(...)): dự đoán của cây thứ m, cây được fit trên phần dưy - F_{m-1};η(hoc): tốc độ học, một số trong khoảng 0 đến 1, quyết định cộng bao nhiêu phần của mỗi cây;F_m(fsau bước m): dự đoán chung sau m cây.
Tính tay với 6 đơn giao giả lập, quãng đường 1, 2, 3, 5, 6, 8 km và thời gian 18, 22, 25, 38, 41, 50 phút, tốc độ học 0,5:
Bước | Phép tính | Kết quả |
|---|---|---|
Trung bình | (18 + 22 + 25 + 38 + 41 + 50) / 6 | 32,33 |
Phần dư ba đơn gần | 18 − 32,33; 22 − 32,33; 25 − 32,33 | −14,33; −10,33; −7,33 |
Cây 1 chia ở 4 km, lá trái | trung bình ba phần dư trên | −10,67 |
Dự đoán ba đơn gần | 32,33 + 0,5 × (−10,67) | 27,0 |
Code dưới chạy đúng các bước đó, thêm hai cây nữa. Cây nào cũng chỉ có một câu hỏi (max_depth=1):
import numpy as np
from sklearn.tree import DecisionTreeRegressor
km = np.array([[1], [2], [3], [5], [6], [8]])
phut = np.array([18, 22, 25, 38, 41, 50])
f = np.full(6, phut.mean())
print("phần dư đầu:", (phut - f).round(2))
for m in range(1, 4):
cay = DecisionTreeRegressor(max_depth=1, random_state=0)
cay.fit(km, phut - f)
f = f + 0.5 * cay.predict(km)
print("sau cây", m, f.round(1))KẾT QUẢ
phần dư đầu: [-14.33 -10.33 -7.33 5.67 8.67 17.67]
sau cây 1 [27. 27. 27. 37.7 37.7 37.7]
sau cây 2 [25. 25. 25. 35.7 41.6 41.6]
sau cây 3 [24.2 24.2 24.2 34.9 40.7 45.8]Sau cây 1, model chỉ phân biệt đơn gần và đơn xa. Cây 2 thấy hai đơn 6 và 8 km vẫn bị đoán thiếu nên tách chúng ra; cây 3 tách tiếp đơn 8 km. Không cây nào đủ mạnh một mình, nhưng mỗi cây sửa một chỗ cụ thể. Đổi 0.5 * thành 1.0 * rồi chạy lại: dòng sau cây 1 in [21.7 21.7 21.7 43. 43. 43. ], vì mỗi cây được cộng trọn dự đoán của nó.
Phần dư y - F cũng chính là chiều giảm nhanh nhất của sai số bình phương, giống bước đi ở bài gradient descent. Vì thế cách làm này có tên gradient boosting: mỗi cây là một bước đi xuống dốc của hàm sai số.
Boosting trên bảng giao hàng
Trên thoi_gian_giao_hang.csv của chuỗi Sóc Nhanh, xáo bảng bằng sample() rồi lấy 800 đơn đầu làm phần train, 800 đơn sau làm phần test, sáu cột số làm feature. Vòng dưới chạy 40 cây sâu 3 tầng, tốc độ học 0,2. Mỗi cây chỉ fit trên 800 dòng đầu nhưng dự đoán cho cả 1.600 dòng; reshape(2, 800) tách sai số bình phương thành hai hàng để tính RMSE (xem bài MAE, RMSE, R²) riêng cho từng phần:
import numpy as np
import pandas as pd
from sklearn.tree import DecisionTreeRegressor
gh = pd.read_csv("thoi_gian_giao_hang.csv")
gh = gh.sample(1600, random_state=0)
y = gh.pop("thoi_gian_giao_phut").to_numpy()
X = gh.select_dtypes("number").to_numpy()
f = np.full(1600, y[:800].mean())
for m in range(1, 41):
cay = DecisionTreeRegressor(max_depth=3, random_state=0)
f = f + 0.2 * cay.fit(X[:800], (y - f)[:800]).predict(X)
if m in (1, 10, 20, 40):
rmse = np.sqrt(((y - f) ** 2).reshape(2, 800).mean(axis=1))
print(m, "cây, đã học và test:", rmse.round(2))KẾT QUẢ
1 cây, đã học và test: [11.5 12.74]
10 cây, đã học và test: [6.7 8.89]
20 cây, đã học và test: [5.62 8.17]
40 cây, đã học và test: [4.89 7.82]Mười cây đầu kéo RMSE của phần test từ 12,74 xuống 8,89 phút; 30 cây sau chỉ bớt thêm khoảng 1 phút. Sai số trên dữ liệu đã học vẫn giảm đều, vì mỗi cây mới tiếp tục sửa phần dư của chính những đơn đã học. Khoảng cách giữa hai số vì thế mở dần, từ 2,2 phút ở 10 cây lên 2,9 phút ở 40 cây: thêm cây mãi thì boosting cũng học thuộc. Vì vậy số cây và tốc độ học là hai tham số phải chọn bằng cross validation, như bài sau làm với HistGradientBoostingRegressor.
Bagging và boosting khác nhau ở đâu
Bagging (bài random forest) fit các cây độc lập trên mẫu bootstrap rồi lấy trung bình; boosting fit các cây nối tiếp, cây sau phụ thuộc cây trước. Thử bagging với cùng loại cây 3 tầng và cùng phần train, test:
import numpy as np
import pandas as pd
from sklearn.tree import DecisionTreeRegressor
gh = pd.read_csv("thoi_gian_giao_hang.csv")
gh = gh.sample(1600, random_state=0)
y = gh.pop("thoi_gian_giao_phut").to_numpy()
X = gh.select_dtypes("number").to_numpy()
rng, P = np.random.default_rng(0), []
for m in range(40):
i = rng.integers(0, 800, 800)
cay = DecisionTreeRegressor(max_depth=3, random_state=0)
P.append(cay.fit(X[i], y[i]).predict(X[800:]))
for k in [1, 10, 40]:
e = y[800:] - np.mean(P[:k], axis=0)
print(k, "cây:", round(np.sqrt(np.mean(e ** 2)), 2))KẾT QUẢ
1 cây: 9.89
10 cây: 9.25
40 cây: 9.29Trung bình 40 cây 3 tầng vẫn sai 9,29 phút, gần như không hơn một cây, và kém boosting (7,82 phút) với cùng số cây. Xáo bảng theo 200 hạt giống khác nhau, boosting thắng ở cả 200 lần, hơn trung vị khoảng 1,4 phút. Cây 3 tầng quá thô để mô tả quan hệ giữa giờ đặt, quãng đường và thời gian giao; lấy trung bình nhiều cây thô vẫn ra một model thô. Bảng dưới gom khác biệt:
Bagging (random forest) | Boosting | |
|---|---|---|
Các cây | độc lập, fit song song | nối tiếp, cây sau sửa cây trước |
Loại cây hợp | cây sâu, mỗi cây dao động mạnh | cây nông, mỗi cây thô |
Giảm cái gì | dao động giữa các lần fit | độ thô (sai lệch hệ thống) |
Thêm cây quá nhiều | chỉ tốn thời gian | bắt đầu học thuộc phần train |
AdaBoost là một dạng boosting cũ hơn: thay vì fit phần dư, nó tăng trọng số của những dòng bị đoán sai để cây sau chú ý tới chúng. scikit-learn có AdaBoostClassifier, nhưng với dữ liệu bảng hiện nay người ta thường dùng gradient boosting.
Kiểm tra nhanh
Nhãn của ba đơn là 10, 20, 30 phút. Cây đầu dự đoán phần dư −8, 0, 8 và tốc độ học là 0,5. Dự đoán sau cây đầu là gì?
[2, 20, 38][16, 20, 24][10, 20, 30]
Trong vòng boosting tự viết, cây thứ m được fit trên gì?
- Nhãn
y, như cây đầu - Phần dư
y - f, vớiflà dự đoán sau m − 1 cây - Một mẫu bootstrap của
y
- Nhãn
Những câu nào đúng về bagging và boosting?
- Các cây của bagging fit độc lập, cây của boosting fit nối tiếp
- Boosting thường dùng cây nông, bagging thường dùng cây sâu
- Thêm cây vào boosting không bao giờ làm model học thuộc
- Bagging cây 3 tầng luôn tốt hơn boosting cây 3 tầng
Một cây sâu tối đa cho dự đoán dao động mạnh khi đổi vài dòng train. Cách nào nhắm đúng vấn đề đó?
- Bagging nhiều cây sâu như vậy
- Boosting với cây sâu tối đa
- Giảm tốc độ học
Bài tập
Phần dư sau các bước boosting
y là list nhãn (số), cac_buoc là list các dự đoán của từng cây theo thứ tự fit (mỗi phần tử là một list cùng độ dài với y, có thể không có cây nào), hoc là tốc độ học. Viết thân hàm phan_du(y, cac_buoc, hoc): bắt đầu từ trung bình của y, cộng hoc nhân dự đoán của từng cây, rồi trả phần dư y trừ dự đoán cuối cùng. Hàm không sửa list của nơi gọi.
Trả về: phần dư của từng dòng, một list các float.
Ví dụ: phan_du([10, 20, 30], [[-8, 0, 8]], 0.5) trả [-6.0, 0.0, 6.0].
def phan_du(y, cac_buoc, hoc):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Boosting fit các cây nối tiếp: mỗi cây học phần dư mà các cây trước để lại.
Dự đoán sau m cây bằng trung bình nhãn cộng tốc độ học nhân tổng dự đoán của các cây.
Phần dư là chiều giảm của sai số bình phương, nên cách làm này có tên gradient boosting.
Bagging lấy trung bình các cây độc lập để giảm dao động; boosting cộng dồn cây nông để giảm độ thô.
Thêm cây mãi thì boosting cũng học thuộc phần train; số cây và tốc độ học phải chọn bằng cross validation.
Câu hỏi thường gặp
Bagging là gì, ngắn gọn?
Bagging fit nhiều model giống nhau, mỗi model trên một mẫu bootstrap của phần train, rồi gộp dự đoán: trung bình với hồi quy; với phân loại, bagging gốc cho các model bỏ phiếu, còn RandomForestClassifier lấy trung bình xác suất của các cây. Random forest là bagging các cây, cộng thêm việc rút ngẫu nhiên cột ở mỗi nút.
Tốc độ học nhỏ thì sao?
Mỗi cây được cộng ít hơn, nên cần nhiều cây hơn để đạt cùng sai số, nhưng sai số test thường giảm êm hơn và dừng ở mức tốt hơn một chút. Thực tế hay chọn tốc độ học 0,05 đến 0,2 rồi tìm số cây bằng cross validation hay dừng sớm.
Có cần tự viết boosting khi làm thật không?
Không. Vòng for của bài chỉ để thấy cơ chế. scikit-learn có sẵn HistGradientBoostingRegressor nhanh hơn nhiều và có dừng sớm.
AdaBoost khác gradient boosting thế nào?
AdaBoost đánh trọng số lại các dòng: dòng bị đoán sai được tăng trọng số để cây sau chú ý hơn. Gradient boosting giữ trọng số và cho cây sau học phần dư. Cả hai đều fit cây nối tiếp.
Chủ đề
Dữ liệu của bài
- Tải xuống
thoi_gian_giao_hang.csv
CSV · 185.76 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.