Random forest: bagging, oob_score, feature_importances_
Bài 3/10 · Chương 6
Cây quyết định, Random Forest và boosting
- 10 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 12
Random forest (rừng ngẫu nhiên) là nhiều cây quyết định cùng học một bảng, mỗi cây trên một bản rút ngẫu nhiên khác nhau của các dòng, rồi gộp dự đoán của tất cả. Một cây đơn lẻ đổi hẳn khi dữ liệu đổi vài dòng; trung bình của nhiều cây như vậy ổn định hơn và thường đoán đúng hơn.
Cần biết trước: decision tree, tỉa cây và bootstrap.
Bootstrap: mỗi cây học một bản rút khác
Bootstrap rút n dòng từ n dòng của bảng, có hoàn lại: một dòng có thể được rút hai, ba lần, dòng khác không lần nào. Xác suất để một dòng cụ thể không được rút ở cả n lần là:
Trong đó:
n(n): số dòng của bảng, cũng là số lần rút;1 - 1/n: xác suất một lần rút không trúng dòng đang xét;P_ngoài((1 - 1 / n) ** n): tỉ lệ dòng nằm ngoài mẫu bootstrap, gọi là dòng ngoài túi (out-of-bag).
Tính tay với n = 10: mỗi lần rút trượt dòng đang xét với xác suất 0,9, trượt cả 10 lần là 0,9 mũ 10, khoảng 0,349. Khi n lớn, con số tiến về 1/e, khoảng 0,368. Mô phỏng 500 lần rút cho mỗi cỡ bảng và so với công thức:
import numpy as np
rng = np.random.default_rng(1)
for n in [10, 100, 1000]:
ngoai = [1 - len(np.unique(rng.integers(0, n, n))) / n
for _ in range(500)]
print(n, round((1 - 1 / n) ** n, 3), round(np.mean(ngoai), 3))KẾT QUẢ
10 0.349 0.35
100 0.366 0.367
1000 0.368 0.368Cột giữa là công thức, cột cuối là mô phỏng. Vậy mỗi cây của rừng chỉ thấy khoảng 63% số dòng khác nhau, phần còn lại là dữ liệu cây đó chưa từng gặp.
Tự viết bagging với DecisionTreeRegressor
Bagging (bootstrap aggregating) là ghép hai bước: fit nhiều cây, mỗi cây trên một mẫu bootstrap, rồi lấy trung bình dự đoán của các cây. Với bài phân loại, bagging gốc cho các cây bỏ phiếu; RandomForestClassifier của scikit-learn thì lấy trung bình xác suất của các cây (predict_proba), nên hai cách có thể ra nhãn khác nhau ở những dòng sát ranh giới. Thử trên thoi_gian_giao_hang.csv, đoán số phút giao một đơn của chuỗi Sóc Nhanh từ sáu cột số, với 1.000 đơn làm phần train:
import numpy as np
import pandas as pd
from sklearn.metrics import mean_absolute_error as mae
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeRegressor
gh = pd.read_csv("thoi_gian_giao_hang.csv")
y = gh.pop("thoi_gian_giao_phut")
X_tr, X_te, y_tr, y_te = train_test_split(
gh.select_dtypes("number"), y, train_size=1000, random_state=0)
mau = [np.random.default_rng(k).integers(0, 1000, 1000)
for k in range(20)]
du_doan = [DecisionTreeRegressor(random_state=0)
.fit(X_tr.iloc[i], y_tr.iloc[i]).predict(X_te) for i in mau]
print("1 cây:", round(mae(y_te, du_doan[0]), 2))
print("20 cây:", round(mae(y_te, np.mean(du_doan, axis=0)), 2))KẾT QUẢ
1 cây: 7.68
20 cây: 5.51Một cây sâu tối đa sai trung bình 7,68 phút trên phần test. Trung bình 20 cây như thế sai 5,51 phút: mỗi cây học thuộc một bản rút khác nên sai theo một kiểu khác, và khi cộng lại các sai lệch đó triệt tiêu bớt. RandomForestRegressor làm đúng việc của list comprehension trên, gói trong một model:
import pandas as pd
from sklearn.ensemble import RandomForestRegressor
from sklearn.metrics import mean_absolute_error as mae
from sklearn.model_selection import train_test_split
gh = pd.read_csv("thoi_gian_giao_hang.csv")
y = gh.pop("thoi_gian_giao_phut")
X_tr, X_te, y_tr, y_te = train_test_split(
gh.select_dtypes("number"), y, train_size=1000, random_state=0)
rf = RandomForestRegressor(n_estimators=20, random_state=0)
rf.fit(X_tr, y_tr)
print("rừng 20 cây:", round(mae(y_te, rf.predict(X_te)), 2))KẾT QUẢ
rừng 20 cây: 5.6Sai số gần như bằng vòng tự viết; phần chênh đến từ hạt giống rút khác nhau. Với hồi quy, RandomForestRegressor mặc định xét mọi cột ở mỗi nút, nên nó chính là bagging các cây.
RandomForestClassifier thêm một bước ngẫu nhiên nữa: ở mỗi nút, cây chỉ được chọn câu hỏi trong một nhóm cột rút ngẫu nhiên (mặc định căn bậc hai của số cột, max_features="sqrt"). Bước này làm các cây ít giống nhau hơn, kể cả khi một cột mạnh hơn hẳn các cột khác.
oob_score: chấm rừng bằng dòng ngoài túi
Mỗi dòng của phần train nằm ngoài túi của khoảng 37% số cây. oob_score=True bảo rừng đoán mỗi dòng chỉ bằng những cây chưa thấy dòng đó, rồi chấm. Kết quả gần giống một lần cross validation mà không cần fit thêm:
import pandas as pd
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import roc_auc_score
from sklearn.model_selection import train_test_split
kh = pd.read_csv("hoi_vien.csv")
y = kh.pop("roi_bo")
X = kh.select_dtypes("number").iloc[:, :10]
X_tr, X_te, y_tr, y_te = train_test_split(X, y, random_state=0)
rung = RandomForestClassifier(n_estimators=50, min_samples_leaf=10,
oob_score=True, random_state=0)
rung.fit(X_tr, y_tr)
print("OOB accuracy:", round(rung.oob_score_, 3))
p_oob = rung.oob_decision_function_[:, 1]
print("OOB ROC-AUC:", round(roc_auc_score(y_tr, p_oob), 3))KẾT QUẢ
OOB accuracy: 0.808
OOB ROC-AUC: 0.777oob_score_ mặc định là accuracy, và 0,808 chỉ nhỉnh hơn mức 0,804 của model luôn đoán "ở lại". Để xếp hạng hội viên theo rủi ro, hãy đọc xác suất ngoài túi trong oob_decision_function_ rồi tính ROC-AUC: 0,777. Con số này thay được một phần validation: chính rừng này chấm 750 hội viên test được 0,765, và qua 200 cách chia, OOB lệch điểm test trung bình 0,02 (90% số lần từ −0,05 đến +0,03). Đổi n_estimators=50 thành n_estimators=25 rồi chạy lại: dòng cuối in OOB ROC-AUC: 0.765. Ít cây hơn thì mỗi dòng được ít cây ngoài túi chấm hơn, xác suất thô hơn.
n_estimators là số cây. Mỗi cây thêm vào chỉ thêm một số hạng vào phép trung bình, nên sau vài chục cây trung bình gần như đứng yên. Với 25, 50, 100 và 200 cây, OOB ROC-AUC là 0,765, 0,777, 0,780 và 0,782, còn ROC-AUC trên dữ liệu đã học đứng trong khoảng 0,914–0,918: thêm cây không nới rộng khoảng cách giữa hai điểm. Mặc định là 100 cây; bài dùng 50 cho nhanh. n_jobs=-1 cho rừng fit song song trên nhiều lõi, nhưng trình duyệt chạy một luồng nên trên trang này không nhanh hơn.
feature_importances_: rừng dựa vào cột nào
Sau khi fit, feature_importances_ cho mỗi cột một con số: mức giảm Gini mà các câu hỏi trên cột đó tạo ra trên dữ liệu train, tính cho từng cây, chuẩn hóa để tổng của mỗi cây bằng 1, rồi lấy trung bình qua các cây. Cách đo này có tên MDI (mean decrease in impurity). Để thử xem nó đáng tin tới đâu, khối dưới thêm vào bảng một cột so_ngau_nhien chỉ gồm số ngẫu nhiên, không liên quan gì tới việc rời bỏ. Rừng fit trên cả 3.000 hội viên vì chỉ dùng để đọc, không để chấm điểm:
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
from sklearn.ensemble import RandomForestClassifier
kh = pd.read_csv("hoi_vien.csv")
y = kh.pop("roi_bo")
X = kh.select_dtypes("number").iloc[:, :10]
X = X.assign(so_ngau_nhien=np.random.default_rng(0).normal(size=len(X)))
rung = RandomForestClassifier(n_estimators=50, min_samples_leaf=10,
random_state=0).fit(X, y)
quan_trong = pd.Series(rung.feature_importances_, X.columns).sort_values()
print(quan_trong.round(3).tail(3))
print("cột nhiễu xếp trên", (quan_trong < quan_trong["so_ngau_nhien"]).sum(), "cột thật")
quan_trong.plot.barh(figsize=(6.4, 4))
plt.show()KẾT QUẢ
so_lan_dang_nhap_30_ngay 0.12
chi_tieu_90_ngay_nghin 0.13
so_ngay_tu_lan_mua_cuoi 0.26
dtype: float64
cột nhiễu xếp trên 6 cột thậtCột nhiễu đứng trên sáu cột thật, trong đó có so_lan_khieu_nai; đổi hạt giống của cột nhiễu 200 lần thì lần nào nó cũng đứng trên ít nhất bốn cột thật. Một cột có 3.000 giá trị khác nhau cho cây hàng nghìn ngưỡng để thử, và cây luôn tìm được vài ngưỡng tách vài dòng train một cách trùng hợp. Vì vậy MDI thiên về cột nhiều giá trị như chi_tieu_90_ngay_nghin (1.411 giá trị) và kém tin ở cột ít giá trị như so_lan_khieu_nai (5 giá trị). Nó nói rừng hay hỏi cột nào trên dữ liệu đã học, chưa nói cột đó giúp dự đoán dữ liệu mới bao nhiêu; bài permutation importance đo điều thứ hai trên phần test.
Kiểm tra nhanh
Bảng có 2.000 dòng. Một mẫu bootstrap 2.000 dòng bỏ sót khoảng bao nhiêu dòng?
- Khoảng 0, vì rút đủ 2.000 lần
- Khoảng 736 dòng
- Khoảng 1.000 dòng
Vòng
fortự viết fit 20DecisionTreeRegressortrên 20 mẫu bootstrap rồi lấy trung bình dự đoán. Đó là gì?- Bagging
- Boosting
- Cross validation
Những câu nào đúng về
oob_score=True?- Mỗi dòng của phần train chỉ được chấm bởi các cây chưa thấy dòng đó
- Với
RandomForestClassifier,oob_score_mặc định là accuracy - Nó dùng phần test để chấm rừng
- Nó chạy được cả khi
bootstrap=False
quan_tronglà Seriesfeature_importances_theo tên cột. Dòng nào in ba cột rừng dựa vào nhiều nhất?print(quan_trong.head(3))print(quan_trong.sort_values().tail(3))print(quan_trong.sort_values().head(3))
Bài tập
Tìm các dòng ngoài túi
chi_so là list chỉ số dòng (từ 0 đến n - 1) mà một lần rút bootstrap đã chọn, có thể lặp và không theo thứ tự. n là số dòng của bảng. Viết thân hàm ngoai_tui(chi_so, n) trả các dòng không được rút lần nào, xếp tăng dần. Hàm không sửa list của nơi gọi.
Trả về: các chỉ số dòng ngoài túi, một list các int tăng dần.
Ví dụ: ngoai_tui([3, 0, 3, 2, 0], 5) trả [1, 4].
def ngoai_tui(chi_so, n):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Mỗi cây của random forest học một mẫu bootstrap; khoảng 1/e, tức 37% số dòng, nằm ngoài túi của mỗi cây.
Bagging là fit nhiều cây trên các mẫu bootstrap rồi gộp dự đoán;
RandomForestClassifierlấy trung bình xác suất của các cây (bagging gốc thì bỏ phiếu). Trên bảng giao hàng, trung bình 20 cây sai 5,51 phút so với 7,68 phút của một cây.RandomForestClassifiercòn rút ngẫu nhiên nhóm cột ở mỗi nút (max_features), làm các cây khác nhau hơn.oob_score=Truechấm mỗi dòng bằng các cây chưa thấy nó; đọcoob_decision_function_khi cần ROC-AUC.feature_importances_cộng lại bằng 1 và cho biết rừng hay hỏi cột nào khi chia trên dữ liệu train; nó thiên về cột nhiều giá trị, đến mức một cột nhiễu đứng trên sáu cột thật.
Câu hỏi thường gặp
Random forest classifier cần bao nhiêu cây?
Bắt đầu với 100 cây (mặc định), rồi gấp đôi và xem điểm ngoài túi còn nhích bao nhiêu. Trên bảng hội viên, từ 100 lên 200 cây chỉ thêm 0,002 OOB ROC-AUC, trong khi thời gian fit gấp đôi.
Random forest có cần chuẩn hóa cột không?
Không. Mỗi cây chỉ so cột với ngưỡng, như đã kiểm ở bài tỉa cây, nên đổi đơn vị hay chuẩn hóa cột không đổi cây.
Rừng có cần tỉa như một cây không?
Mỗi cây trong rừng được phép sâu hơn một cây đứng một mình, vì phần học thuộc của từng cây được trung bình bớt. Dù vậy min_samples_leaf hay max_depth vẫn hay giúp xác suất mượt hơn và fit nhanh hơn. Chọn chúng bằng cross validation hay điểm ngoài túi.
Random forest regressor khác hồi quy tuyến tính ở đâu?
Rừng đoán bằng trung bình của các lá, nên bắt được quan hệ cong và tương tác giữa các cột mà không cần tạo thêm feature. Đổi lại, nó không đoán ra ngoài khoảng giá trị đã thấy trong phần train: thời gian giao dự đoán không bao giờ vượt đơn chậm nhất đã học.
Chủ đề
Dữ liệu của bài
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.