Bài tập random forest, cây quyết định và boosting
Bài 9/10 · Chương 6
Cây quyết định, Random Forest và boosting
- 6 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 8
Sáu bài tập random forest, cây quyết định và boosting dưới đây được chấm tự động ngay trên trang: mỗi bài bạn viết thân một hàm Python nhỏ rồi bấm Chạy. Các bài dùng lại cả nhóm cây và rừng: đọc cây đã fit, tỉa cây bằng cross validation, đọc feature importance và phiếu của từng cây, so HistGradientBoosting với rừng trên cùng các fold, và tự viết vòng boosting.
Cần biết trước: tỉa cây, random forest và chọn model.
Cách làm các bài tập
Mỗi bài cho sẵn các dòng import và dòng def với thân là pass. Bạn thay pass bằng thân hàm. Trình chấm không đọc những gì bạn in ra: nó gọi hàm với nhiều bảng khác nhau rồi so giá trị trả về, nên hàm phải return. Số thực được so gần đúng, nên đừng làm tròn. Các model trong lời giải đều dùng random_state=0 như đề ghi, để kết quả lặp lại được.
Mỗi hàm có bốn tới sáu dòng kiểm tra: ví dụ trong đề, một trường hợp biên, kiểu trả về và bảng của nơi gọi còn nguyên. Dòng cuối gọi hàm trên vài mẫu có hạt giống lấy từ hoi_vien.csv (3.000 hội viên giả lập) hay thoi_gian_giao_hang.csv (3.000 đơn giao giả lập), rồi so với một cách tính khác. Bí thì mở gợi ý theo thứ tự: gợi ý một chỉ chỗ cần nhìn, gợi ý hai nêu cách làm, gợi ý ba gần như là lời giải.
Mức dễ: đọc cây và rừng đã fit
Hai bài đầu fit một model rồi đọc thuộc tính của nó, chưa cần chia dữ liệu.
Số lá và số tầng của cây
X là DataFrame các cột số, y là nhãn 0/1, do_sau là số nguyên dương. Viết thân hàm la_va_tang(X, y, do_sau): fit DecisionTreeClassifier(max_depth=do_sau, random_state=0) trên X, y, rồi lấy số lá và số tầng thật của cây. Hàm không sửa X.
Trả về: số lá và số tầng theo thứ tự đó, mỗi số một int, gói trong một tuple.
Ví dụ: trên 3.000 hội viên với bốn cột so_ngay_tu_lan_mua_cuoi, so_lan_khieu_nai, tuoi, chi_tieu_90_ngay_nghin và do_sau=3, hàm trả (8, 3). Ôn lại: tỉa cây.
from sklearn.tree import DecisionTreeClassifier
def la_va_tang(X, y, do_sau):
pass # Viết thân hàm thay cho dòng nàyCác cột rừng ít dựa vào
X là DataFrame các cột số, y là nhãn 0/1, nguong là một số từ 0 tới 1. Viết thân hàm cot_it_dung(X, y, nguong): fit RandomForestClassifier(n_estimators=10, random_state=0) rồi trả tên các cột có feature_importances_ nhỏ hơn hẳn nguong, xếp theo thứ tự chữ cái. Hàm không sửa X.
Trả về: tên các cột, một list các chuỗi đã sắp xếp.
Ví dụ: trên 3.000 hội viên với năm cột so_ngay_tu_lan_mua_cuoi, so_lan_khieu_nai, tuoi, chi_tieu_90_ngay_nghin, tu_dong_gia_han và nguong=0.1, hàm trả ['so_lan_khieu_nai', 'tu_dong_gia_han']. Ôn lại: random forest.
from sklearn.ensemble import RandomForestClassifier
def cot_it_dung(X, y, nguong):
pass # Viết thân hàm thay cho dòng nàyMức vừa: tỉa cây và phiếu của từng cây
Hai bài giữa cần chia dữ liệu bằng cross validation, hay đi vào từng cây bên trong rừng.
Khoảng cách giữa dữ liệu đã học và validation
X là DataFrame các cột số, y là nhãn 0/1, do_sau là số nguyên dương. Viết thân hàm khoang_cach(X, y, do_sau): chạy cross_validate cho DecisionTreeClassifier(max_depth=do_sau, random_state=0) với cv=StratifiedKFold(3, shuffle=True, random_state=0), scoring="roc_auc" và return_train_score=True, rồi lấy trung bình điểm trên dữ liệu đã học trừ trung bình điểm validation. Hàm không sửa X.
Trả về: khoảng cách giữa hai trung bình, một float.
Ví dụ: trên 3.000 hội viên với bốn cột như bài đầu và do_sau=4, hàm trả khoảng 0.041. Ôn lại: tỉa cây.
from sklearn.model_selection import StratifiedKFold, cross_validate
from sklearn.tree import DecisionTreeClassifier
def khoang_cach(X, y, do_sau):
pass # Viết thân hàm thay cho dòng nàyTỉ lệ cây bỏ phiếu cho lớp 1
rung là một RandomForestClassifier đã fit với nhãn 0/1, X là DataFrame cùng các cột lúc fit. Viết thân hàm ti_le_phieu(rung, X): cho mỗi dòng của X, đếm tỉ lệ cây trong rung.estimators_ đoán lớp 1 bằng predict. Các cây bên trong rừng được fit trên mảng không có tên cột, nên đưa np.asarray(X) cho chúng. Hàm không sửa X.
Trả về: tỉ lệ phiếu lớp 1 của từng dòng, một list các float.
Ví dụ: với rừng 4 cây mà ba cây đoán dòng đầu là lớp 1, phần tử đầu của kết quả là 0.75. Ôn lại: random forest.
import numpy as np
def ti_le_phieu(rung, X):
pass # Viết thân hàm thay cho dòng nàyMức khó: so model và tự viết boosting
Hai bài cuối so hai model trên cùng các fold, rồi dựng lại gradient boosting bằng các cây hồi quy nhỏ.
Hiệu ROC-AUC của hai model trên cùng các fold
a và b là hai model scikit-learn chưa fit, X là DataFrame các cột số, y là nhãn 0/1. Viết thân hàm hieu_cv(a, b, X, y): chấm cả hai model bằng cross_val_score(..., scoring="roc_auc") trên cùng cv=StratifiedKFold(3, shuffle=True, random_state=0), rồi lấy điểm của a trừ điểm của b theo từng fold. Hàm không sửa X.
Trả về: ba hiệu theo thứ tự fold, một list các float.
Ví dụ: với a là HistGradientBoostingClassifier(max_iter=5, random_state=0), b là RandomForestClassifier(n_estimators=5, random_state=0), m = pd.read_csv("hoi_vien.csv").sample(60, random_state=1), X = m[["so_ngay_tu_lan_mua_cuoi", "so_lan_khieu_nai", "tuoi", "chi_tieu_90_ngay_nghin"]] và y = m["roi_bo"], hàm trả [0.094, 0.086, -0.32] (làm tròn ba chữ số). Ôn lại: chọn model.
from sklearn.model_selection import StratifiedKFold, cross_val_score
def hieu_cv(a, b, X, y):
pass # Viết thân hàm thay cho dòng nàyTự viết gradient boosting cho hồi quy
X là DataFrame các cột số, y là list nhãn số, so_cay là số nguyên dương, hoc là tốc độ học. Viết thân hàm boosting_tay(X, y, so_cay, hoc): bắt đầu từ trung bình của y; lặp so_cay lần, mỗi lần fit DecisionTreeRegressor(max_depth=2, random_state=0) lên phần dư rồi cộng thêm hoc lần kết quả của cây đó vào mảng dự đoán. Bài tự viết vòng boosting, nên không dùng GradientBoostingRegressor. Hàm không sửa y.
Trả về: dự đoán cuối cùng cho từng dòng của X, một list các float.
Ví dụ: với 6 đơn của đề, so_cay=1 và hoc=0.5, hàm trả [29.73, 29.73, 22.93, 29.73, 25.73, 27.53] (làm tròn hai chữ số). Ôn lại: boosting.
import numpy as np
from sklearn.tree import DecisionTreeRegressor
def boosting_tay(X, y, so_cay, hoc):
pass # Viết thân hàm thay cho dòng nàyCâu hỏi thường gặp
Vì sao bài so model không dùng LightGBM hay XGBoost?
Hai thư viện đó chưa nạp được trong trình duyệt của trang, nên bài chấm dùng HistGradientBoostingClassifier, có cùng ý tưởng chia bin và mọc cây theo lá. Code LightGBM ở bài LightGBM chạy được trên máy của bạn với cùng cách so.
Bài tập random forest dùng ít cây như vậy có sai không?
Không sai cho mục đích chấm: 10 cây đủ để thấy cách đọc feature_importances_ và phiếu của từng cây, và chạy kịp dưới một giây. Khi làm thật, dùng 100 cây trở lên và kiểm điểm ngoài túi như bài random forest.
Làm xong cả sáu bài thì nên học gì tiếp?
Làm dự án đua model: xếp cây, rừng và boosting vào cùng một bảng so sánh trên dữ liệu Sóc Vàng. Sau đó, chương tiếp theo xử lý dữ liệu mất cân bằng và ngưỡng quyết định.
Chủ đề
Dữ liệu của bài
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.