Pruning decision tree: max_depth và min_samples_leaf
Bài 2/10 · Chương 6
Cây quyết định, Random Forest và boosting
- 10 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 13
Tỉa cây (pruning decision tree) là đặt giới hạn để cây quyết định ngừng hỏi trước khi học thuộc phần train. Trong scikit-learn, hai giới hạn hay dùng nhất là max_depth (cây hỏi tối đa bao nhiêu tầng) và min_samples_leaf (mỗi lá phải giữ ít nhất bao nhiêu mẫu), và cả hai được chọn bằng cross validation trên phần train.
Cần biết trước: decision tree, overfitting và underfitting và cross validation.
Cây không giới hạn học thuộc phần train
Để mặc định, DecisionTreeClassifier hỏi tiếp cho tới khi mỗi lá chỉ còn một lớp. Trên 2.250 hội viên của phần train hoi_vien.csv, cây như vậy sâu bao nhiêu và chấm điểm ra sao:
import pandas as pd
from sklearn.dummy import DummyClassifier
from sklearn.model_selection import cross_val_score, train_test_split
from sklearn.tree import DecisionTreeClassifier
kh = pd.read_csv("hoi_vien.csv")
y = kh.pop("roi_bo")
X = kh.select_dtypes("number").iloc[:, :10]
X_tr, X_te, y_tr, y_te = train_test_split(X, y, random_state=0)
cay = DecisionTreeClassifier(random_state=0).fit(X_tr, y_tr)
print("độ sâu:", cay.get_depth(), "| số lá:", cay.get_n_leaves())
print("accuracy trên dữ liệu đã học:", cay.score(X_tr, y_tr))
print("Dummy trên dữ liệu đã học:",
round(DummyClassifier().fit(X_tr, y_tr).score(X_tr, y_tr), 3))
auc = cross_val_score(cay, X_tr, y_tr, cv=5, scoring="roc_auc")
print("ROC-AUC cross validation:", auc.mean().round(3))KẾT QUẢ
độ sâu: 20 | số lá: 385
accuracy trên dữ liệu đã học: 1.0
Dummy trên dữ liệu đã học: 0.804
ROC-AUC cross validation: 0.577Cây hỏi tới 20 tầng và chia 2.250 hội viên vào 385 lá, trung bình chưa tới sáu người một lá. Trên dữ liệu đã học nó đúng 100%, cao hơn hẳn mức 80,4% của DummyClassifier (luôn đoán "ở lại"). Nhưng trên các fold nó chưa thấy, AUC chỉ 0,577: một lá có năm, sáu người thì tỉ lệ rời bỏ trong lá nhảy theo từng người, nên phần lớn câu hỏi ở tầng sâu chỉ khớp vài hội viên cụ thể. Đó là overfitting. Bài này đi qua ba cách tỉa của scikit-learn: chặn cỡ lá, chặn số tầng, và mọc hết rồi cắt bớt.
min_samples_leaf: giới hạn cỡ lá
Cách tỉa thứ nhất nhắm thẳng vào chỗ hỏng vừa thấy: lá quá nhỏ. min_samples_leaf=m cấm cây tạo một lá có ít hơn m mẫu, nên một nhánh đông người vẫn được hỏi sâu, nhánh thưa thì dừng sớm. Mảng cay.tree_.children_left ghi số thứ tự nút con trái của từng nút, và bằng -1 ở lá. Dòng la.min() dưới đây đọc cỡ lá nhỏ nhất của cây thật:
import pandas as pd
from sklearn.model_selection import cross_val_score, train_test_split
from sklearn.tree import DecisionTreeClassifier
kh = pd.read_csv("hoi_vien.csv")
y = kh.pop("roi_bo")
X = kh.select_dtypes("number").iloc[:, :10]
X_tr, X_te, y_tr, y_te = train_test_split(X, y, random_state=0)
for m in [1, 10, 40, 160]:
cay = DecisionTreeClassifier(min_samples_leaf=m, random_state=0)
auc = cross_val_score(cay, X_tr, y_tr, cv=3, scoring="roc_auc")
cay.fit(X_tr, y_tr)
la = cay.tree_.n_node_samples[cay.tree_.children_left == -1]
print(m, round(auc.mean(), 3), cay.get_n_leaves(), la.min())KẾT QUẢ
1 0.589 385 1
10 0.677 125 10
40 0.749 38 40
160 0.736 10 171Bốn cột là m, AUC cross validation, số lá và cỡ lá nhỏ nhất. Với m=40, cây còn 38 lá và AUC lên 0,749: lá nào cũng đủ 40 hội viên nên tỉ lệ rời bỏ trong lá ít dao động. Với m=160, cây chỉ còn 10 lá và bắt đầu thô đi. Cột cuối luôn lớn hơn hay bằng m, đúng như tên tham số hứa; lá nhỏ nhất của cây m=160 có 171 người, vì không cách chia nào tạo được lá đúng 160.
max_depth: giới hạn số tầng
max_depth=d cắt theo kiểu khác: mọi nhánh dừng ở cùng tầng d, dù nhánh đó còn đông người hay đã thưa. Thử nhiều độ sâu, lấy điểm cross validation của từng độ sâu trên phần train, vẽ thành đường. Mỗi điểm là trung bình của 3 fold, vạch dọc kéo dài một độ lệch chuẩn về mỗi phía:
import matplotlib.pyplot as plt
import pandas as pd
from sklearn.model_selection import cross_val_score, train_test_split
from sklearn.tree import DecisionTreeClassifier
kh = pd.read_csv("hoi_vien.csv")
y = kh.pop("roi_bo")
X = kh.select_dtypes("number").iloc[:, :10]
X_tr, X_te, y_tr, y_te = train_test_split(X, y, random_state=0)
diem = pd.DataFrame({d: cross_val_score(
DecisionTreeClassifier(max_depth=d, random_state=0),
X_tr, y_tr, cv=3, scoring="roc_auc") for d in range(1, 7)})
fig, ax = plt.subplots(figsize=(6.4, 4), layout="constrained")
ax.errorbar(diem.columns, diem.mean(), diem.std(ddof=1), capsize=3)
ax.set(xlabel="max_depth", ylabel="ROC-AUC, trung bình 3 fold")
plt.show()Đường lên rồi xuống: một tầng quá thô (underfitting), từ năm tầng trở đi cây bắt đầu học thuộc. Ba giá trị 2, 3 và 4 cho AUC chênh nhau chưa tới 0,01, nhỏ hơn vạch sai số, nên cả ba đều dùng được. Khi điểm gần như nhau, cây nông hơn dễ đọc hơn. Đặt cạnh mục trước, độ sâu tốt nhất vẫn dưới cây m=40 (0,749). Lặp lại với 200 hạt giống chia train, test khác nhau, m=40 thắng độ sâu tốt nhất từ 1 đến 6 ở khoảng 7 trên 8 lần, hơn trung bình 0,013 AUC: trên bảng này, chặn cỡ lá hợp hơn chặn số tầng, vì nhánh đông người vẫn được hỏi tiếp.
ccp_alpha: mọc hết rồi cắt bớt
Hai tham số trên chặn cây ngay lúc mọc. ccp_alpha (cost complexity pruning) làm ngược lại: cây mọc đến hết như ở đầu bài, rồi cắt dần những nhánh mà phần Gini giảm được, chia cho số lá thêm ra, nhỏ hơn ccp_alpha. Alpha càng lớn, cây càng ít lá. cost_complexity_pruning_path() liệt kê mọi giá trị alpha mà tại đó cây mất thêm một nhánh:
import pandas as pd
from sklearn.model_selection import cross_val_score, train_test_split
from sklearn.tree import DecisionTreeClassifier
kh = pd.read_csv("hoi_vien.csv")
y = kh.pop("roi_bo")
X = kh.select_dtypes("number").iloc[:, :10]
X_tr, X_te, y_tr, y_te = train_test_split(X, y, random_state=0)
duong = DecisionTreeClassifier(random_state=0).cost_complexity_pruning_path(X_tr, y_tr)
print("số giá trị alpha:", len(duong.ccp_alphas))
for a in [0.001, 0.002, 0.004]:
cay = DecisionTreeClassifier(ccp_alpha=a, random_state=0)
auc = cross_val_score(cay, X_tr, y_tr, cv=3, scoring="roc_auc")
print(a, round(auc.mean(), 3), cay.fit(X_tr, y_tr).get_n_leaves())KẾT QUẢ
số giá trị alpha: 160
0.001 0.592 52
0.002 0.706 10
0.004 0.712 3Ba cột là alpha, AUC cross validation và số lá. Từ 385 lá, alpha 0,001 còn 52 lá nhưng AUC gần như chưa nhích; alpha 0,002 cắt xuống 10 lá và AUC nhảy lên 0,706; alpha 0,004 chỉ còn 3 lá. Điểm đổi theo từng bậc, vì mỗi bậc alpha cắt hẳn một nhánh lớn. Trên phần train này, cả ba vẫn dưới cây min_samples_leaf=40 (0,749), nên cách tỉa gọn nhất về số lá chưa chắc là cách cho điểm cao nhất. Chọn alpha cũng bằng cross validation, như hai tham số trên.
Tỉa cây không cần chuẩn hóa cột
Bài StandardScaler chuẩn hóa cột trước logistic regression, vì hệ số và thuật toán tối ưu nhạy với thang đo. Cây chỉ hỏi "lớn hơn ngưỡng hay không", nên tỉa bằng tham số nào thì cây cũng không cần bước đó; rừng và boosting ghép từ cây nên cũng vậy. Câu cuối của phần kiểm tra nhanh để bạn tự suy ra vì sao: thử trả lời trước khi đọc giải thích.
Kiểm tra nhanh
Cây không giới hạn có accuracy 1,0 trên dữ liệu đã học và ROC-AUC cross validation 0,58. Kết luận nào đúng?
- Cây tốt, vì accuracy 1,0 là tối đa
- Cây học thuộc phần train, cần tỉa
- Cần thêm hội viên vào phần test để điểm cross validation tăng
Cách nào chọn
max_depthmà không làm hỏng phần test?- Chạy
cross_val_scorecho từng độ sâu trên phần train - Fit từng độ sâu trên phần train, chấm trên phần test, giữ độ sâu cao điểm nhất
- Giữ độ sâu có accuracy cao nhất trên dữ liệu đã học
- Tách thêm một phần validation từ phần train, chấm từng độ sâu trên phần đó
- Chạy
Cây fit với
min_samples_leaf=40. Câu nào luôn đúng?- Cây có đúng 40 lá
- Mỗi lá chứa ít nhất 40 mẫu của phần train
- Cây sâu tối đa 40 tầng
Nhân cột
chi_tieu_90_ngay_nghinvới 1.000 rồi fit lại cây cùngrandom_state. Chuyện gì xảy ra?- Cây chọn cột khác, vì cột chi tiêu giờ có giá trị lớn hơn
- Ngưỡng trên cột chi tiêu nhân 1.000, dự đoán giữ nguyên
- Python báo lỗi vì cột vượt giới hạn số thực
Bài tập
Đếm lá nhỏ của một cây đã fit
cay là một DecisionTreeClassifier đã fit, k là một số nguyên dương. Viết thân hàm so_la_nho(cay, k) trả số lá có ít hơn hẳn k mẫu train, đọc từ cay.tree_.n_node_samples (số mẫu của từng nút) và cay.tree_.children_left (bằng -1 ở lá). Chỉ đếm lá: nút hỏi, kể cả nút gốc, không tính dù có ít mẫu. Hàm không sửa cây.
Trả về: số lá có ít hơn k mẫu, một int.
Ví dụ: cây DecisionTreeClassifier(max_depth=1) fit trên np.arange(8).reshape(-1, 1) với nhãn [0, 0, 0, 1, 1, 1, 1, 1] chia 8 mẫu thành hai lá 3 và 5 mẫu, nên so_la_nho(cay, 4) trả 1.
def so_la_nho(cay, k):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Cây không giới hạn hỏi tới khi mỗi lá còn một lớp: điểm trên dữ liệu đã học bằng 1, điểm cross validation thấp.
min_samples_leaf=mbuộc mỗi lá giữ ít nhấtmmẫu; trên bảng hội viên,m=40thường cho AUC cao hơn độ sâu tốt nhất.max_depth=ddừng mọi nhánh ở cùng tầngd;ccp_alphamọc cây đến hết rồi cắt dần những nhánh giảm Gini ít.Chọn các tham số này bằng cross validation trên phần train; phần test để chấm một lần ở cuối.
Cây chỉ so cột với ngưỡng, nên đổi đơn vị hay chuẩn hóa cột không đổi dự đoán.
Câu hỏi thường gặp
Max depth bao nhiêu là vừa?
Không có con số chung: nó phụ thuộc số dòng, số cột và độ nhiễu của nhãn. Trên 2.250 hội viên của bài, độ sâu 2 đến 4 cho AUC gần như nhau. Cách chọn là vẽ đường cross validation theo độ sâu như phần trên.
Nên dùng max_depth hay min_samples_leaf?
Có thể dùng cả hai cùng lúc. max_depth cho cây gọn để đọc và vẽ, min_samples_leaf giữ cho xác suất ở mỗi lá ổn định hơn. Trên bảng hội viên, min_samples_leaf=40 thường thắng độ sâu tốt nhất, nhưng trên dữ liệu khác thứ tự có thể đổi.
Dùng ccp_alpha cùng min_samples_leaf được không?
Được. Cây mọc theo các giới hạn lúc mọc (min_samples_leaf, max_depth) trước, rồi mới bị cắt theo ccp_alpha. Khi dùng chung, chọn các giá trị cùng lúc bằng một lưới cross validation, vì tham số này đổi thì giá trị tốt nhất của tham số kia cũng đổi.
Tỉa xong cây vẫn kém logistic regression thì sao?
Đó là chuyện thường gặp với một cây đơn lẻ trên dữ liệu bảng nhỏ. Gộp nhiều cây, như random forest, thường kéo điểm lên mà vẫn không cần chuẩn hóa cột.
Chủ đề
Dữ liệu của bài
- Tải xuống
hoi_vien.csv
CSV · 207.25 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.