Bỏ qua đến nội dung chính
Mục lục

Pruning decision tree: max_depth và min_samples_leaf

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 2/10 · Chương 6

Cây quyết định, Random Forest và boosting

  • 10 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Tỉa cây (pruning decision tree) là đặt giới hạn để cây quyết định ngừng hỏi trước khi học thuộc phần train. Trong scikit-learn, hai giới hạn hay dùng nhất là max_depth (cây hỏi tối đa bao nhiêu tầng) và min_samples_leaf (mỗi lá phải giữ ít nhất bao nhiêu mẫu), và cả hai được chọn bằng cross validation trên phần train.

Cần biết trước: decision tree, overfitting và underfitting và cross validation.

Cây không giới hạn học thuộc phần train

Để mặc định, DecisionTreeClassifier hỏi tiếp cho tới khi mỗi lá chỉ còn một lớp. Trên 2.250 hội viên của phần train hoi_vien.csv, cây như vậy sâu bao nhiêu và chấm điểm ra sao:

python
import pandas as pd
from sklearn.dummy import DummyClassifier
from sklearn.model_selection import cross_val_score, train_test_split
from sklearn.tree import DecisionTreeClassifier
kh = pd.read_csv("hoi_vien.csv")
y = kh.pop("roi_bo")
X = kh.select_dtypes("number").iloc[:, :10]
X_tr, X_te, y_tr, y_te = train_test_split(X, y, random_state=0)
cay = DecisionTreeClassifier(random_state=0).fit(X_tr, y_tr)
print("độ sâu:", cay.get_depth(), "| số lá:", cay.get_n_leaves())
print("accuracy trên dữ liệu đã học:", cay.score(X_tr, y_tr))
print("Dummy trên dữ liệu đã học:",
      round(DummyClassifier().fit(X_tr, y_tr).score(X_tr, y_tr), 3))
auc = cross_val_score(cay, X_tr, y_tr, cv=5, scoring="roc_auc")
print("ROC-AUC cross validation:", auc.mean().round(3))

KẾT QUẢ

độ sâu: 20 | số lá: 385
accuracy trên dữ liệu đã học: 1.0
Dummy trên dữ liệu đã học: 0.804
ROC-AUC cross validation: 0.577

Cây hỏi tới 20 tầng và chia 2.250 hội viên vào 385 lá, trung bình chưa tới sáu người một lá. Trên dữ liệu đã học nó đúng 100%, cao hơn hẳn mức 80,4% của DummyClassifier (luôn đoán "ở lại"). Nhưng trên các fold nó chưa thấy, AUC chỉ 0,577: một lá có năm, sáu người thì tỉ lệ rời bỏ trong lá nhảy theo từng người, nên phần lớn câu hỏi ở tầng sâu chỉ khớp vài hội viên cụ thể. Đó là overfitting. Bài này đi qua ba cách tỉa của scikit-learn: chặn cỡ lá, chặn số tầng, và mọc hết rồi cắt bớt.

min_samples_leaf: giới hạn cỡ lá

Cách tỉa thứ nhất nhắm thẳng vào chỗ hỏng vừa thấy: lá quá nhỏ. min_samples_leaf=m cấm cây tạo một lá có ít hơn m mẫu, nên một nhánh đông người vẫn được hỏi sâu, nhánh thưa thì dừng sớm. Mảng cay.tree_.children_left ghi số thứ tự nút con trái của từng nút, và bằng -1 ở lá. Dòng la.min() dưới đây đọc cỡ lá nhỏ nhất của cây thật:

python
import pandas as pd
from sklearn.model_selection import cross_val_score, train_test_split
from sklearn.tree import DecisionTreeClassifier
kh = pd.read_csv("hoi_vien.csv")
y = kh.pop("roi_bo")
X = kh.select_dtypes("number").iloc[:, :10]
X_tr, X_te, y_tr, y_te = train_test_split(X, y, random_state=0)
for m in [1, 10, 40, 160]:
    cay = DecisionTreeClassifier(min_samples_leaf=m, random_state=0)
    auc = cross_val_score(cay, X_tr, y_tr, cv=3, scoring="roc_auc")
    cay.fit(X_tr, y_tr)
    la = cay.tree_.n_node_samples[cay.tree_.children_left == -1]
    print(m, round(auc.mean(), 3), cay.get_n_leaves(), la.min())

KẾT QUẢ

1 0.589 385 1
10 0.677 125 10
40 0.749 38 40
160 0.736 10 171

Bốn cột là m, AUC cross validation, số lá và cỡ lá nhỏ nhất. Với m=40, cây còn 38 lá và AUC lên 0,749: lá nào cũng đủ 40 hội viên nên tỉ lệ rời bỏ trong lá ít dao động. Với m=160, cây chỉ còn 10 lá và bắt đầu thô đi. Cột cuối luôn lớn hơn hay bằng m, đúng như tên tham số hứa; lá nhỏ nhất của cây m=160 có 171 người, vì không cách chia nào tạo được lá đúng 160.

max_depth: giới hạn số tầng

max_depth=d cắt theo kiểu khác: mọi nhánh dừng ở cùng tầng d, dù nhánh đó còn đông người hay đã thưa. Thử nhiều độ sâu, lấy điểm cross validation của từng độ sâu trên phần train, vẽ thành đường. Mỗi điểm là trung bình của 3 fold, vạch dọc kéo dài một độ lệch chuẩn về mỗi phía:

python
import matplotlib.pyplot as plt
import pandas as pd
from sklearn.model_selection import cross_val_score, train_test_split
from sklearn.tree import DecisionTreeClassifier
kh = pd.read_csv("hoi_vien.csv")
y = kh.pop("roi_bo")
X = kh.select_dtypes("number").iloc[:, :10]
X_tr, X_te, y_tr, y_te = train_test_split(X, y, random_state=0)
diem = pd.DataFrame({d: cross_val_score(
    DecisionTreeClassifier(max_depth=d, random_state=0),
    X_tr, y_tr, cv=3, scoring="roc_auc") for d in range(1, 7)})
fig, ax = plt.subplots(figsize=(6.4, 4), layout="constrained")
ax.errorbar(diem.columns, diem.mean(), diem.std(ddof=1), capsize=3)
ax.set(xlabel="max_depth", ylabel="ROC-AUC, trung bình 3 fold")
plt.show()
Biểu đồ đường ROC-AUC cross validation theo max_depth từ 1 đến 6: tăng từ 0,66 ở một tầng lên quanh 0,72 ở hai đến bốn tầng, rồi giảm còn 0,67 ở sáu tầng; mỗi điểm có vạch sai số kéo dài từ 0,015 đến 0,035 về mỗi phía.

Đường lên rồi xuống: một tầng quá thô (underfitting), từ năm tầng trở đi cây bắt đầu học thuộc. Ba giá trị 2, 3 và 4 cho AUC chênh nhau chưa tới 0,01, nhỏ hơn vạch sai số, nên cả ba đều dùng được. Khi điểm gần như nhau, cây nông hơn dễ đọc hơn. Đặt cạnh mục trước, độ sâu tốt nhất vẫn dưới cây m=40 (0,749). Lặp lại với 200 hạt giống chia train, test khác nhau, m=40 thắng độ sâu tốt nhất từ 1 đến 6 ở khoảng 7 trên 8 lần, hơn trung bình 0,013 AUC: trên bảng này, chặn cỡ lá hợp hơn chặn số tầng, vì nhánh đông người vẫn được hỏi tiếp.

ccp_alpha: mọc hết rồi cắt bớt

Hai tham số trên chặn cây ngay lúc mọc. ccp_alpha (cost complexity pruning) làm ngược lại: cây mọc đến hết như ở đầu bài, rồi cắt dần những nhánh mà phần Gini giảm được, chia cho số lá thêm ra, nhỏ hơn ccp_alpha. Alpha càng lớn, cây càng ít lá. cost_complexity_pruning_path() liệt kê mọi giá trị alpha mà tại đó cây mất thêm một nhánh:

python
import pandas as pd
from sklearn.model_selection import cross_val_score, train_test_split
from sklearn.tree import DecisionTreeClassifier
kh = pd.read_csv("hoi_vien.csv")
y = kh.pop("roi_bo")
X = kh.select_dtypes("number").iloc[:, :10]
X_tr, X_te, y_tr, y_te = train_test_split(X, y, random_state=0)
duong = DecisionTreeClassifier(random_state=0).cost_complexity_pruning_path(X_tr, y_tr)
print("số giá trị alpha:", len(duong.ccp_alphas))
for a in [0.001, 0.002, 0.004]:
    cay = DecisionTreeClassifier(ccp_alpha=a, random_state=0)
    auc = cross_val_score(cay, X_tr, y_tr, cv=3, scoring="roc_auc")
    print(a, round(auc.mean(), 3), cay.fit(X_tr, y_tr).get_n_leaves())

KẾT QUẢ

số giá trị alpha: 160
0.001 0.592 52
0.002 0.706 10
0.004 0.712 3

Ba cột là alpha, AUC cross validation và số lá. Từ 385 lá, alpha 0,001 còn 52 lá nhưng AUC gần như chưa nhích; alpha 0,002 cắt xuống 10 lá và AUC nhảy lên 0,706; alpha 0,004 chỉ còn 3 lá. Điểm đổi theo từng bậc, vì mỗi bậc alpha cắt hẳn một nhánh lớn. Trên phần train này, cả ba vẫn dưới cây min_samples_leaf=40 (0,749), nên cách tỉa gọn nhất về số lá chưa chắc là cách cho điểm cao nhất. Chọn alpha cũng bằng cross validation, như hai tham số trên.

Tỉa cây không cần chuẩn hóa cột

Bài StandardScaler chuẩn hóa cột trước logistic regression, vì hệ số và thuật toán tối ưu nhạy với thang đo. Cây chỉ hỏi "lớn hơn ngưỡng hay không", nên tỉa bằng tham số nào thì cây cũng không cần bước đó; rừng và boosting ghép từ cây nên cũng vậy. Câu cuối của phần kiểm tra nhanh để bạn tự suy ra vì sao: thử trả lời trước khi đọc giải thích.

Kiểm tra nhanh

  1. Cây không giới hạn có accuracy 1,0 trên dữ liệu đã học và ROC-AUC cross validation 0,58. Kết luận nào đúng?

    • Cây tốt, vì accuracy 1,0 là tối đa
    • Cây học thuộc phần train, cần tỉa
    • Cần thêm hội viên vào phần test để điểm cross validation tăng
  2. Cách nào chọn max_depth mà không làm hỏng phần test?

    • Chạy cross_val_score cho từng độ sâu trên phần train
    • Fit từng độ sâu trên phần train, chấm trên phần test, giữ độ sâu cao điểm nhất
    • Giữ độ sâu có accuracy cao nhất trên dữ liệu đã học
    • Tách thêm một phần validation từ phần train, chấm từng độ sâu trên phần đó
  3. Cây fit với min_samples_leaf=40. Câu nào luôn đúng?

    • Cây có đúng 40 lá
    • Mỗi lá chứa ít nhất 40 mẫu của phần train
    • Cây sâu tối đa 40 tầng
  4. Nhân cột chi_tieu_90_ngay_nghin với 1.000 rồi fit lại cây cùng random_state. Chuyện gì xảy ra?

    • Cây chọn cột khác, vì cột chi tiêu giờ có giá trị lớn hơn
    • Ngưỡng trên cột chi tiêu nhân 1.000, dự đoán giữ nguyên
    • Python báo lỗi vì cột vượt giới hạn số thực
Đúng hết lần đầu +15 XP

Bài tập

Đếm lá nhỏ của một cây đã fit

cay là một DecisionTreeClassifier đã fit, k là một số nguyên dương. Viết thân hàm so_la_nho(cay, k) trả số lá có ít hơn hẳn k mẫu train, đọc từ cay.tree_.n_node_samples (số mẫu của từng nút) và cay.tree_.children_left (bằng -1 ở lá). Chỉ đếm lá: nút hỏi, kể cả nút gốc, không tính dù có ít mẫu. Hàm không sửa cây.

Trả về: số lá có ít hơn k mẫu, một int.

Ví dụ: cây DecisionTreeClassifier(max_depth=1) fit trên np.arange(8).reshape(-1, 1) với nhãn [0, 0, 0, 1, 1, 1, 1, 1] chia 8 mẫu thành hai lá 3 và 5 mẫu, nên so_la_nho(cay, 4) trả 1.

python
def so_la_nho(cay, k):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • Cây không giới hạn hỏi tới khi mỗi lá còn một lớp: điểm trên dữ liệu đã học bằng 1, điểm cross validation thấp.

  • min_samples_leaf=m buộc mỗi lá giữ ít nhất m mẫu; trên bảng hội viên, m=40 thường cho AUC cao hơn độ sâu tốt nhất.

  • max_depth=d dừng mọi nhánh ở cùng tầng d; ccp_alpha mọc cây đến hết rồi cắt dần những nhánh giảm Gini ít.

  • Chọn các tham số này bằng cross validation trên phần train; phần test để chấm một lần ở cuối.

  • Cây chỉ so cột với ngưỡng, nên đổi đơn vị hay chuẩn hóa cột không đổi dự đoán.

Câu hỏi thường gặp

Max depth bao nhiêu là vừa?

Không có con số chung: nó phụ thuộc số dòng, số cột và độ nhiễu của nhãn. Trên 2.250 hội viên của bài, độ sâu 2 đến 4 cho AUC gần như nhau. Cách chọn là vẽ đường cross validation theo độ sâu như phần trên.

Nên dùng max_depth hay min_samples_leaf?

Có thể dùng cả hai cùng lúc. max_depth cho cây gọn để đọc và vẽ, min_samples_leaf giữ cho xác suất ở mỗi lá ổn định hơn. Trên bảng hội viên, min_samples_leaf=40 thường thắng độ sâu tốt nhất, nhưng trên dữ liệu khác thứ tự có thể đổi.

Dùng ccp_alpha cùng min_samples_leaf được không?

Được. Cây mọc theo các giới hạn lúc mọc (min_samples_leaf, max_depth) trước, rồi mới bị cắt theo ccp_alpha. Khi dùng chung, chọn các giá trị cùng lúc bằng một lưới cross validation, vì tham số này đổi thì giá trị tốt nhất của tham số kia cũng đổi.

Tỉa xong cây vẫn kém logistic regression thì sao?

Đó là chuyện thường gặp với một cây đơn lẻ trên dữ liệu bảng nhỏ. Gộp nhiều cây, như random forest, thường kéo điểm lên mà vẫn không cần chuẩn hóa cột.

Chủ đề

pruning decision tree

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập