Bỏ qua đến nội dung chính
Mục lục

Feature importance và permutation importance trong sklearn

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 5/8 · Chương 10

Tinh chỉnh và giải thích model

  • 8 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Feature importance (độ quan trọng của feature) là con số cho biết model dựa vào mỗi cột nhiều hay ít. Scikit-learn có hai cách đo hay dùng: feature_importances_ có sẵn trong model cây, và permutation importance, xáo một cột trên tập validation rồi xem điểm tụt bao nhiêu. Hai cách trả lời hai câu hỏi khác nhau, và cách đầu dễ thổi phồng một cột số chứa nhiều mức riêng biệt.

Cần biết trước: random forest, chia train, test và kiểm định hoán vị.

feature_importances_ của cây và cột tuổi

File hoi_vien.csv có 3.000 hội viên Sóc Vàng (số giả lập của AIDev). Khi sinh dữ liệu, cột tuoi không ảnh hưởng gì tới việc hội viên bỏ gói: biết tuổi không giúp đoán roi_bo. Fit một rừng ngẫu nhiên trên phần train rồi đọc feature_importances_:

python
import pandas as pd
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split

kh = pd.read_csv("hoi_vien.csv")
X = kh.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"]
X_tr, X_va, y_tr, y_va = train_test_split(
    X, kh["roi_bo"], stratify=kh["roi_bo"], random_state=0)
rung = RandomForestClassifier(n_estimators=15, random_state=0)
rung.fit(X_tr, y_tr)
gini = pd.Series(rung.feature_importances_, index=X.columns)
print(gini.sort_values(ascending=False).round(3))

KẾT QUẢ

so_ngay_tu_lan_mua_cuoi     0.21
ti_le_dung_ma_giam          0.13
chi_tieu_90_ngay_nghin      0.12
so_lan_dang_nhap_30_ngay    0.11
ti_le_giao_tre              0.11
so_thang_su_dung            0.10
tuoi                        0.10
so_don_90_ngay              0.07
so_lan_khieu_nai            0.04
tu_dong_gia_han             0.03
dtype: float64

tuoi nhận 0,10, ngang số lần đăng nhập và gấp ba cột tự động gia hạn. feature_importances_ cộng mức giảm Gini mỗi khi cây chia theo một cột, tính trên chính dữ liệu train. Cột tuổi có 42 mức tuổi riêng biệt, nên cây sâu luôn tìm được một ngưỡng tuổi tách tốt vài dòng train nào đó, dù chỉ là trùng hợp. Cột tu_dong_gia_han chỉ có hai giá trị, nên chỉ có một cách chia. Con số này cho biết rừng hay chia theo cột nào khi học, chưa cho biết cột đó giúp dự đoán hội viên mới bao nhiêu.

permutation_importance: xáo một cột trên validation

Permutation importance trả lời câu hỏi thứ hai. Giữ model đã fit, lấy tập validation, xáo ngẫu nhiên các giá trị của một cột để cột đó không còn khớp với dòng của nó, rồi chấm lại. Cột model thật sự dùng thì điểm tụt; cột model không cần thì điểm gần như giữ nguyên. Ý tưởng giống kiểm định hoán vị, chỉ khác là xáo một cột đầu vào thay cho nhãn. Viết thành công thức:

Ij=s−1R∑r=1Rsj,rI_j = s - \frac{1}{R} \sum_{r=1}^{R} s_{j,r}

Trong đó:

  • I_j (importances_mean): độ quan trọng của cột thứ j;

  • s: điểm của model trên tập validation chưa xáo, ở đây là ROC-AUC;

  • s_{j,r}: điểm sau lần xáo thứ r của cột j;

  • R (n_repeats=): số lần xáo; importances_std là độ lệch chuẩn của R độ giảm đó.

Khối dưới đưa vào model mảng NumPy (X.to_numpy()) thay cho DataFrame, để mỗi lần xáo chạy nhanh hơn; kết quả không đổi.

python
import pandas as pd
from sklearn.ensemble import RandomForestClassifier
from sklearn.inspection import permutation_importance
from sklearn.model_selection import train_test_split
kh = pd.read_csv("hoi_vien.csv")
X = kh.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"]
X_tr, X_va, y_tr, y_va = train_test_split(
    X.to_numpy(), kh["roi_bo"], stratify=kh["roi_bo"], random_state=0)
rung = RandomForestClassifier(n_estimators=15, random_state=0)
kq = permutation_importance(rung.fit(X_tr, y_tr), X_va, y_va,
    scoring="roc_auc", n_repeats=3, random_state=0)
bang = pd.DataFrame({"mean": kq.importances_mean,
                     "std": kq.importances_std}, index=X.columns)
bang = bang.sort_values("mean", ascending=False)
print(bang.to_string(float_format="%.3f"))

KẾT QUẢ

                           mean   std
so_ngay_tu_lan_mua_cuoi   0.068 0.006
so_lan_dang_nhap_30_ngay  0.047 0.022
ti_le_dung_ma_giam        0.025 0.002
chi_tieu_90_ngay_nghin    0.022 0.006
so_don_90_ngay            0.020 0.005
so_lan_khieu_nai          0.016 0.004
ti_le_giao_tre            0.014 0.006
tuoi                      0.003 0.003
tu_dong_gia_han          -0.001 0.002
so_thang_su_dung         -0.001 0.003

Xáo số ngày từ lần mua cuối làm ROC-AUC trên 750 hội viên validation tụt 0,068, mạnh nhất. tuoi chỉ được 0,003, bằng đúng độ lệch chuẩn của nó: xáo tuổi gần như không làm model kém đi, phần giảm nhỏ đó chỉ là dao động. Một cột có mean không vượt rõ std (như tuoi, tu_dong_gia_han, so_thang_su_dung) chưa đủ bằng chứng là model cần nó. Ba lần xáo là ít, chọn để khối chạy nhanh; khi phân tích thật, dùng n_repeats=10 trở lên. Đổi n_repeats=3 thành n_repeats=6 rồi chạy lại: dòng tuoi in 0.002 0.004.

Biểu đồ cột ngang giúp đọc nhanh hơn bảng; trục ngang là mức ROC-AUC giảm khi xáo cột trên tập validation. Khối dưới vẽ đúng cột mean của bảng trên, chép thành một Series để không phải chấm lại:

python
import matplotlib.pyplot as plt
import pandas as pd
bang = pd.Series({"so_ngay_tu_lan_mua_cuoi": 0.068, "so_lan_dang_nhap_30_ngay": 0.047,
                  "ti_le_dung_ma_giam": 0.025, "chi_tieu_90_ngay_nghin": 0.022,
                  "so_don_90_ngay": 0.020, "so_lan_khieu_nai": 0.016, "ti_le_giao_tre": 0.014,
                  "tuoi": 0.003, "tu_dong_gia_han": -0.001, "so_thang_su_dung": -0.001})
bang.sort_values().plot.barh().figure.set_layout_engine("constrained")
plt.show()
Cột ngang permutation importance của 10 cột: so_ngay_tu_lan_mua_cuoi dài nhất (0,068), so_lan_dang_nhap_30_ngay 0,047, các cột khác dưới 0,03; tuoi gần 0, tu_dong_gia_han và so_thang_su_dung hơi âm.

Hai cột tương quan chia nhau điểm

so_don_90_ngay và chi_tieu_90_ngay_nghin có hệ số tương quan 0,79: mua nhiều đơn thì thường chi nhiều. Ở bảng trên, hai cột chỉ nhận 0,020 và 0,022, chưa tới một phần ba cột đứng đầu. Lý do: khi xáo số đơn, model vẫn đọc được gần đủ thông tin đó từ cột chi tiêu, và ngược lại, nên điểm tụt ít. Điểm thấp ở đây không có nghĩa nhóm thông tin "mua sắm 90 ngày" vô dụng. Muốn đo cả nhóm, xáo cùng lúc hai cột bằng cùng một hoán vị, hay bỏ hẳn cả hai cột rồi fit lại và so điểm.

Permutation importance dùng được cho mọi model có score hay predict, kể cả HistGradientBoosting hay một pipeline, và chạy được trên best_estimator_ của GridSearchCV. Chi phí là số cột × n_repeats lần dự đoán trên tập validation; model chỉ fit một lần.

Kiểm tra nhanh

  1. feature_importances_ của rừng ngẫu nhiên được tính từ đâu?

    • Từ mức giảm Gini mỗi lần cây chia theo cột đó, trên dữ liệu train
    • Từ điểm tụt khi xáo cột trên tập validation
    • Từ hệ số tương quan giữa cột và nhãn
  2. Một cột có importances_mean là 0,003 và importances_std là 0,005. Kết luận nào hợp lý?

    • Model dựa vào cột này nhiều
    • Chưa có bằng chứng model cần cột này
    • Cột này làm model kém đi
  3. Những câu nào đúng về permutation importance?

    • Nên tính trên tập validation hay tập test, không trên tập train
    • Không cần fit lại model
    • n_repeats= là số lần xáo mỗi cột
    • Chỉ dùng được cho model cây
  4. Vì sao hai cột tương quan mạnh có thể cùng nhận permutation importance thấp?

    • Vì scikit-learn bỏ qua các cột tương quan
    • Vì xáo một cột thì model vẫn lấy được gần đủ thông tin đó từ cột kia
    • Vì cột tương quan luôn không có tín hiệu
Đúng hết lần đầu +15 XP

Bài tập

Tự tính permutation importance của một cột

Viết thân hàm tam_quan_trong(model, X, y, cot, so_lan, hat_giong) cho một model đã fit:

  • goc = model.score(X, y);

  • tạo rng = np.random.default_rng(hat_giong) một lần;

  • lặp so_lan lần: chép X thành X_xao, gán X_xao[cot] = rng.permutation(X[cot].to_numpy()), ghi độ giảm goc - model.score(X_xao, y);

  • lấy trung bình các độ giảm.

Hàm không sửa X của nơi gọi.

Trả về: độ giảm trung bình, một float.

Ví dụ: bộ đầu tiên trong phần chấm có 60 dòng, ba cột a, b, c rút từ phân phối chuẩn với np.random.default_rng(0), nhãn là 1 khi 2 * a + 0.7 * b cộng nhiễu lớn hơn 0, và model là một LogisticRegression() đã fit trên chính bộ đó. Với cot = "a", so_lan = 4, hat_giong = 0, hàm trả khoảng 0.2833.

python
import numpy as np

def tam_quan_trong(model, X, y, cot, so_lan, hat_giong):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • feature_importances_ của cây cộng mức giảm Gini trên dữ liệu train, nên thiên vị cột nhiều giá trị như tuoi.

  • permutation_importance(model, X_va, y_va, scoring=, n_repeats=, random_state=) xáo từng cột và đo điểm tụt.

  • Đọc importances_mean cùng importances_std; trung bình không vượt rõ độ lệch là chưa có bằng chứng.

  • Tính trên tập validation hay test; trên tập train, cột vô ích cũng có điểm dương.

  • Hai cột tương quan chia nhau điểm; muốn đo cả nhóm, xáo chúng cùng lúc.

Câu hỏi thường gặp

Feature importance là gì, có cho biết cột gây ra kết quả không?

Không. Feature importance đo mức model cần từng cột khi dự đoán, không cho biết đổi cột đó ngoài đời thì nhãn đổi theo. Một cột có thể quan trọng với model chỉ vì nó đi kèm nguyên nhân thật.

Permutation importance âm nghĩa là gì?

Xáo cột làm điểm tăng nhẹ. Thường đó chỉ là dao động khi cột không mang thông tin, như tuoi ở trên. Nếu một cột âm rõ và ổn định qua nhiều lần xáo, model có thể đang học nhiễu từ cột đó; thử bỏ cột và so điểm bằng cross validation.

Nên dùng scoring nào cho permutation_importance?

Dùng đúng thước đo bạn quan tâm cho bài toán, như ROC-AUC cho phân loại có nhãn lệch hay R² cho hồi quy. Không truyền scoring= thì hàm dùng model.score, tức accuracy với bộ phân loại, thước đo dễ gây hiểu nhầm khi chỉ khoảng 20% hội viên bỏ gói.

Có cách giải thích từng dự đoán riêng lẻ không?

Permutation importance cho một con số cho cả bảng. Muốn biết vì sao model chấm một hội viên cụ thể rủi ro cao, bài SHAP chia điểm dự đoán của từng dòng cho từng cột.

Chủ đề

feature importance

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập