SHAP: giải thích từng dự đoán bằng waterfall, beeswarm
Bài 6/8 · Chương 10
Tinh chỉnh và giải thích model
- 9 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 12
SHAP là cách chia điểm dự đoán của một dòng cho từng feature: mỗi feature nhận một giá trị SHAP, cộng tất cả với một giá trị gốc chung thì ra đúng điểm model cho dòng đó. Permutation importance cho một con số cho cả bảng; SHAP trả lời câu hỏi hẹp hơn mà người dùng model hay hỏi: vì sao model chấm hội viên này rủi ro cao.
Cần biết trước: permutation importance, LightGBM và ROC-AUC.
Giá trị SHAP: chia điểm của một dòng cho từng cột
Bắt đầu với model dễ tính nhất: logistic regression trên mười cột đã chuẩn hóa của hoi_vien.csv (3.000 hội viên Sóc Vàng, số giả lập của AIDev). Model fit trên cả bảng vì ở đây ta chỉ đọc cách nó chấm, không chấm điểm nó. Với model tuyến tính, giá trị SHAP của cột j cho một dòng là hệ số nhân độ lệch của dòng đó so với trung bình cột, tính theo log-odds:
Trong đó:
\phi_j: giá trị SHAP của cột j cho dòng đang xét;w_j(model.coef_[0]): hệ số của cột j;x_j: giá trị của dòng ở cột j;\bar{x}_j: trung bình cột j trên bảng nền. SauStandardScalertrung bình đó bằng 0, nên\phi_j = w_j x_j.
Hai hội viên dưới đây được model chấm cùng xác suất bỏ gói:
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.preprocessing import StandardScaler
kh = pd.read_csv("hoi_vien.csv", index_col="ma_kh")
X = kh.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"]
chuan = StandardScaler().set_output(transform="pandas")
Z = chuan.fit_transform(X)
model = LogisticRegression().fit(Z, kh["roi_bo"])
hai = Z.loc[["SV11593", "SV10212"]]
print(model.predict_proba(hai)[:, 1].round(2))
print((hai * model.coef_[0]).T.round(2))KẾT QUẢ
[0.6 0.6]
ma_kh SV11593 SV10212
tu_dong_gia_han -0.28 -0.28
tuoi -0.04 0.01
so_thang_su_dung 0.03 0.01
so_lan_dang_nhap_30_ngay 0.45 0.57
so_don_90_ngay 0.21 0.21
chi_tieu_90_ngay_nghin -0.00 -0.00
so_ngay_tu_lan_mua_cuoi 2.07 0.13
so_lan_khieu_nai -0.21 1.08
ti_le_giao_tre 0.13 0.41
ti_le_dung_ma_giam -0.14 0.08Cả hai đều 0,60, nhưng vì hai lý do khác hẳn. Với SV11593, gần hết phần rủi ro đến từ số ngày kể từ lần mua cuối (+2,07): hội viên này lâu rồi không mua. Với SV10212, phần lớn đến từ số lần khiếu nại (+1,08), cộng thêm ít đăng nhập và tỉ lệ giao trễ. Cùng một con số rủi ro, việc nên làm khác nhau: một người cần lý do để quay lại mua, người kia cần ai đó xử lý khiếu nại. Đổi "SV10212"]] thành "SV12652"]] rồi chạy lại: dòng đầu in [0.6 0.61], và lý do lớn nhất của hội viên mới là tỉ lệ giao trễ, +1,30.
Cộng các giá trị SHAP của một dòng với giá trị gốc, ở đây là model.intercept_[0] = −1,79, ra log-odds của dòng đó. Với SV10212: −1,79 + 2,21 = 0,42, và xác suất tương ứng là 1 / (1 + e^−0,42) ≈ 0,60. Tính chất cộng đủ này là điều làm SHAP khác các cách "chia công" khác; bài giá trị Shapley giải thích nó đến từ đâu.
Waterfall: một dự đoán, từng bước
Biểu đồ waterfall vẽ đúng phép cộng đó. Thanh đầu tiên bắt đầu ở giá trị gốc, mỗi thanh sau nối tiếp thanh trước; đỏ đẩy rủi ro lên, xanh kéo xuống. Gói shap không chạy trong trình duyệt, nên khối dưới tự vẽ bằng matplotlib cho SV10212:
import matplotlib.pyplot as plt
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.preprocessing import StandardScaler
kh = pd.read_csv("hoi_vien.csv", index_col="ma_kh")
X = kh.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"]
Z = StandardScaler().set_output(transform="pandas").fit_transform(X)
model = LogisticRegression().fit(Z, kh["roi_bo"])
phi = (Z * model.coef_[0]).loc["SV10212"].sort_values(key=abs)
trai = model.intercept_[0] + phi.cumsum() - phi
mau = ["tab:red" if v > 0 else "tab:blue" for v in phi]
plt.barh(phi.index, phi, left=trai, color=mau)
plt.xlabel("log-odds rời bỏ").figure.set_layout_engine("constrained")
plt.show()Đọc từ dưới lên: các cột gần như không đóng góp (chi tiêu, số tháng sử dụng, tuổi) nằm dưới cùng, ba thanh đỏ lớn nhất ở trên. Thanh xanh tu_dong_gia_han kéo rủi ro xuống vì hội viên này có bật tự động gia hạn.
Beeswarm: mọi dòng trên một hình
Beeswarm gom mọi hội viên vào một hình. Mỗi hàng ứng với một cột, mỗi chấm ứng với một hội viên; chấm càng xa về bên phải thì cột đó càng đẩy rủi ro của người ấy lên. Chấm tô đỏ khi người đó có số đo cao ở cột này, tô xanh khi thấp. Hàng xếp theo độ lớn trung bình của giá trị SHAP, cột ảnh hưởng nhiều nhất ở trên:
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.preprocessing import StandardScaler
kh = pd.read_csv("hoi_vien.csv", index_col="ma_kh")
X = kh.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"]
Z = StandardScaler().set_output(transform="pandas").fit_transform(X)
phi = Z * LogisticRegression().fit(Z, kh["roi_bo"]).coef_[0]
vi_tri = phi.abs().mean().rank().to_numpy() - 1
hang = vi_tri + np.random.default_rng(0).normal(0, 0.08, phi.shape)
plt.scatter(phi, hang, s=3, c=np.ravel(Z.clip(-2, 2)), cmap="bwr")
plt.yticks(vi_tri, phi.columns)
plt.xlabel("SHAP (log-odds)").figure.set_layout_engine("constrained")
plt.show()Hàng so_lan_dang_nhap_30_ngay: chấm đỏ (đăng nhập nhiều) nằm bên trái, kéo rủi ro xuống mạnh; chấm xanh (ít đăng nhập) đẩy lên vừa phải. Hàng so_ngay_tu_lan_mua_cuoi ngược lại: lâu không mua (đỏ) đẩy rủi ro lên, có hội viên tới +4. tuoi và chi_tieu_90_ngay_nghin dồn sát 0. Với tuoi, điều này khớp bài permutation importance: cột không mang tín hiệu. Với chi tiêu, hệ số gần 0 vì số đơn 90 ngày, cột tương quan mạnh với nó, đã nhận phần thông tin chung. Với model tuyến tính, mỗi hàng là một dải màu chuyển đều. Với model cây như LightGBM, cùng một giá trị cột có thể nhận giá trị SHAP khác nhau tùy các cột khác, nên hàng bè ra theo chiều dọc.
SHAP cho LightGBM: shap và pred_contrib=True
Với model cây, giá trị SHAP chính xác tính được nhờ thuật toán riêng cho cây (TreeSHAP). Gói shap làm việc này và vẽ waterfall, beeswarm trong một dòng; gói này không có trong trình duyệt, nên khối dưới chỉ để đọc, chạy trên máy có cài shap và lightgbm:
import lightgbm as lgb
import shap
model = lgb.LGBMClassifier(n_estimators=200, learning_rate=0.05,
num_leaves=15, random_state=0, verbose=-1)
model.fit(X_tr, y_tr)
gia_tri = shap.TreeExplainer(model)(X_te)
shap.plots.waterfall(gia_tri[0])
shap.plots.beeswarm(gia_tri)
LightGBM tự tính được cùng các con số mà không cần gói shap: model.predict(X_te, pred_contrib=True) trả một mảng có số cột bằng số feature cộng một, cột cuối là giá trị gốc, tất cả theo log-odds. Cộng một dòng của mảng đó ra đúng model.predict(X_te, raw_score=True) của dòng ấy.
Giá trị SHAP mô tả model, không mô tả thế giới. Model nói số lần khiếu nại đẩy rủi ro của SV10212 lên; điều đó không chứng minh xử lý khiếu nại sẽ giữ được hội viên này. Muốn biết một hành động có tác dụng, cần thử nghiệm có nhóm so sánh.
Kiểm tra nhanh
Giá trị gốc là −1,79 (log-odds). Tổng giá trị SHAP của một hội viên là 2,21. Log-odds model cho hội viên đó là bao nhiêu?
0.422.210.60
Những câu nào đúng về giá trị SHAP?
- Mỗi dòng có một bộ giá trị SHAP riêng
- Với model tuyến tính, giá trị SHAP của cột j là hệ số nhân độ lệch so với trung bình cột
- Giá trị SHAP của một cột giống nhau cho mọi dòng
- Tổng giá trị SHAP của một dòng luôn bằng 1
Trên beeswarm, hàng
so_ngay_tu_lan_mua_cuoicó chấm đỏ nằm bên phải. Điều đó nghĩa là gì?- Hội viên lâu không mua được model chấm rủi ro cao hơn
- Hội viên lâu không mua có rủi ro thấp hơn
- Cột này không ảnh hưởng tới model
Giá trị SHAP của số lần khiếu nại cho một hội viên là +1,08. Câu nào hợp lý nhất?
- Giảm khiếu nại chắc chắn giữ được hội viên này
- Model dựa vào số lần khiếu nại để chấm hội viên này rủi ro cao hơn mức gốc
- Khiếu nại là nguyên nhân duy nhất khiến hội viên rời bỏ
Bài tập
Giá trị SHAP của một model tuyến tính
Viết thân hàm dong_gop(he_so, X_nen, x):
he_solà một Series hệ số, chỉ mục là tên cột;X_nenlà DataFrame bảng nền, cùng các cột đó;xlà một Series, một dòng cần giải thích;giá trị SHAP của mỗi cột là
he_sonhân (xtrừ trung bình cột củaX_nen).
Hàm không sửa x hay X_nen của nơi gọi.
Trả về: giá trị SHAP của từng cột, chỉ mục là tên cột, một Series.
Ví dụ: he_so là a: 2.0, b: -1.0, X_nen có cột a là 0, 2, 4 và cột b là 1, 1, 4, x là a: 5.0, b: 0.0, thì hàm trả a: 6.0, b: 2.0.
import pandas as pd
def dong_gop(he_so, X_nen, x):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Giá trị SHAP chia điểm dự đoán của một dòng cho từng cột; giá trị gốc cộng tổng giá trị SHAP ra đúng điểm của dòng.
Với model tuyến tính:
\phi_j = w_j (x_j - \bar{x}_j), tính theo log-odds.Waterfall giải thích một dòng; beeswarm cho thấy mọi dòng, màu là giá trị cột.
Cùng xác suất rủi ro có thể đến từ những lý do khác nhau, dẫn tới việc nên làm khác nhau.
Gói
shapvàpred_contrib=Truecủa LightGBM tính giá trị SHAP cho model cây; giá trị SHAP mô tả model, không chứng minh nguyên nhân.
Câu hỏi thường gặp
SHAP values khác permutation importance thế nào?
Permutation importance cho một con số mỗi cột cho cả bảng: model cần cột đó bao nhiêu. SHAP values cho một con số mỗi cột cho từng dòng, và lấy trung bình độ lớn của chúng qua các dòng thì được một kiểu độ quan trọng cho cả bảng, như thứ tự các hàng trên beeswarm.
Vì sao giá trị SHAP tính theo log-odds, không theo xác suất?
Với logistic regression và LightGBM phân loại, điểm của model là log-odds, và phép cộng đủ của SHAP đúng trên thang đó. Đổi sang xác suất phải đi qua hàm sigmoid ở bước cuối; không thể cộng thẳng từng giá trị SHAP vào xác suất.
Bảng nền nên là dữ liệu nào?
Thường là tập train hay một mẫu vài trăm dòng của nó. Giá trị gốc là điểm trung bình trên bảng nền, nên đổi bảng nền là đổi mốc so sánh: "rủi ro hơn hội viên trung bình bao nhiêu" phụ thuộc vào ai được coi là trung bình.
SHAP có giải thích được model bất kỳ không?
Được, nhưng chậm với model không phải cây hay tuyến tính, vì phải ước lượng bằng nhiều lần dự đoán. Với model cây, TreeSHAP tính chính xác và nhanh; với model tuyến tính, công thức trong bài này là đủ.
Chủ đề
Dữ liệu của bài
- Tải xuống
hoi_vien.csv
CSV · 207.25 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.