Dự án giải thích mô hình machine learning: ca đoán sai
Bài 8/8 · Chương 10
Tinh chỉnh và giải thích model
- 10 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 8
Dự án nhỏ này giải thích mô hình machine learning ở chỗ nó sai: những hội viên Sóc Vàng bị xếp rủi ro cao mà không rời bỏ, và những người rời bỏ mà bị xếp thấp. Bạn so đóng góp SHAP của từng nhóm, đọc xem dữ liệu có gì để phân biệt họ không, rồi viết câu giải thích dự đoán của model bằng lời thường.
Cần biết trước: logistic regression, SHAP, train_test_split và argsort.
Chương trình sẽ làm gì
Chương trình nhận hoi_vien.csv, chia 75% train và 25% test có giữ tỉ lệ rời bỏ, học logistic regression trên 10 cột số từ tu_dong_gia_han tới ti_le_dung_ma_giam, rồi xếp 750 hội viên của phần test theo xác suất. Nó trả lời ba câu hỏi:
Câu hỏi | Nhóm được xem |
|---|---|
Model báo nhầm vì đâu? | Người trong 30 người đầu danh sách mà không rời bỏ |
Họ khác người rời bỏ thật ở đâu? | Người trong 30 người đầu danh sách mà rời bỏ |
Model bỏ sót vì đâu? | 20 người rời bỏ có xác suất thấp nhất |
Với logistic regression sau StandardScaler, giá trị SHAP của một cột là hệ số nhân giá trị đã chuẩn hóa, như bài SHAP đã tính. Thứ tự dựng: tách hai nhóm đầu danh sách, so đóng góp của họ, xem nhóm bị bỏ sót, viết câu cho từng ca, rồi ghép lại.
Bước 1: Ba mươi người đầu danh sách
Xếp phần test theo xác suất giảm dần và đếm, trong 10 và 30 người đầu, bao nhiêu người rời bỏ thật:
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
hv = pd.read_csv("hoi_vien.csv", index_col="ma_kh")
X = hv.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"]
X_tr, X_te, y_tr, y_te = train_test_split(
X, hv["roi_bo"], stratify=hv["roi_bo"], random_state=0)
model = make_pipeline(StandardScaler(), LogisticRegression())
p = pd.Series(model.fit(X_tr, y_tr).predict_proba(X_te)[:, 1], X_te.index)
dau = p.sort_values(ascending=False, kind="stable").index[:30]
print(y_te[dau[:10]].sum(), y_te[dau].sum(), round(y_te.mean(), 3))KẾT QUẢ
9 21 0.199Mười người đầu, chín người rời bỏ thật; ba mươi người đầu, hai mươi mốt. Tỉ lệ chung của phần test chỉ khoảng 20%, nên đầu danh sách trúng gấp ba bốn lần. Còn chín người bị báo nhầm. Câu hỏi của dự án: model nhìn thấy gì ở chín người đó?
Bước 2: Báo nhầm và báo đúng, đóng góp trung bình
Tính SHAP cho 30 người, rồi lấy trung bình theo hai nhóm. Mỗi số là log-odds mà cột đó cộng thêm, trung bình trong nhóm:
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
hv = pd.read_csv("hoi_vien.csv", index_col="ma_kh")
X = hv.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"]
X_tr, X_te, y_tr, y_te = train_test_split(
X, hv["roi_bo"], stratify=hv["roi_bo"], random_state=0)
model = make_pipeline(StandardScaler(), LogisticRegression()).fit(X_tr, y_tr)
dau = X_te.iloc[(-model.predict_proba(X_te)[:, 1]).argsort(kind="stable")[:30]]
shap = pd.DataFrame(model[0].transform(dau) * model[1].coef_[0],
index=dau.index, columns=X.columns)
bang = shap.groupby(y_te[dau.index].map({1: "dung", 0: "nham"})).mean()
print(bang.T.round(2).sort_values("dung", ascending=False).head(5))KẾT QUẢ
roi_bo dung nham
so_ngay_tu_lan_mua_cuoi 1.30 1.46
so_lan_dang_nhap_30_ngay 0.60 0.48
so_don_90_ngay 0.35 0.36
ti_le_dung_ma_giam 0.24 0.07
so_lan_khieu_nai 0.21 0.13Ba cột lớn nhất gần như trùng nhau: người bị báo nhầm cũng lâu chưa mua, cũng ít đăng nhập, cũng ít đơn như người rời bỏ thật. Hai cột nhỏ sau lệch một chút (mã giảm giá 0,24 so với 0,07), nhưng không cột nào cho model đủ chỗ để tách hai nhóm: với 10 cột này, chín người đó trông giống hệt người sắp rời. Đó là kết luận về dữ liệu, không phải lỗi của model: một model khác học trên cùng các cột cũng sẽ xếp họ lên đầu.
Một lần chia có thể may. Đo lại trên 200 cách chia khác nhau (ngoài trang): số người báo nhầm trong 30 người đầu dao động từ 4 tới 14, trung bình khoảng 9, và hiệu giữa hai nhóm đổi dấu qua các lần chia (dương ở 44% số lần), tức không có một khác biệt cố định nào để model học thêm.
Bước 3: Những người model bỏ sót
Đầu bên kia: người rời bỏ thật mà model cho xác suất thấp nhất. So giá trị trung bình của 20 người này (cột True) với những người rời bỏ còn lại của phần test (cột False):
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
hv = pd.read_csv("hoi_vien.csv", index_col="ma_kh")
X = hv.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"]
X_tr, X_te, y_tr, y_te = train_test_split(
X, hv["roi_bo"], stratify=hv["roi_bo"], random_state=0)
model = make_pipeline(StandardScaler(), LogisticRegression()).fit(X_tr, y_tr)
p = pd.Series(model.predict_proba(X_te)[:, 1], X_te.index)[y_te == 1]
sot = p.sort_values(kind="stable").index[:20]
bang = X_te.loc[p.index].groupby(p.index.isin(sot)).mean()
print(bang.T.round(1).iloc[[6, 3, 4]])
print(p[sot].max().round(3))KẾT QUẢ
False True
so_ngay_tu_lan_mua_cuoi 78.2 12.2
so_lan_dang_nhap_30_ngay 4.7 10.1
so_don_90_ngay 1.3 5.0
0.105Hai mươi người này mua gần đây, đăng nhập đều, đặt nhiều đơn: trên mọi cột model dùng, họ là hội viên gắn bó. Đóng góp SHAP của họ âm ở các cột lớn, kéo xác suất xuống: người cao nhất trong 20 người chỉ có 0,105. Giải thích mô hình cho thấy vì sao model xếp họ thấp; nó không nói vì sao họ rời đi. Lý do thật (chuyển nhà, bên khác rẻ hơn) không nằm trong 10 cột, và không phép giải thích nào lấy ra được thứ dữ liệu không có.
Bước 4: Từ đóng góp tới câu giải thích
Mỗi cột cần một câu mẫu có chỗ trống {v} cho giá trị của hội viên. Với người bị báo nhầm, câu lấy các cột có đóng góp dương lớn nhất: "model xếp cao vì…". Với người bị bỏ sót, đổi dấu đóng góp rồi làm y như vậy với một bộ câu mẫu khác: "model xếp thấp vì…". Khối dưới dùng số minh họa của một người bị bỏ sót:
cot = ["so_ngay_tu_lan_mua_cuoi", "so_lan_dang_nhap_30_ngay",
"so_don_90_ngay", "tu_dong_gia_han"]
dong_gop = dict(zip(cot, [-1.31, -0.62, -0.40, 0.25]))
gia_tri = dict(zip(cot, [9, 12, 6, 0]))
mau_thap = {"so_ngay_tu_lan_mua_cuoi": "mới mua {v} ngày trước",
"so_lan_dang_nhap_30_ngay": "đăng nhập {v} lần trong tháng",
"so_don_90_ngay": "{v} đơn trong 90 ngày",
"tu_dong_gia_han": "đã bật tự gia hạn"}
keo_xuong = {c: -d for c, d in dong_gop.items() if -d > 0}
lon = sorted(keo_xuong, key=keo_xuong.get, reverse=True)[:3]
print("Model xếp thấp vì:",
", ".join(mau_thap[c].format(v=gia_tri[c]) for c in lon))KẾT QUẢ
Model xếp thấp vì: mới mua 9 ngày trước, đăng nhập 12 lần trong tháng, 6 đơn trong 90 ngàytu_dong_gia_han có đóng góp dương (người này không bật tự gia hạn, điều đó đẩy rủi ro lên), nên sau khi đổi dấu nó âm và không vào câu. format(v=...) điền giá trị vào chỗ trống; mẫu không có {v} vẫn chạy, vì format bỏ qua tên không dùng.
Bước 5: Ghép thành chương trình hoàn chỉnh
Chương trình dưới học model, tách người bị báo nhầm trong 30 người đầu và người rời bỏ bị xếp thấp nhất, rồi viết một câu cho ba người của mỗi nhóm:
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
hv = pd.read_csv("hoi_vien.csv", index_col="ma_kh")
X = hv.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"]
X_tr, X_te, y_tr, y_te = train_test_split(
X, hv["roi_bo"], stratify=hv["roi_bo"], random_state=0)
model = make_pipeline(StandardScaler(), LogisticRegression()).fit(X_tr, y_tr)
p = pd.Series(model.predict_proba(X_te)[:, 1], X_te.index)
shap = pd.DataFrame(model[0].transform(X_te) * model[1].coef_[0],
index=X_te.index, columns=X.columns)
dau = p.sort_values(ascending=False, kind="stable").index[:30]
nham = [m for m in dau if y_te[m] == 0][:3]
sot = p[y_te == 1].sort_values(kind="stable").index[:3]
mau_cao = {"so_ngay_tu_lan_mua_cuoi": "{v} ngày chưa mua",
"so_lan_dang_nhap_30_ngay": "đăng nhập {v} lần trong tháng",
"so_don_90_ngay": "{v} đơn trong 90 ngày",
"ti_le_giao_tre": "{v:.0%} đơn giao trễ",
"so_lan_khieu_nai": "{v} lần khiếu nại"}
mau_thap = {"so_ngay_tu_lan_mua_cuoi": "mới mua {v} ngày trước",
"so_lan_dang_nhap_30_ngay": "đăng nhập {v} lần trong tháng",
"so_don_90_ngay": "{v} đơn trong 90 ngày",
"tu_dong_gia_han": "đã bật tự gia hạn"}
gia_tri = X_te.astype(object)
for nhom, ds, dau_tru, mau in [("Báo nhầm", nham, 1, mau_cao),
("Bỏ sót", sot, -1, mau_thap)]:
for ma in ds:
dg = dau_tru * shap.loc[ma, list(mau)]
lon = dg[dg > 0].sort_values(ascending=False, kind="stable")[:3]
cau = ", ".join(mau[c].format(v=gia_tri.loc[ma, c]) for c in lon.index)
print(nhom, ma, round(p[ma], 2), cau)KẾT QUẢ
Báo nhầm SV12013 0.85 205 ngày chưa mua, đăng nhập 2 lần trong tháng, 0 đơn trong 90 ngày
Báo nhầm SV12336 0.72 155 ngày chưa mua, 29% đơn giao trễ, 0 đơn trong 90 ngày
Báo nhầm SV11425 0.69 173 ngày chưa mua, đăng nhập 1 lần trong tháng, 0 đơn trong 90 ngày
Bỏ sót SV11776 0.03 đăng nhập 15 lần trong tháng, mới mua 8 ngày trước, 5 đơn trong 90 ngày
Bỏ sót SV12541 0.03 mới mua 1 ngày trước, 5 đơn trong 90 ngày, đã bật tự gia hạn
Bỏ sót SV10867 0.04 đăng nhập 18 lần trong tháng, 8 đơn trong 90 ngày, mới mua 2 ngày trướcSáu câu, hai chiều. Câu "báo nhầm" mô tả đúng một người sắp rời, chỉ có điều người này ở lại; câu "bỏ sót" mô tả đúng một người gắn bó, chỉ có điều người này đi. Cả hai đều đúng về model: chúng nói model đã nhìn vào đâu. Không câu nào là lý do thật của khách. Khi đưa câu giải thích cho người khác dùng, câu này cần đi kèm một dòng: "đây là lý do model xếp hạng, không phải lý do khách quyết định".
Bài tập
Câu lý do từ giá trị SHAP
Tách phần viết câu của chương trình thành một hàm, dùng được cho cả hai chiều: đưa -dong_gop vào thì hàm lấy các cột kéo rủi ro xuống. dong_gop là Series giá trị SHAP của một hội viên, index là tên cột. gia_tri là Series giá trị gốc của hội viên đó, cùng index. mau là dict từ tên cột sang câu mẫu có thể chứa {v}; k là số lý do tối đa. Viết thân hàm cau_ly_do(dong_gop, gia_tri, mau, k):
chỉ xét cột có trong
mauvà có đóng góp lớn hơn hẳn 0;lấy tối đa
kcột, đóng góp lớn nhất trước; hai cột bằng đóng góp thì cột đứng trước trongdong_gopđi trước;điền giá trị của từng cột vào câu mẫu bằng
mau[cot].format(v=...)và nối bằng", ".
Không có cột nào thỏa thì trả chuỗi rỗng. Hàm không sửa dong_gop.
Trả về: câu lý do, một str.
Ví dụ: với một hội viên có đóng góp so_ngay_tu_lan_mua_cuoi 2,22, so_lan_dang_nhap_30_ngay 0,70, ti_le_giao_tre 0,68, so_don_90_ngay 0,38 và giá trị 220 ngày, 2 lần, 0,33, 0 đơn, cùng mau_cao của chương trình, cau_ly_do(dong_gop, gia_tri, mau_cao, 3) trả "220 ngày chưa mua, đăng nhập 2 lần trong tháng, 33% đơn giao trễ".
import pandas as pd
def cau_ly_do(dong_gop, gia_tri, mau, k):
pass # Viết thân hàm thay cho dòng nàyThử mở rộng
Các hướng dưới làm được ngay với chương trình trên:
Dán hàm
cau_ly_docủa bài tập lên đầu chương trình, thay hai dònglonvàcaubằngcau = cau_ly_do(dau_tru * shap.loc[ma], gia_tri.loc[ma], mau, 3)và kiểm sáu câu in ra không đổi.gia_trilà bảngastype(object)nên số nguyên vẫn in như số nguyên.Đổi
[:30]thành[:100]ở dòngdauvà đếm lại số người bị báo nhầm: đầu danh sách càng dài, tỉ lệ báo nhầm càng cao.Thêm vào
mau_thapcâu choti_le_giao_tre("chỉ {v:.0%} đơn giao trễ") và xem nó có lọt vào câu của người bị bỏ sót nào không.Đổi
random_state=0củatrain_test_splitthành 1, 2, 3 và chạy lại bước 2: hai nhóm vẫn gần như trùng nhau, dù số người báo nhầm đổi.
Chủ đề
Dữ liệu của bài
- Tải xuống
hoi_vien.csv
CSV · 207.25 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.