Bỏ qua đến nội dung chính
Mục lục

Dự án giải thích mô hình machine learning: ca đoán sai

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 8/8 · Chương 10

Tinh chỉnh và giải thích model

  • 10 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Dự án nhỏ này giải thích mô hình machine learning ở chỗ nó sai: những hội viên Sóc Vàng bị xếp rủi ro cao mà không rời bỏ, và những người rời bỏ mà bị xếp thấp. Bạn so đóng góp SHAP của từng nhóm, đọc xem dữ liệu có gì để phân biệt họ không, rồi viết câu giải thích dự đoán của model bằng lời thường.

Cần biết trước: logistic regression, SHAP, train_test_split và argsort.

Chương trình sẽ làm gì

Chương trình nhận hoi_vien.csv, chia 75% train và 25% test có giữ tỉ lệ rời bỏ, học logistic regression trên 10 cột số từ tu_dong_gia_han tới ti_le_dung_ma_giam, rồi xếp 750 hội viên của phần test theo xác suất. Nó trả lời ba câu hỏi:

Câu hỏi

Nhóm được xem

Model báo nhầm vì đâu?

Người trong 30 người đầu danh sách mà không rời bỏ

Họ khác người rời bỏ thật ở đâu?

Người trong 30 người đầu danh sách mà rời bỏ

Model bỏ sót vì đâu?

20 người rời bỏ có xác suất thấp nhất

Với logistic regression sau StandardScaler, giá trị SHAP của một cột là hệ số nhân giá trị đã chuẩn hóa, như bài SHAP đã tính. Thứ tự dựng: tách hai nhóm đầu danh sách, so đóng góp của họ, xem nhóm bị bỏ sót, viết câu cho từng ca, rồi ghép lại.

Bước 1: Ba mươi người đầu danh sách

Xếp phần test theo xác suất giảm dần và đếm, trong 10 và 30 người đầu, bao nhiêu người rời bỏ thật:

python
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
hv = pd.read_csv("hoi_vien.csv", index_col="ma_kh")
X = hv.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"]
X_tr, X_te, y_tr, y_te = train_test_split(
    X, hv["roi_bo"], stratify=hv["roi_bo"], random_state=0)
model = make_pipeline(StandardScaler(), LogisticRegression())
p = pd.Series(model.fit(X_tr, y_tr).predict_proba(X_te)[:, 1], X_te.index)
dau = p.sort_values(ascending=False, kind="stable").index[:30]
print(y_te[dau[:10]].sum(), y_te[dau].sum(), round(y_te.mean(), 3))

KẾT QUẢ

9 21 0.199

Mười người đầu, chín người rời bỏ thật; ba mươi người đầu, hai mươi mốt. Tỉ lệ chung của phần test chỉ khoảng 20%, nên đầu danh sách trúng gấp ba bốn lần. Còn chín người bị báo nhầm. Câu hỏi của dự án: model nhìn thấy gì ở chín người đó?

Bước 2: Báo nhầm và báo đúng, đóng góp trung bình

Tính SHAP cho 30 người, rồi lấy trung bình theo hai nhóm. Mỗi số là log-odds mà cột đó cộng thêm, trung bình trong nhóm:

python
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
hv = pd.read_csv("hoi_vien.csv", index_col="ma_kh")
X = hv.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"]
X_tr, X_te, y_tr, y_te = train_test_split(
    X, hv["roi_bo"], stratify=hv["roi_bo"], random_state=0)
model = make_pipeline(StandardScaler(), LogisticRegression()).fit(X_tr, y_tr)
dau = X_te.iloc[(-model.predict_proba(X_te)[:, 1]).argsort(kind="stable")[:30]]
shap = pd.DataFrame(model[0].transform(dau) * model[1].coef_[0],
                    index=dau.index, columns=X.columns)
bang = shap.groupby(y_te[dau.index].map({1: "dung", 0: "nham"})).mean()
print(bang.T.round(2).sort_values("dung", ascending=False).head(5))

KẾT QUẢ

roi_bo                    dung  nham
so_ngay_tu_lan_mua_cuoi   1.30  1.46
so_lan_dang_nhap_30_ngay  0.60  0.48
so_don_90_ngay            0.35  0.36
ti_le_dung_ma_giam        0.24  0.07
so_lan_khieu_nai          0.21  0.13

Ba cột lớn nhất gần như trùng nhau: người bị báo nhầm cũng lâu chưa mua, cũng ít đăng nhập, cũng ít đơn như người rời bỏ thật. Hai cột nhỏ sau lệch một chút (mã giảm giá 0,24 so với 0,07), nhưng không cột nào cho model đủ chỗ để tách hai nhóm: với 10 cột này, chín người đó trông giống hệt người sắp rời. Đó là kết luận về dữ liệu, không phải lỗi của model: một model khác học trên cùng các cột cũng sẽ xếp họ lên đầu.

Một lần chia có thể may. Đo lại trên 200 cách chia khác nhau (ngoài trang): số người báo nhầm trong 30 người đầu dao động từ 4 tới 14, trung bình khoảng 9, và hiệu giữa hai nhóm đổi dấu qua các lần chia (dương ở 44% số lần), tức không có một khác biệt cố định nào để model học thêm.

Bước 3: Những người model bỏ sót

Đầu bên kia: người rời bỏ thật mà model cho xác suất thấp nhất. So giá trị trung bình của 20 người này (cột True) với những người rời bỏ còn lại của phần test (cột False):

python
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
hv = pd.read_csv("hoi_vien.csv", index_col="ma_kh")
X = hv.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"]
X_tr, X_te, y_tr, y_te = train_test_split(
    X, hv["roi_bo"], stratify=hv["roi_bo"], random_state=0)
model = make_pipeline(StandardScaler(), LogisticRegression()).fit(X_tr, y_tr)
p = pd.Series(model.predict_proba(X_te)[:, 1], X_te.index)[y_te == 1]
sot = p.sort_values(kind="stable").index[:20]
bang = X_te.loc[p.index].groupby(p.index.isin(sot)).mean()
print(bang.T.round(1).iloc[[6, 3, 4]])
print(p[sot].max().round(3))

KẾT QUẢ

                          False  True
so_ngay_tu_lan_mua_cuoi    78.2   12.2
so_lan_dang_nhap_30_ngay    4.7   10.1
so_don_90_ngay              1.3    5.0
0.105

Hai mươi người này mua gần đây, đăng nhập đều, đặt nhiều đơn: trên mọi cột model dùng, họ là hội viên gắn bó. Đóng góp SHAP của họ âm ở các cột lớn, kéo xác suất xuống: người cao nhất trong 20 người chỉ có 0,105. Giải thích mô hình cho thấy vì sao model xếp họ thấp; nó không nói vì sao họ rời đi. Lý do thật (chuyển nhà, bên khác rẻ hơn) không nằm trong 10 cột, và không phép giải thích nào lấy ra được thứ dữ liệu không có.

Bước 4: Từ đóng góp tới câu giải thích

Mỗi cột cần một câu mẫu có chỗ trống {v} cho giá trị của hội viên. Với người bị báo nhầm, câu lấy các cột có đóng góp dương lớn nhất: "model xếp cao vì…". Với người bị bỏ sót, đổi dấu đóng góp rồi làm y như vậy với một bộ câu mẫu khác: "model xếp thấp vì…". Khối dưới dùng số minh họa của một người bị bỏ sót:

python
cot = ["so_ngay_tu_lan_mua_cuoi", "so_lan_dang_nhap_30_ngay",
       "so_don_90_ngay", "tu_dong_gia_han"]
dong_gop = dict(zip(cot, [-1.31, -0.62, -0.40, 0.25]))
gia_tri = dict(zip(cot, [9, 12, 6, 0]))
mau_thap = {"so_ngay_tu_lan_mua_cuoi": "mới mua {v} ngày trước",
            "so_lan_dang_nhap_30_ngay": "đăng nhập {v} lần trong tháng",
            "so_don_90_ngay": "{v} đơn trong 90 ngày",
            "tu_dong_gia_han": "đã bật tự gia hạn"}
keo_xuong = {c: -d for c, d in dong_gop.items() if -d > 0}
lon = sorted(keo_xuong, key=keo_xuong.get, reverse=True)[:3]
print("Model xếp thấp vì:",
      ", ".join(mau_thap[c].format(v=gia_tri[c]) for c in lon))

KẾT QUẢ

Model xếp thấp vì: mới mua 9 ngày trước, đăng nhập 12 lần trong tháng, 6 đơn trong 90 ngày

tu_dong_gia_han có đóng góp dương (người này không bật tự gia hạn, điều đó đẩy rủi ro lên), nên sau khi đổi dấu nó âm và không vào câu. format(v=...) điền giá trị vào chỗ trống; mẫu không có {v} vẫn chạy, vì format bỏ qua tên không dùng.

Bước 5: Ghép thành chương trình hoàn chỉnh

Chương trình dưới học model, tách người bị báo nhầm trong 30 người đầu và người rời bỏ bị xếp thấp nhất, rồi viết một câu cho ba người của mỗi nhóm:

python
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

hv = pd.read_csv("hoi_vien.csv", index_col="ma_kh")
X = hv.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"]
X_tr, X_te, y_tr, y_te = train_test_split(
    X, hv["roi_bo"], stratify=hv["roi_bo"], random_state=0)
model = make_pipeline(StandardScaler(), LogisticRegression()).fit(X_tr, y_tr)
p = pd.Series(model.predict_proba(X_te)[:, 1], X_te.index)
shap = pd.DataFrame(model[0].transform(X_te) * model[1].coef_[0],
                    index=X_te.index, columns=X.columns)
dau = p.sort_values(ascending=False, kind="stable").index[:30]
nham = [m for m in dau if y_te[m] == 0][:3]
sot = p[y_te == 1].sort_values(kind="stable").index[:3]

mau_cao = {"so_ngay_tu_lan_mua_cuoi": "{v} ngày chưa mua",
           "so_lan_dang_nhap_30_ngay": "đăng nhập {v} lần trong tháng",
           "so_don_90_ngay": "{v} đơn trong 90 ngày",
           "ti_le_giao_tre": "{v:.0%} đơn giao trễ",
           "so_lan_khieu_nai": "{v} lần khiếu nại"}
mau_thap = {"so_ngay_tu_lan_mua_cuoi": "mới mua {v} ngày trước",
            "so_lan_dang_nhap_30_ngay": "đăng nhập {v} lần trong tháng",
            "so_don_90_ngay": "{v} đơn trong 90 ngày",
            "tu_dong_gia_han": "đã bật tự gia hạn"}
gia_tri = X_te.astype(object)
for nhom, ds, dau_tru, mau in [("Báo nhầm", nham, 1, mau_cao),
                               ("Bỏ sót", sot, -1, mau_thap)]:
    for ma in ds:
        dg = dau_tru * shap.loc[ma, list(mau)]
        lon = dg[dg > 0].sort_values(ascending=False, kind="stable")[:3]
        cau = ", ".join(mau[c].format(v=gia_tri.loc[ma, c]) for c in lon.index)
        print(nhom, ma, round(p[ma], 2), cau)

KẾT QUẢ

Báo nhầm SV12013 0.85 205 ngày chưa mua, đăng nhập 2 lần trong tháng, 0 đơn trong 90 ngày
Báo nhầm SV12336 0.72 155 ngày chưa mua, 29% đơn giao trễ, 0 đơn trong 90 ngày
Báo nhầm SV11425 0.69 173 ngày chưa mua, đăng nhập 1 lần trong tháng, 0 đơn trong 90 ngày
Bỏ sót SV11776 0.03 đăng nhập 15 lần trong tháng, mới mua 8 ngày trước, 5 đơn trong 90 ngày
Bỏ sót SV12541 0.03 mới mua 1 ngày trước, 5 đơn trong 90 ngày, đã bật tự gia hạn
Bỏ sót SV10867 0.04 đăng nhập 18 lần trong tháng, 8 đơn trong 90 ngày, mới mua 2 ngày trước

Sáu câu, hai chiều. Câu "báo nhầm" mô tả đúng một người sắp rời, chỉ có điều người này ở lại; câu "bỏ sót" mô tả đúng một người gắn bó, chỉ có điều người này đi. Cả hai đều đúng về model: chúng nói model đã nhìn vào đâu. Không câu nào là lý do thật của khách. Khi đưa câu giải thích cho người khác dùng, câu này cần đi kèm một dòng: "đây là lý do model xếp hạng, không phải lý do khách quyết định".

Bài tập

Câu lý do từ giá trị SHAP

Tách phần viết câu của chương trình thành một hàm, dùng được cho cả hai chiều: đưa -dong_gop vào thì hàm lấy các cột kéo rủi ro xuống. dong_gop là Series giá trị SHAP của một hội viên, index là tên cột. gia_tri là Series giá trị gốc của hội viên đó, cùng index. mau là dict từ tên cột sang câu mẫu có thể chứa {v}; k là số lý do tối đa. Viết thân hàm cau_ly_do(dong_gop, gia_tri, mau, k):

  • chỉ xét cột có trong mau và có đóng góp lớn hơn hẳn 0;

  • lấy tối đa k cột, đóng góp lớn nhất trước; hai cột bằng đóng góp thì cột đứng trước trong dong_gop đi trước;

  • điền giá trị của từng cột vào câu mẫu bằng mau[cot].format(v=...) và nối bằng ", ".

Không có cột nào thỏa thì trả chuỗi rỗng. Hàm không sửa dong_gop.

Trả về: câu lý do, một str.

Ví dụ: với một hội viên có đóng góp so_ngay_tu_lan_mua_cuoi 2,22, so_lan_dang_nhap_30_ngay 0,70, ti_le_giao_tre 0,68, so_don_90_ngay 0,38 và giá trị 220 ngày, 2 lần, 0,33, 0 đơn, cùng mau_cao của chương trình, cau_ly_do(dong_gop, gia_tri, mau_cao, 3) trả "220 ngày chưa mua, đăng nhập 2 lần trong tháng, 33% đơn giao trễ".

python
import pandas as pd

def cau_ly_do(dong_gop, gia_tri, mau, k):
    pass  # Viết thân hàm thay cho dòng này

Thử mở rộng

Các hướng dưới làm được ngay với chương trình trên:

  • Dán hàm cau_ly_do của bài tập lên đầu chương trình, thay hai dòng lon và cau bằng cau = cau_ly_do(dau_tru * shap.loc[ma], gia_tri.loc[ma], mau, 3) và kiểm sáu câu in ra không đổi. gia_tri là bảng astype(object) nên số nguyên vẫn in như số nguyên.

  • Đổi [:30] thành [:100] ở dòng dau và đếm lại số người bị báo nhầm: đầu danh sách càng dài, tỉ lệ báo nhầm càng cao.

  • Thêm vào mau_thap câu cho ti_le_giao_tre ("chỉ {v:.0%} đơn giao trễ") và xem nó có lọt vào câu của người bị bỏ sót nào không.

  • Đổi random_state=0 của train_test_split thành 1, 2, 3 và chạy lại bước 2: hai nhóm vẫn gần như trùng nhau, dù số người báo nhầm đổi.

Chủ đề

giải thích mô hình machine learning

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập