Bỏ qua đến nội dung chính
Mục lục

Shapley value bằng ví dụ ba người mở quầy đồ ăn

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 8/8 · Chương 12

Toán vừa đủ cho Machine Learning

  • 9 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Shapley value chia một kết quả chung cho từng thành viên theo phần mỗi người làm kết quả tăng thêm khi có mặt. Bài này bắt đầu từ ba người cùng mở một quầy đồ ăn và bảng tiền lời của từng nhóm, rồi tính phần của mỗi người bằng Python. Trong machine learning, thành viên là các feature của một dòng và kết quả cần chia là điểm dự đoán.

Cần biết trước: SHAP và hoán vị.

Ba người góp sức, chia lời thế nào

An (A) nấu ăn, Bình (B) bán hàng online, Chi (C) có mặt bằng. Họ thử mở một quầy đồ ăn trong khu chợ cuối tuần của Sóc Nhanh với từng nhóm người, và ghi lời mỗi tháng (triệu đồng):

Nhóm

Không ai

A

B

C

A, B

A, C

B, C

A, B, C

Lời

0

6

2

4

14

14

8

30

Cả ba cùng làm thì lời 30. Chia đều mỗi người 10 bỏ qua chuyện An đứng một mình đã lời gấp ba Bình. Chia theo tỉ lệ lời khi làm một mình (6 : 2 : 4) bỏ qua chuyện An và Bình cùng làm lời 14, hơn hẳn 6 + 2. Shapley value nhìn vào phần góp thêm: khi một người bước vào một nhóm có sẵn, lời tăng thêm bao nhiêu.

Công thức: trung bình theo mọi thứ tự

Ba người có 3! = 6 thứ tự tham gia. Với mỗi thứ tự, người vào sau được tính phần lời tăng thêm so với nhóm đã có trước họ:

φi=1n!∑πΔi(π)\varphi_i = \frac{1}{n!} \sum_{\pi} \Delta_i(\pi)

Trong đó:

  • n (len(nguoi_choi)): số người, ở đây là 3; n! = 6 là số thứ tự.

  • π (thu_tu): một thứ tự tham gia, ví dụ B rồi A rồi C.

  • Δ với chỉ số i của π: lời của nhóm sau khi người i bước vào trừ lời của nhóm ngay trước đó.

  • φ với chỉ số i (phan[ai] / 6): Shapley value của người i.

Thứ tự

Phần của A

Phần của B

Phần của C

A, B, C

6

14 − 6 = 8

30 − 14 = 16

A, C, B

6

30 − 14 = 16

14 − 6 = 8

B, A, C

14 − 2 = 12

2

30 − 14 = 16

B, C, A

30 − 8 = 22

2

8 − 2 = 6

C, A, B

14 − 4 = 10

30 − 14 = 16

4

C, B, A

30 − 8 = 22

8 − 4 = 4

4

Tổng / 6

78 / 6 = 13

48 / 6 = 8

54 / 6 = 9

Ba phần 13 + 8 + 9 cộng lại đúng 30. Đó không phải trùng hợp: trong mỗi thứ tự, các phần góp thêm cộng lại bằng lời của cả nhóm.

Tự tính bằng itertools.permutations()

permutations("ABC") sinh sáu thứ tự của ba chữ cái, xem bài itertools. Lời của mỗi nhóm cất trong dict có khóa là frozenset, một tập hợp không đổi được nên dùng làm khóa: frozenset("AB") là tập {A, B}.

python
from itertools import permutations

v = {frozenset(): 0, frozenset("A"): 6, frozenset("B"): 2,
     frozenset("C"): 4, frozenset("AB"): 14, frozenset("AC"): 14,
     frozenset("BC"): 8, frozenset("ABC"): 30}
phan = {"A": 0, "B": 0, "C": 0}
cac_thu_tu = list(permutations("ABC"))
for thu_tu in cac_thu_tu:
    da_vao = frozenset()
    for ai in thu_tu:
        phan[ai] += v[da_vao | {ai}] - v[da_vao]
        da_vao = da_vao | {ai}
print(len(cac_thu_tu), phan)
print({ai: tong / len(cac_thu_tu) for ai, tong in phan.items()})

KẾT QUẢ

6 {'A': 78, 'B': 48, 'C': 54}
{'A': 13.0, 'B': 8.0, 'C': 9.0}

Vòng for ngoài đi qua sáu thứ tự, vòng trong cho từng người bước vào và cộng phần lời họ thêm. da_vao | {ai} là nhóm sau khi người đó vào. Đổi frozenset("BC"): 8 thành frozenset("BC"): 20 rồi chạy lại: dòng cuối in {'A': 9.0, 'B': 10.0, 'C': 11.0}, vì Bình và Chi giờ hợp nhau hơn hẳn nên phần của An giảm.

Từ ba người sang ba feature

Với một dự đoán, SHAP coi mỗi feature là một người chơi. "Lời của một nhóm feature" là điểm dự đoán khi các feature trong nhóm lấy giá trị thật của dòng đang xét, các feature còn lại lấy giá trị trung bình của bảng. Nhóm rỗng cho dự đoán ở trung bình, nhóm đủ cho dự đoán thật. Lấp bằng trung bình chỉ đúng với model tuyến tính như ở đây. Trường hợp chung, shap lấy các feature ngoài nhóm từ từng dòng của một bảng nền rồi lấy trung bình các dự đoán, nên giá trị gốc là trung bình dự đoán trên bảng nền. Tám hội viên Sóc Vàng, ba cột: số đơn mỗi tháng, số lần mở app mỗi tuần và số tháng là hội viên. Nhãn là chi tiêu tháng (nghìn đồng). Xét hội viên ở dòng 5:

python
import numpy as np
from itertools import permutations, product
from sklearn.linear_model import LinearRegression

X = np.array([[3, 2, 10], [5, 1, 4], [8, 4, 6], [2, 3, 12],
              [6, 2, 3], [9, 5, 8], [4, 1, 9], [7, 3, 5]])
y = np.array([310, 260, 520, 300, 300, 610, 240, 420])
model = LinearRegression().fit(X, y)
nen, x, phi = X.mean(axis=0), X[5], np.zeros(3)
def f(tap):
    hang = np.where(np.isin([0, 1, 2], tap), x, nen)
    return model.predict([hang])[0]
for tt, k in product(permutations(range(3)), range(3)):
    phi[tt[k]] += (f(tt[:k + 1]) - f(tt[:k])) / 6
print(phi.round(2), (model.coef_ * (x - nen)).round(2))

KẾT QUẢ

[119.97 114.3    8.19] [119.97 114.3    8.19]

Dự đoán ở trung bình là 370, dự đoán cho hội viên này là 612,46. Shapley chia phần chênh 242,46 thành 119,97 cho số đơn, 114,3 cho lần mở app, 8,19 cho số tháng hội viên. Với model tuyến tính, phần của mỗi feature rút gọn thành hệ số của nó nhân với độ lệch của hội viên so với trung bình cột, đúng dãy số thứ hai. product() ghép từng thứ tự với từng vị trí k.

Kiểm tra nhanh

  1. Sau v = {frozenset(): 0, frozenset("B"): 2, frozenset("BC"): 8}, print(v[frozenset("BC")] - v[frozenset("B")]) in ra gì?

    • 8
    • 6
    • 2
  2. Vì sao Shapley value lấy trung bình trên mọi thứ tự tham gia?

    • Vì phần góp thêm của một người phụ thuộc vào ai đã có mặt trước họ
    • Vì tổng các phần chỉ bằng lời cả nhóm khi lấy trung bình
    • Vì người vào đầu tiên luôn được phần lớn nhất
  3. Những câu nào đúng về SHAP cho model tuyến tính trong bài?

    • Tổng ba giá trị SHAP bằng dự đoán của hội viên trừ dự đoán ở trung bình
    • Giá trị SHAP của một feature bằng hệ số của nó nhân với độ lệch của hội viên so với trung bình cột
    • Giá trị SHAP bằng hệ số coef_ của feature
    • Feature có hệ số lớn nhất luôn có giá trị SHAP lớn nhất
  4. Trong khung bẫy, vì sao phần của An là 6 ở thứ tự ABC nhưng 22 ở thứ tự CBA?

    • Vì bảng lời đã đổi giữa hai lần chạy
    • Vì An vào đầu chỉ mang theo 6, còn vào cuối thì nhóm B, C tăng từ 8 lên 30
    • Vì sorted() đổi thứ tự người
Đúng hết lần đầu +15 XP

Bài tập

Tính Shapley value của một người

v là dict có khóa là frozenset tên người, giá trị là lời của nhóm đó, có đủ mọi nhóm kể cả nhóm rỗng. nguoi_choi là list tên người. ai là một tên trong list.

Viết thân hàm phan_shapley(v, nguoi_choi, ai): duyệt mọi thứ tự của nguoi_choi bằng itertools.permutations(), cộng phần lời mà ai góp thêm khi bước vào, rồi chia cho số thứ tự.

Hàm không sửa v, nguoi_choi của nơi gọi.

Trả về: Shapley value của ai, một float.

Ví dụ: với bảng lời của quầy đồ ăn, phan_shapley(v, ["A", "B", "C"], "A") trả về 13.0.

python
from itertools import permutations

def phan_shapley(v, nguoi_choi, ai):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • Shapley value của một người là trung bình phần họ góp thêm khi bước vào, trên mọi n! thứ tự tham gia.

  • Chia theo một thứ tự duy nhất vẫn đủ tổng nhưng phần mỗi người đổi theo thứ tự; ở quầy này người vào sau được lợi.

  • SHAP coi feature là người chơi: nhóm feature lấy giá trị thật, feature còn lại lấy từ bảng nền; lấp bằng trung bình chỉ đúng cho model tuyến tính.

  • Với model tuyến tính, giá trị SHAP của một feature là hệ số của nó nhân với độ lệch của dòng so với trung bình cột.

  • Số thứ tự tăng theo n!, nên thư viện shap dùng thuật toán xấp xỉ hay chuyên cho cây.

Câu hỏi thường gặp

Shapley value khác hệ số của model tuyến tính ở đâu?

Hệ số cho biết dự đoán đổi bao nhiêu khi feature tăng một đơn vị, giống nhau cho mọi dòng. Shapley value là phần của feature trong một dự đoán cụ thể, so với dự đoán ở trung bình. Ở hội viên dòng 5, hệ số số đơn là 34,28 nhưng phần Shapley là 119,97 vì họ đặt nhiều hơn trung bình 3,5 đơn.

Có công thức Shapley theo tập con không?

Có, và nó cho cùng kết quả. Nhóm S gồm k người đứng ngay trước i xuất hiện trong k! · (n − k − 1)! thứ tự, nên thay cho duyệt n! thứ tự, ta cộng phần góp thêm của i vào từng nhóm S nhân với số đó rồi chia n!.

Vì sao tính Shapley chính xác cho model có 30 feature là không khả thi?

Số thứ tự của 30 feature dài 33 chữ số, gom theo nhóm vẫn còn hơn một tỉ nhóm, mỗi nhóm lại phải chạy model. Vì vậy shap ước lượng từ một số thứ tự bốc ngẫu nhiên, còn với rừng và boosting thì TreeExplainer có thuật toán riêng cho cây. Bài SHAP dùng TreeExplainer.

Giá trị SHAP âm nghĩa là gì?

Feature đó kéo dự đoán của dòng này xuống dưới mức dự đoán ở trung bình. Trong model chi tiêu, một hội viên đặt ít đơn hơn trung bình nhận phần âm cho số đơn. Âm không có nghĩa feature vô ích; muốn biết feature quan trọng chung thì xem permutation importance.

Chủ đề

shapley value

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập