Shapley value bằng ví dụ ba người mở quầy đồ ăn
Bài 8/8 · Chương 12
Toán vừa đủ cho Machine Learning
- 9 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 12
Shapley value chia một kết quả chung cho từng thành viên theo phần mỗi người làm kết quả tăng thêm khi có mặt. Bài này bắt đầu từ ba người cùng mở một quầy đồ ăn và bảng tiền lời của từng nhóm, rồi tính phần của mỗi người bằng Python. Trong machine learning, thành viên là các feature của một dòng và kết quả cần chia là điểm dự đoán.
Cần biết trước: SHAP và hoán vị.
Ba người góp sức, chia lời thế nào
An (A) nấu ăn, Bình (B) bán hàng online, Chi (C) có mặt bằng. Họ thử mở một quầy đồ ăn trong khu chợ cuối tuần của Sóc Nhanh với từng nhóm người, và ghi lời mỗi tháng (triệu đồng):
Nhóm | Không ai | A | B | C | A, B | A, C | B, C | A, B, C |
|---|---|---|---|---|---|---|---|---|
Lời | 0 | 6 | 2 | 4 | 14 | 14 | 8 | 30 |
Cả ba cùng làm thì lời 30. Chia đều mỗi người 10 bỏ qua chuyện An đứng một mình đã lời gấp ba Bình. Chia theo tỉ lệ lời khi làm một mình (6 : 2 : 4) bỏ qua chuyện An và Bình cùng làm lời 14, hơn hẳn 6 + 2. Shapley value nhìn vào phần góp thêm: khi một người bước vào một nhóm có sẵn, lời tăng thêm bao nhiêu.
Công thức: trung bình theo mọi thứ tự
Ba người có 3! = 6 thứ tự tham gia. Với mỗi thứ tự, người vào sau được tính phần lời tăng thêm so với nhóm đã có trước họ:
Trong đó:
n (
len(nguoi_choi)): số người, ở đây là 3; n! = 6 là số thứ tự.π (
thu_tu): một thứ tự tham gia, ví dụ B rồi A rồi C.Δ với chỉ số i của π: lời của nhóm sau khi người i bước vào trừ lời của nhóm ngay trước đó.
φ với chỉ số i (
phan[ai] / 6): Shapley value của người i.
Thứ tự | Phần của A | Phần của B | Phần của C |
|---|---|---|---|
A, B, C | 6 | 14 − 6 = 8 | 30 − 14 = 16 |
A, C, B | 6 | 30 − 14 = 16 | 14 − 6 = 8 |
B, A, C | 14 − 2 = 12 | 2 | 30 − 14 = 16 |
B, C, A | 30 − 8 = 22 | 2 | 8 − 2 = 6 |
C, A, B | 14 − 4 = 10 | 30 − 14 = 16 | 4 |
C, B, A | 30 − 8 = 22 | 8 − 4 = 4 | 4 |
Tổng / 6 | 78 / 6 = 13 | 48 / 6 = 8 | 54 / 6 = 9 |
Ba phần 13 + 8 + 9 cộng lại đúng 30. Đó không phải trùng hợp: trong mỗi thứ tự, các phần góp thêm cộng lại bằng lời của cả nhóm.
Tự tính bằng itertools.permutations()
permutations("ABC") sinh sáu thứ tự của ba chữ cái, xem bài itertools. Lời của mỗi nhóm cất trong dict có khóa là frozenset, một tập hợp không đổi được nên dùng làm khóa: frozenset("AB") là tập {A, B}.
from itertools import permutations
v = {frozenset(): 0, frozenset("A"): 6, frozenset("B"): 2,
frozenset("C"): 4, frozenset("AB"): 14, frozenset("AC"): 14,
frozenset("BC"): 8, frozenset("ABC"): 30}
phan = {"A": 0, "B": 0, "C": 0}
cac_thu_tu = list(permutations("ABC"))
for thu_tu in cac_thu_tu:
da_vao = frozenset()
for ai in thu_tu:
phan[ai] += v[da_vao | {ai}] - v[da_vao]
da_vao = da_vao | {ai}
print(len(cac_thu_tu), phan)
print({ai: tong / len(cac_thu_tu) for ai, tong in phan.items()})KẾT QUẢ
6 {'A': 78, 'B': 48, 'C': 54}
{'A': 13.0, 'B': 8.0, 'C': 9.0}Vòng for ngoài đi qua sáu thứ tự, vòng trong cho từng người bước vào và cộng phần lời họ thêm. da_vao | {ai} là nhóm sau khi người đó vào. Đổi frozenset("BC"): 8 thành frozenset("BC"): 20 rồi chạy lại: dòng cuối in {'A': 9.0, 'B': 10.0, 'C': 11.0}, vì Bình và Chi giờ hợp nhau hơn hẳn nên phần của An giảm.
Từ ba người sang ba feature
Với một dự đoán, SHAP coi mỗi feature là một người chơi. "Lời của một nhóm feature" là điểm dự đoán khi các feature trong nhóm lấy giá trị thật của dòng đang xét, các feature còn lại lấy giá trị trung bình của bảng. Nhóm rỗng cho dự đoán ở trung bình, nhóm đủ cho dự đoán thật. Lấp bằng trung bình chỉ đúng với model tuyến tính như ở đây. Trường hợp chung, shap lấy các feature ngoài nhóm từ từng dòng của một bảng nền rồi lấy trung bình các dự đoán, nên giá trị gốc là trung bình dự đoán trên bảng nền. Tám hội viên Sóc Vàng, ba cột: số đơn mỗi tháng, số lần mở app mỗi tuần và số tháng là hội viên. Nhãn là chi tiêu tháng (nghìn đồng). Xét hội viên ở dòng 5:
import numpy as np
from itertools import permutations, product
from sklearn.linear_model import LinearRegression
X = np.array([[3, 2, 10], [5, 1, 4], [8, 4, 6], [2, 3, 12],
[6, 2, 3], [9, 5, 8], [4, 1, 9], [7, 3, 5]])
y = np.array([310, 260, 520, 300, 300, 610, 240, 420])
model = LinearRegression().fit(X, y)
nen, x, phi = X.mean(axis=0), X[5], np.zeros(3)
def f(tap):
hang = np.where(np.isin([0, 1, 2], tap), x, nen)
return model.predict([hang])[0]
for tt, k in product(permutations(range(3)), range(3)):
phi[tt[k]] += (f(tt[:k + 1]) - f(tt[:k])) / 6
print(phi.round(2), (model.coef_ * (x - nen)).round(2))KẾT QUẢ
[119.97 114.3 8.19] [119.97 114.3 8.19]Dự đoán ở trung bình là 370, dự đoán cho hội viên này là 612,46. Shapley chia phần chênh 242,46 thành 119,97 cho số đơn, 114,3 cho lần mở app, 8,19 cho số tháng hội viên. Với model tuyến tính, phần của mỗi feature rút gọn thành hệ số của nó nhân với độ lệch của hội viên so với trung bình cột, đúng dãy số thứ hai. product() ghép từng thứ tự với từng vị trí k.
Kiểm tra nhanh
Sau
v = {frozenset(): 0, frozenset("B"): 2, frozenset("BC"): 8},print(v[frozenset("BC")] - v[frozenset("B")])in ra gì?862
Vì sao Shapley value lấy trung bình trên mọi thứ tự tham gia?
- Vì phần góp thêm của một người phụ thuộc vào ai đã có mặt trước họ
- Vì tổng các phần chỉ bằng lời cả nhóm khi lấy trung bình
- Vì người vào đầu tiên luôn được phần lớn nhất
Những câu nào đúng về SHAP cho model tuyến tính trong bài?
- Tổng ba giá trị SHAP bằng dự đoán của hội viên trừ dự đoán ở trung bình
- Giá trị SHAP của một feature bằng hệ số của nó nhân với độ lệch của hội viên so với trung bình cột
- Giá trị SHAP bằng hệ số
coef_của feature - Feature có hệ số lớn nhất luôn có giá trị SHAP lớn nhất
Trong khung bẫy, vì sao phần của An là 6 ở thứ tự ABC nhưng 22 ở thứ tự CBA?
- Vì bảng lời đã đổi giữa hai lần chạy
- Vì An vào đầu chỉ mang theo 6, còn vào cuối thì nhóm B, C tăng từ 8 lên 30
- Vì
sorted()đổi thứ tự người
Bài tập
Tính Shapley value của một người
v là dict có khóa là frozenset tên người, giá trị là lời của nhóm đó, có đủ mọi nhóm kể cả nhóm rỗng. nguoi_choi là list tên người. ai là một tên trong list.
Viết thân hàm phan_shapley(v, nguoi_choi, ai): duyệt mọi thứ tự của nguoi_choi bằng itertools.permutations(), cộng phần lời mà ai góp thêm khi bước vào, rồi chia cho số thứ tự.
Hàm không sửa v, nguoi_choi của nơi gọi.
Trả về: Shapley value của ai, một float.
Ví dụ: với bảng lời của quầy đồ ăn, phan_shapley(v, ["A", "B", "C"], "A") trả về 13.0.
from itertools import permutations
def phan_shapley(v, nguoi_choi, ai):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Shapley value của một người là trung bình phần họ góp thêm khi bước vào, trên mọi n! thứ tự tham gia.
Chia theo một thứ tự duy nhất vẫn đủ tổng nhưng phần mỗi người đổi theo thứ tự; ở quầy này người vào sau được lợi.
SHAP coi feature là người chơi: nhóm feature lấy giá trị thật, feature còn lại lấy từ bảng nền; lấp bằng trung bình chỉ đúng cho model tuyến tính.
Với model tuyến tính, giá trị SHAP của một feature là hệ số của nó nhân với độ lệch của dòng so với trung bình cột.
Số thứ tự tăng theo n!, nên thư viện
shapdùng thuật toán xấp xỉ hay chuyên cho cây.
Câu hỏi thường gặp
Shapley value khác hệ số của model tuyến tính ở đâu?
Hệ số cho biết dự đoán đổi bao nhiêu khi feature tăng một đơn vị, giống nhau cho mọi dòng. Shapley value là phần của feature trong một dự đoán cụ thể, so với dự đoán ở trung bình. Ở hội viên dòng 5, hệ số số đơn là 34,28 nhưng phần Shapley là 119,97 vì họ đặt nhiều hơn trung bình 3,5 đơn.
Có công thức Shapley theo tập con không?
Có, và nó cho cùng kết quả. Nhóm S gồm k người đứng ngay trước i xuất hiện trong k! · (n − k − 1)! thứ tự, nên thay cho duyệt n! thứ tự, ta cộng phần góp thêm của i vào từng nhóm S nhân với số đó rồi chia n!.
Vì sao tính Shapley chính xác cho model có 30 feature là không khả thi?
Số thứ tự của 30 feature dài 33 chữ số, gom theo nhóm vẫn còn hơn một tỉ nhóm, mỗi nhóm lại phải chạy model. Vì vậy shap ước lượng từ một số thứ tự bốc ngẫu nhiên, còn với rừng và boosting thì TreeExplainer có thuật toán riêng cho cây. Bài SHAP dùng TreeExplainer.
Giá trị SHAP âm nghĩa là gì?
Feature đó kéo dự đoán của dòng này xuống dưới mức dự đoán ở trung bình. Trong model chi tiêu, một hội viên đặt ít đơn hơn trung bình nhận phần âm cho số đơn. Âm không có nghĩa feature vô ích; muốn biết feature quan trọng chung thì xem permutation importance.
Chủ đề
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.