Dự án tối ưu lợi nhuận: ngưỡng cho chiến dịch giữ chân
Bài 8/9 · Chương 7
Xác suất, ngưỡng và dữ liệu mất cân bằng
- 9 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 9
Dự án tối ưu lợi nhuận này đi từ xác suất rời bỏ của một model tới hai con số cho chiến dịch giữ chân thành viên Sóc Vàng tháng tới: số mã cần gửi và lợi nhuận dự kiến. Bạn làm theo năm bước rồi ghép thành một chương trình; cuối trang bạn tự viết hàm lập kế hoạch khi ngân sách có hạn.
Cần biết trước: ngưỡng quyết định, calibration và TunedThresholdClassifierCV.
Chương trình sẽ làm gì
File hoi_vien.csv là số giả lập của AIDev: 3.000 thành viên gói Sóc Vàng, nhãn roi_bo là 1 khi người đó bỏ gói trong 60 ngày sau mốc. Mỗi mã giảm giá tốn 30 nghìn; gửi đúng người sắp rời bỏ thì trung bình giữ được khoản 120 nghìn (như bài ngưỡng quyết định, một nửa số người nhận mã ở lại), nên một mã gửi đúng lời 90 nghìn, gửi nhầm lỗ 30 nghìn. Bảng được trộn một lần rồi chia ba: 1.800 người để train, 600 người làm validation, 600 người cuối đóng vai danh sách tháng tới. Nhãn của 600 người cuối chỉ được mở ở bước 5, sau khi mọi quyết định đã chốt.
Chương trình nhận bảng, xử lý qua năm việc và đưa ra số mã cần gửi, lợi nhuận dự kiến và lợi nhuận thật. Nó có một phép so sánh với ngưỡng và một lần cắt theo ngân sách, không có vòng lặp do bạn tự viết. Thứ tự dựng: train model và so với mốc, kiểm xác suất, chọn ngưỡng trên validation, lập kế hoạch cho tháng tới, đối chiếu với nhãn thật, cuối cùng ghép lại.
Bước 1: Train model và so với mốc
Train một HistGradientBoostingClassifier cây nông trên 1.800 người đầu, rồi đo PR-AUC trên validation. Mốc của một điểm số không mang thông tin là tỉ lệ người rời bỏ, như bài đường ROC và PR đã nói:
import pandas as pd
from sklearn.ensemble import HistGradientBoostingClassifier as HGB
from sklearn.metrics import average_precision_score
kh = pd.read_csv("hoi_vien.csv").sample(frac=1, random_state=0)
X, y = kh.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"], kh.roi_bo
X_va, y_va = X.iloc[1800:2400], y.iloc[1800:2400]
m = HGB(max_depth=3, max_iter=50, random_state=0)
m.fit(X.iloc[:1800], y.iloc[:1800])
p_va = m.predict_proba(X_va)[:, 1]
print("PR-AUC:", round(average_precision_score(y_va, p_va), 3))
print("Mốc:", round(y_va.mean(), 3))KẾT QUẢ
PR-AUC: 0.442
Mốc: 0.185Model xếp người rời bỏ lên đầu tốt hơn hẳn mốc. Cây sâu tối đa 3 tầng và 50 vòng giữ cho mỗi lần chạy nhanh trong trình duyệt. Cột hoi_cach_huy_sau_moc nằm ngoài khoảng cột được lấy, vì nó ghi sau mốc dự đoán.
Bước 2: Kiểm xác suất trước khi tính tiền
Bước 4 sẽ cộng xác suất để ra lợi nhuận dự kiến, nên xác suất phải gần tần suất thật. Cách kiểm công bằng: hiệu chỉnh trên bốn phần năm validation, chấm trên phần năm còn lại, xoay vòng năm lần bằng cross_val_predict, rồi so Brier với xác suất gốc:
import pandas as pd
from sklearn.calibration import CalibratedClassifierCV
from sklearn.ensemble import HistGradientBoostingClassifier as HGB
from sklearn.frozen import FrozenEstimator
from sklearn.metrics import brier_score_loss
from sklearn.model_selection import cross_val_predict
kh = pd.read_csv("hoi_vien.csv").sample(frac=1, random_state=0)
X, y = kh.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"], kh.roi_bo
X_va, y_va = X.iloc[1800:2400], y.iloc[1800:2400]
m = HGB(max_depth=3, max_iter=50, random_state=0)
m.fit(X.iloc[:1800], y.iloc[:1800])
hc = CalibratedClassifierCV(FrozenEstimator(m), method="sigmoid")
p_hc = cross_val_predict(hc, X_va, y_va, method="predict_proba")
for ten, p in [("gốc", m.predict_proba(X_va)), ("đã chỉnh", p_hc)]:
print("Brier", ten, round(brier_score_loss(y_va, p[:, 1]), 4))KẾT QUẢ
Brier gốc 0.1296
Brier đã chỉnh 0.1289Hai con số gần như bằng nhau, nghĩa là Brier score không đòi hiệu chỉnh. Lặp lại cả quy trình với 200 cách trộn khác, bản hiệu chỉnh chỉ tốt hơn trong khoảng 43% số lần và mức chênh trung bình gần bằng 0. Model này đã cho xác suất đủ sát, nên chương trình dùng thẳng xác suất gốc. Với một cây quyết định mọc hết cỡ, cùng phép kiểm cho kết quả ngược lại: hiệu chỉnh làm Brier tốt lên ở cả 200 lần thử.
Bước 3: Chọn ngưỡng trên validation
Bọc model đã train bằng FrozenEstimator rồi đưa cho TunedThresholdClassifierCV cùng hàm lợi nhuận. Model không được train lại; công cụ chỉ chia validation thành năm phần như cross validation, tính lợi nhuận của từng ngưỡng trên từng phần rồi lấy trung bình:
import pandas as pd
from sklearn.ensemble import HistGradientBoostingClassifier as HGB
from sklearn.frozen import FrozenEstimator
from sklearn.metrics import make_scorer
from sklearn.model_selection import TunedThresholdClassifierCV
def lai(y, du_doan):
return 120 * y[du_doan == 1].sum() - 30 * (du_doan == 1).sum()
kh = pd.read_csv("hoi_vien.csv").sample(frac=1, random_state=0)
X, y = kh.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"], kh.roi_bo
m = HGB(max_depth=3, max_iter=50, random_state=0)
m.fit(X.iloc[:1800], y.iloc[:1800])
diem = make_scorer(lai)
tu = TunedThresholdClassifierCV(FrozenEstimator(m), scoring=diem)
tu.fit(X.iloc[1800:2400], y.iloc[1800:2400])
print(round(tu.best_threshold_, 3), round(tu.best_score_))KẾT QUẢ
0.261 601Ngưỡng nằm sát 0,25, điểm hòa vốn khi xác suất đúng nghĩa: 0,25 × 120 = 30. best_score_ là lợi nhuận trung bình trên một phần 120 người. Qua 200 cách trộn, ngưỡng chọn được nằm từ khoảng 0,17 tới 0,35 ở 90% số lần (thấp nhất 0,15, cao nhất 0,43), nên đừng đọc ba chữ số sau dấu phẩy như một hằng số.
Bẫy: chọn ngưỡng trên danh sách tháng tới sau khi đã biết ai rời bỏ
Khi chiến dịch kết thúc, nhãn của danh sách tháng tới có đủ, và dò lại ngưỡng trên đó luôn cho một con số đẹp hơn. Con số ấy đã nhìn đáp án, nên nó không nói gì về tháng sau nữa. Ngưỡng cho tháng sau vẫn chọn trên validation, hoặc trên dữ liệu mới gom thêm, không chọn trên phần dùng để báo cáo.
Bước 4: Lập kế hoạch cho tháng tới
Tính xác suất cho 600 người của tháng tới, gửi mã cho người có xác suất không thấp hơn ngưỡng. Phòng marketing chỉ có ngân sách cho ngan_sach mã, nên khi số người đủ ngưỡng nhiều hơn, chỉ những người có xác suất cao nhất nhận mã. Lợi nhuận dự kiến là tổng 120 * p - 30 của những người được gửi:
import numpy as np
import pandas as pd
from sklearn.ensemble import HistGradientBoostingClassifier as HGB
kh = pd.read_csv("hoi_vien.csv").sample(frac=1, random_state=0)
X, y = kh.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"], kh.roi_bo
m = HGB(max_depth=3, max_iter=50, random_state=0)
m.fit(X.iloc[:1800], y.iloc[:1800])
p = m.predict_proba(X.iloc[2400:])[:, 1]
nguong, ngan_sach = 0.261, 100
so_ma = min(int((p >= nguong).sum()), ngan_sach)
gui = np.argsort(-p, kind="stable")[:so_ma]
du_kien = round((120 * p[gui] - 30).sum())
print("Đủ ngưỡng:", (p >= nguong).sum(), "| gửi:", so_ma)
print("Lời dự kiến:", du_kien)KẾT QUẢ
Đủ ngưỡng: 153 | gửi: 100
Lời dự kiến: 3475Đổi 0.261, 100 thành 0.261, 200 rồi chạy lại: ngân sách không còn chặn, số mã gửi bằng số người đủ ngưỡng và dòng đầu in gửi: 153.
Ngưỡng 0.261 chép từ kết quả bước 3; chương trình hoàn chỉnh lấy thẳng tu.best_threshold_.
Bước 5: Đối chiếu với nhãn thật
Bây giờ mới mở nhãn của tháng tới. Lợi nhuận thật là 120 nghìn cho mỗi người rời bỏ nhận mã trừ 30 nghìn mỗi mã. Đặt cạnh đó kế hoạch theo ngưỡng 0,5 của predict(), cùng ngân sách:
import numpy as np
import pandas as pd
from sklearn.ensemble import HistGradientBoostingClassifier as HGB
kh = pd.read_csv("hoi_vien.csv").sample(frac=1, random_state=0)
X, y = kh.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"], kh.roi_bo
m = HGB(max_depth=3, max_iter=50, random_state=0)
m.fit(X.iloc[:1800], y.iloc[:1800])
p, y_moi = m.predict_proba(X[2400:])[:, 1], y.to_numpy()[2400:]
ngan_sach = 100
for nguong in [0.261, 0.5]:
so_ma = min(int((p >= nguong).sum()), ngan_sach)
gui = np.argsort(-p, kind="stable")[:so_ma]
du_kien = round((120 * p[gui] - 30).sum())
that = 120 * y_moi[gui].sum() - 30 * so_ma
print(f"{nguong}: {so_ma} mã, dự kiến {du_kien}, thật {that}")KẾT QUẢ
0.261: 100 mã, dự kiến 3475, thật 3360
0.5: 59 mã, dự kiến 2570, thật 2310Ngưỡng chọn trên validation lời nhiều hơn ngưỡng 0,5, vì ở 0,5 nhiều người có xác suất 0,3–0,4 vẫn đáng gửi mà bị bỏ qua. Qua 200 cách trộn, ngưỡng chọn trên validation thắng ngưỡng 0,5 trong 197 lần. Lợi nhuận dự kiến cũng chỉ là ước lượng: trên 200 cách trộn đó, nó lệch lợi nhuận thật trung bình khoảng 540 nghìn, thường lệch về phía cao hơn, và có lần lệch tới 2,1 triệu đồng. Báo con số dự kiến kèm một khoảng sẽ trung thực hơn một con số tròn.
Bước 6: Ghép thành chương trình hoàn chỉnh
Chương trình dưới chạy lại cả năm bước một lần và in bốn dòng: PR-AUC so với mốc, Brier gốc và sau hiệu chỉnh, ngưỡng chọn trên validation, kế hoạch và kết quả thật cho tháng tới:
import numpy as np
import pandas as pd
from sklearn.calibration import CalibratedClassifierCV
from sklearn.ensemble import HistGradientBoostingClassifier as HGB
from sklearn.frozen import FrozenEstimator
from sklearn.metrics import (
average_precision_score, brier_score_loss, make_scorer)
from sklearn.model_selection import (
TunedThresholdClassifierCV, cross_val_predict)
ngan_sach = 100
def lai(y, du_doan):
return 120 * y[du_doan == 1].sum() - 30 * (du_doan == 1).sum()
kh = pd.read_csv("hoi_vien.csv").sample(frac=1, random_state=0)
X, y = kh.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"], kh.roi_bo
X_va, y_va = X.iloc[1800:2400], y.iloc[1800:2400]
m = HGB(max_depth=3, max_iter=50, random_state=0)
m.fit(X.iloc[:1800], y.iloc[:1800])
p_va = m.predict_proba(X_va)[:, 1]
print("1. PR-AUC:", round(average_precision_score(y_va, p_va), 3),
"| mốc:", round(y_va.mean(), 3))
hc = CalibratedClassifierCV(FrozenEstimator(m), method="sigmoid")
p_hc = cross_val_predict(hc, X_va, y_va, method="predict_proba")
b = [brier_score_loss(y_va, q) for q in (p_va, p_hc[:, 1])]
print("2. Brier gốc, đã chỉnh:", [round(v, 4) for v in b])
diem = make_scorer(lai)
tu = TunedThresholdClassifierCV(FrozenEstimator(m), scoring=diem)
nguong = tu.fit(X_va, y_va).best_threshold_
print("3. Ngưỡng:", round(nguong, 3))
p, y_moi = m.predict_proba(X[2400:])[:, 1], y.to_numpy()[2400:]
so_ma = min(int((p >= nguong).sum()), ngan_sach)
gui = np.argsort(-p, kind="stable")[:so_ma]
du_kien = round((120 * p[gui] - 30).sum())
that = 120 * y_moi[gui].sum() - 30 * so_ma
print(f"4. {so_ma} mã, dự kiến {du_kien}, thật {that}")KẾT QUẢ
1. PR-AUC: 0.442 | mốc: 0.185
2. Brier gốc, đã chỉnh: [0.1296, 0.1289]
3. Ngưỡng: 0.261
4. 100 mã, dự kiến 3475, thật 3360Đổi ngan_sach = 100 thành ngan_sach = 60 rồi chạy lại: số mã giảm theo ngân sách, vẫn dành cho những người có xác suất cao nhất, và dòng 4 in 60 mã.
Bài tập
Hàm lập kế hoạch gửi mã
Tách phần lập kế hoạch của bước 4 thành một hàm. p là list xác suất rời bỏ của danh sách tháng tới, nguong là ngưỡng, ngan_sach là số mã tối đa, số nguyên từ 0 trở lên. Viết thân hàm ke_hoach(p, nguong, ngan_sach):
chỉ gửi cho người có xác suất từ
nguongtrở lên;khi số người đủ ngưỡng nhiều hơn
ngan_sach, chỉ gửi chongan_sachngười có xác suất cao nhất;lợi nhuận dự kiến là tổng
120 * x - 30trên xác suấtxcủa những người được gửi.
Hàm không sửa list của nơi gọi.
Trả về: số mã (một int) và lợi nhuận dự kiến (một float), gói trong một tuple.
Ví dụ ke_hoach([0.1, 0.6, 0.3, 0.9, 0.2], 0.25, 2) trả (2, 120.0): ba người đủ ngưỡng, ngân sách giữ hai người có xác suất 0,9 và 0,6.
import numpy as np
def ke_hoach(p, nguong, ngan_sach):
pass # Viết thân hàm thay cho dòng nàyThử mở rộng
Các hướng dưới làm được ngay với chương trình trên:
Thay
method="sigmoid"bằngmethod="isotonic"ở dòng hiệu chỉnh và xem Brier có tốt lên không trên 600 người validation.Đổi giá mã từ 30 thành 50 nghìn trong
laivà trong hai dòng tính lợi nhuận, rồi xem ngưỡng dịch về phía nào.Thay
HGB(...)bằngLogisticRegression(max_iter=1000)và so PR-AUC, ngưỡng, lợi nhuận thật của hai model.Thay ngưỡng chọn trên validation bằng
FixedThresholdClassifiervới ngưỡng 0,25 tính từ điểm hòa vốn, như bài TunedThresholdClassifierCV đã so.
Chủ đề
Dữ liệu của bài
- Tải xuống
hoi_vien.csv
CSV · 207.25 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.