Bỏ qua đến nội dung chính
Mục lục

Decision threshold: chọn ngưỡng phân loại theo lợi nhuận

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 2/9 · Chương 7

Xác suất, ngưỡng và dữ liệu mất cân bằng

  • 9 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Decision threshold (ngưỡng quyết định) là mức xác suất mà từ đó model trả lời "có". predict() dùng ngưỡng 0,5; muốn ngưỡng khác thì lấy predict_proba(X)[:, 1] >= nguong. Ngưỡng tốt là ngưỡng đem lại nhiều lợi nhuận nhất, tính từ lợi và chi phí của từng quyết định, chọn trên tập validation.

Cần biết trước: logistic regression, ROC-AUC và train, validation, test.

Xác suất cộng ngưỡng mới thành quyết định

Chuỗi Sóc Nhanh (số giả lập của AIDev) định tặng một tháng Sóc Vàng miễn phí cho hội viên có nguy cơ rời bỏ. Mỗi mã tốn 30 nghìn. Thử nghiệm trước cho thấy một nửa số người định rời bỏ nhận mã sẽ ở lại, và mỗi người ở lại đem về 240 nghìn. Vậy gửi mã cho một người sắp rời bỏ lời trung bình 120 − 30 = 90 nghìn, gửi cho người vốn ở lại thì lỗ 30 nghìn. Không gửi thì không lời không lỗ.

Với sáu hội viên có xác suất rời bỏ do model tính sẵn, so hai ngưỡng:

python
import numpy as np

p = np.array([0.9, 0.6, 0.4, 0.3, 0.2, 0.1])
y = np.array([1, 1, 0, 1, 0, 0])
g = 120 * y - 30
for nguong in [0.5, 0.25]:
    gui = p >= nguong
    print(nguong, "gửi", gui.sum(), "mã, lợi nhuận", g[gui].sum())

KẾT QUẢ

0.5 gửi 2 mã, lợi nhuận 180
0.25 gửi 4 mã, lợi nhuận 240

Mảng g là lợi nhuận nếu gửi mã cho từng người: 90 cho người rời bỏ, −30 cho người ở lại. Ngưỡng 0,5 chỉ gửi hai mã, an toàn mà bỏ sót người thứ tư. Hạ xuống 0,25 thì gửi thêm hai mã, lỗ một mã cho người ở lại nhưng giữ thêm một người, lời hơn 60 nghìn. Đổi 120 * y - 30 thành 120 * y - 60 rồi chạy lại: mã đắt gấp đôi thì hạ ngưỡng không còn lời thêm, cả hai dòng in lợi nhuận 120.

Ngưỡng hòa vốn từ kỳ vọng

Một hội viên có xác suất rời bỏ pp thì gửi mã cho người đó lời bao nhiêu? Đó là kỳ vọng của lợi nhuận:

E(p)=p⋅120−30E(p) = p \cdot 120 - 30

Trong đó:

  • pp (p): xác suất rời bỏ của hội viên, cột 1 của predict_proba().

  • $120$: phần lời trung bình khi người rời bỏ nhận mã, một nửa của 240 nghìn.

  • $30$: giá một mã, trả dù người nhận có định rời bỏ hay không.

Gửi mã có lời khi E(p)>0E(p) > 0, tức p>30/120=0,25p > 30 / 120 = 0{,}25. Tính tay cho người có p=0,3p = 0{,}3: 0,3 · 120 − 30 = 6 nghìn, nên gửi; người có p=0,2p = 0{,}2 thì −6 nghìn, nên thôi. Phép tính này đọc pp như một tần suất: trong 100 người được chấm 0,3 thì đúng khoảng 30 người rời bỏ. Không model nào tự hứa điều đó, nên phần sau không lấy 0,25 làm đáp án mà đếm lợi nhuận thật trên dữ liệu, rồi mới đặt đỉnh đo được cạnh con số của công thức.

Bảng lợi nhuận theo ngưỡng trên validation

Giờ làm với model thật. Trộn 3.000 hội viên rồi chia theo vị trí: 1.800 dòng đầu để train, 600 dòng kế là validation, 600 dòng cuối là test. Chia ngẫu nhiên như vậy chỉ đúng khi mỗi dòng là một hội viên khác nhau, như bài data leakage giải thích.

python
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
kh = pd.read_csv("hoi_vien.csv").sample(frac=1, random_state=0)
X, y = kh.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"], kh.roi_bo
m = make_pipeline(StandardScaler(), LogisticRegression())
p = m.fit(X.iloc[:1800], y.iloc[:1800]).predict_proba(X)[:, 1]
print("predict() là p > 0.5:", (m.predict(X) == (p > 0.5)).all())
g = (120 * y - 30).to_numpy()
loi = pd.Series({t / 20: g[1800:2400][p[1800:2400] >= t / 20].sum()
                 for t in range(1, 20)})
print(loi[[0.15, 0.2, 0.25, 0.3, 0.35, 0.5]])
print("ngưỡng có lợi nhất trên validation:", loi.idxmax())

KẾT QUẢ

predict() là p > 0.5: True
0.15    2460
0.20    2610
0.25    2550
0.30    2700
0.35    2550
0.50    1830
dtype: int64
ngưỡng có lợi nhất trên validation: 0.3

Dòng đầu xác nhận predict() chính là so xác suất với 0,5. Bảng lợi nhuận đi qua 19 ngưỡng 0,05; 0,10; …; 0,95 và chỉ đọc 600 dòng validation. Ngưỡng 0,3 lời nhất và hơn ngưỡng 0,5 khoảng 870 nghìn trên 600 hội viên. Nó nằm cạnh 0,25 của công thức; phần chênh đến từ nhiễu của 600 dòng và từ chỗ xác suất của model có thể không sát tần suất thật, điều bài calibration chỉ cách đo. Mỗi dòng của bảng là một lần đặt số tiền vào từng ô của confusion matrix rồi cộng lại: người rời bỏ được gửi mã +90, người ở lại được gửi mã −30, hai ô không gửi bằng 0.

Vẽ cả đường lợi nhuận để thấy đỉnh không nhọn:

python
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
kh = pd.read_csv("hoi_vien.csv").sample(frac=1, random_state=0)
X, y = kh.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"], kh.roi_bo
m = make_pipeline(StandardScaler(), LogisticRegression())
p = m.fit(X.iloc[:1800], y.iloc[:1800]).predict_proba(X)[:, 1]
g = (120 * y - 30).to_numpy()
loi = pd.Series({t / 20: g[1800:2400][p[1800:2400] >= t / 20].sum()
                 for t in range(1, 20)})
fig, ax = plt.subplots(figsize=(6.4, 4), layout="constrained")
loi.plot(ax=ax, marker="o", xlabel="ngưỡng", ylabel="nghìn đồng")
plt.show()
Đường lợi nhuận trên 600 hội viên validation theo 19 ngưỡng từ 0,05 đến 0,95: âm hơn 2.000 nghìn ở ngưỡng 0,05, lên đỉnh khoảng 2.700 nghìn ở 0,3, gần bằng nhau từ 0,15 đến 0,35, rồi giảm dần về 0 ở ngưỡng 0,95.

Từ 0,15 đến 0,35 lợi nhuận gần như bằng nhau, nên chênh 0,25 hay 0,3 ít quan trọng. Phía trái, ngưỡng quá thấp gửi mã cho gần hết và lỗ; phía phải, ngưỡng cao bỏ lỡ dần người rời bỏ.

Báo lợi nhuận trên test đúng một lần

Ngưỡng đã chọn xong trên validation. Bây giờ mới mở tập test, và chỉ để đo:

python
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
kh = pd.read_csv("hoi_vien.csv").sample(frac=1, random_state=0)
X, y = kh.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"], kh.roi_bo
m = make_pipeline(StandardScaler(), LogisticRegression())
p = m.fit(X.iloc[:1800], y.iloc[:1800]).predict_proba(X)[:, 1]
g = (120 * y - 30).to_numpy()
gt, pt = g[2400:], p[2400:]
print("ngưỡng 0,3 chọn trên validation:", gt[pt >= 0.3].sum())
print("ngưỡng 0,5 mặc định:", gt[pt >= 0.5].sum())
tren_test = max(gt[pt >= t / 20].sum() for t in range(1, 20))
print("đỉnh của bảng nếu chọn trên test:", tren_test)

KẾT QUẢ

ngưỡng 0,3 chọn trên validation: 3930
ngưỡng 0,5 mặc định: 2490
đỉnh của bảng nếu chọn trên test: 4170

Trên 600 hội viên test, ngưỡng 0,3 lời 3.930 nghìn, ngưỡng 0,5 chỉ 2.490 nghìn. Đó là con số được phép báo: ước lượng lợi nhuận cho những hội viên model chưa thấy.

Kiểm tra nhanh

  1. Mảng p là cột 1 của predict_proba(). Muốn model trả lời "có" từ xác suất 0,3 trở lên, viết gì?

    • model.predict(X, threshold=0.3)
    • p >= 0.3
    • p > 0.5 - 0.3
    • model.predict(X) >= 0.3
  2. Mỗi lần gọi điện giữ khách tốn 20 nghìn, giữ được một khách sắp rời bỏ thì lời 100 nghìn. Ngưỡng hòa vốn là bao nhiêu?

    • 0,5
    • 0,2
    • 0,8
    • 0,02
  3. Những việc nào được làm với tập test?

    • Thử 19 ngưỡng và giữ ngưỡng lời nhất
    • Đo lợi nhuận của ngưỡng đã chọn trên validation
    • Đổi giá mã cho tới khi lợi nhuận đẹp
    • Báo con số đo được, kể cả khi nó thấp hơn validation
  4. Bảng lợi nhuận trên validation đạt đỉnh ở 0,30 nhưng 0,25 chỉ kém 150 nghìn. Câu nào hợp lý nhất?

    • Hai ngưỡng gần như ngang nhau; chênh lệch nhỏ này có thể chỉ do 600 dòng validation
    • 0,30 chắc chắn tốt hơn 0,25 trên mọi dữ liệu mới
    • Phải chọn lại ngưỡng trên test để biết cái nào đúng
Đúng hết lần đầu +15 XP

Bài tập

Chọn ngưỡng trên validation, đo trên test

p_val, y_val là xác suất rời bỏ và nhãn thật (0/1) của tập validation; p_test, y_test là của tập test; cac_nguong là list các ngưỡng cần thử. Gửi mã cho mọi người có xác suất không thấp hơn ngưỡng: người có nhãn 1 đem về 90 nghìn, người có nhãn 0 lỗ 30 nghìn. Viết thân hàm danh_gia_nguong(p_val, y_val, p_test, y_test, cac_nguong):

  • chọn trong cac_nguong ngưỡng có lợi nhuận lớn nhất trên validation; hai ngưỡng hòa nhau thì lấy ngưỡng lớn hơn (gửi ít mã hơn);

  • tính lợi nhuận của ngưỡng đó trên test.

Hàm không sửa các list của nơi gọi.

Trả về: ngưỡng đã chọn (float) và lợi nhuận trên test (int, nghìn đồng), gói trong một tuple.

Ví dụ danh_gia_nguong([0.8, 0.4, 0.3, 0.1], [1, 1, 0, 0], [0.7, 0.35, 0.2, 0.6], [0, 1, 0, 1], [0.2, 0.3, 0.5]) trả (0.3, 150): ngưỡng 0,2 và 0,3 cùng lời 150 trên validation nên lấy 0,3.

python
def danh_gia_nguong(p_val, y_val, p_test, y_test, cac_nguong):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • predict() so xác suất với 0,5; ngưỡng khác là predict_proba(X)[:, 1] >= nguong.

  • Ngưỡng hòa vốn đến từ kỳ vọng: gửi khi p · lợi − chi phí > 0, ở đây p > 30 / 120 = 0,25.

  • Bảng lợi nhuận theo ngưỡng nhân lợi và chi phí vào từng ô của confusion matrix.

  • Chọn ngưỡng trên validation; đỉnh của bảng thường phẳng, nên ngưỡng gần nhau cho kết quả gần nhau.

  • Tập test chỉ đo ngưỡng đã chọn một lần; chọn trên test làm lợi nhuận báo ra cao hơn thật.

Câu hỏi thường gặp

Vì sao 0,5 là ngưỡng mặc định?

0,5 là ngưỡng làm số dự đoán sai ít nhất khi hai loại sai đắt như nhau và xác suất của model sát thật. Bài toán kinh doanh hiếm khi như vậy: ở đây bỏ sót một người rời bỏ mất 90 nghìn còn gửi nhầm chỉ mất 30, nên ngưỡng tốt thấp hơn hẳn.

Ngưỡng phân loại ảnh hưởng tới ROC-AUC không?

Không. ROC-AUC đo trên mọi ngưỡng cùng lúc, nên đổi ngưỡng không đổi AUC. Ngưỡng chỉ đổi các số đo trên một điểm cắt: precision, recall, lợi nhuận. Bài precision, recall, F1 cho thấy hai số đó kéo nhau theo ngưỡng.

Lưới ngưỡng nên dày bao nhiêu?

Với vài trăm dòng validation, bước 0,05 như bài là đủ; lưới dày hơn chỉ dò theo nhiễu của chính tập validation. Muốn lưới tự sinh có thể dùng np.linspace(0.05, 0.95, 19), rồi lấy np.argmax() của mảng lợi nhuận.

Lợi và chi phí đổi theo tháng thì sao?

Tính lại bảng với số mới; model không cần train lại vì xác suất không đổi. Đó là lợi ích của việc tách xác suất khỏi quyết định.

Chủ đề

decision threshold

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập