Bỏ qua đến nội dung chính
Mục lục

TunedThresholdClassifierCV: chọn ngưỡng bằng CV

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 6/9 · Chương 7

Xác suất, ngưỡng và dữ liệu mất cân bằng

  • 7 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Ngưỡng chọn trên một tập validation phụ thuộc vào đúng những dòng của tập đó. TunedThresholdClassifierCV bỏ tập validation riêng: ngưỡng được chấm trên các fold của cross validation, và ngưỡng thắng là ngưỡng có lợi nhuận trung bình qua các fold cao nhất. Bài này viết hàm lợi nhuận, đưa nó cho lớp đó qua make_scorer, rồi đóng gói ngưỡng vừa chọn bằng FixedThresholdClassifier.

Cần biết trước: ngưỡng quyết định, cross validation và hàm def.

Hàm lợi nhuận và make_scorer()

Bài ngưỡng quyết định tính lợi nhuận chiến dịch tặng tháng Sóc Vàng của chuỗi Sóc Nhanh (số giả lập của AIDev): mỗi mã tốn 30 nghìn, mỗi người sắp rời bỏ nhận mã đem về trung bình 120 nghìn. Viết điều đó thành một hàm nhận nhãn thật y và nhãn dự đoán du_doan, cả hai là mảng 0/1:

python
import numpy as np

def lai(y, du_doan):
    gui = du_doan == 1
    return 120 * y[gui].sum() - 30 * gui.sum()

y = np.array([1, 0, 1, 0, 0])
du_doan = np.array([1, 1, 0, 0, 1])
print(lai(y, du_doan))

KẾT QUẢ

30

Ba mã được gửi, một mã trúng người sắp rời bỏ: 120 − 3 · 30 = 30 nghìn. Đổi [1, 1, 0, 0, 1] thành [1, 0, 1, 0, 0] rồi chạy lại: hai mã trúng cả hai người rời bỏ, kết quả in 180.

scikit-learn không gọi thẳng hàm như vậy. Nó cần một scorer, đối tượng nhận model, X và y. make_scorer(lai) làm việc bọc đó: scorer gọi model.predict(X) rồi chuyển kết quả cho lai. Hàm có return là con số càng lớn càng tốt; nếu là chi phí, thêm greater_is_better=False.

TunedThresholdClassifierCV chọn ngưỡng bằng cross validation

Bài ngưỡng quyết định chọn ngưỡng trên một tập validation 600 dòng, nên kết quả phụ thuộc 600 dòng đó. Cross validation chia phần train thành KK phần, lần lượt giữ mỗi phần ra để chấm, rồi lấy trung bình:

Lˉ(t)=1K∑k=1KLk(t)\bar{L}(t) = \frac{1}{K} \sum_{k=1}^{K} L_k(t)

Trong đó:

  • tt: một ngưỡng trong lưới thử, mặc định 100 ngưỡng.

  • KK (cv=): số phần, mặc định 5.

  • Lk(t)L_k(t): lợi nhuận ở ngưỡng tt trên phần thứ kk, do model train trên K−1K - 1 phần còn lại.

Ngưỡng được chọn là ngưỡng có Lˉ(t)\bar{L}(t) lớn nhất. Tính tay với hai phần: nếu ngưỡng 0,2 lời 300 và 260, ngưỡng 0,3 lời 340 và 180, thì trung bình là 280 và 260, nên chọn 0,2 dù 0,3 thắng ở phần đầu. TunedThresholdClassifierCV làm toàn bộ việc này:

python
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import make_scorer
from sklearn.model_selection import TunedThresholdClassifierCV
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
kh = pd.read_csv("hoi_vien.csv").sample(frac=1, random_state=0)
X, y = kh.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"], kh.roi_bo
def lai(y, du_doan):
    gui = du_doan == 1
    return 120 * y[gui].sum() - 30 * gui.sum()
m = make_pipeline(StandardScaler(), LogisticRegression())
tuned = TunedThresholdClassifierCV(m, scoring=make_scorer(lai))
tuned.fit(X.iloc[:2400], y.iloc[:2400])
print(round(tuned.best_threshold_, 3), round(tuned.best_score_))

KẾT QUẢ

0.2 3073

best_threshold_ là ngưỡng được chọn, best_score_ là lợi nhuận trung bình trên một phần, khoảng 480 hội viên. 600 dòng cuối không được dùng: đó là tập test. Ngưỡng 0,2 thấp hơn ngưỡng hòa vốn 0,25 của bài trước; trên 200 lần trộn với random_state từ 0 đến 199, ngưỡng chọn được nằm trong 0,22–0,28 ở chín phần mười số lần, trung vị 0,246. Lần trộn của bài nằm ở rìa dưới, nên đừng coi 0,2 là quy luật. Ngưỡng hay rơi quanh 0,25 vì xác suất của logistic regression trên bảng này khá sát thật (bài calibration chỉ cách đo điều này), đúng như công thức kỳ vọng dự đoán.

Sau khi chọn ngưỡng, tuned train lại pipeline trên cả 2.400 dòng. Muốn tự kiểm, so tuned.predict(X) với tuned.predict_proba(X)[:, 1] >= tuned.best_threshold_: trên 600 dòng cuối, hai mảng trùng nhau từng phần tử. Xác suất ra giống hệt pipeline thường fit trên 2.400 dòng; chỉ bước cắt thành nhãn là khác.

FixedThresholdClassifier: đóng gói một ngưỡng đã biết

Khi ngưỡng đã có sẵn, như 0,2 mà CV vừa chọn, FixedThresholdClassifier bọc model với đúng ngưỡng đó, để predict() dùng nó thay cho 0,5. Đặt cạnh nhau ngưỡng của CV và ngưỡng mặc định, rồi mở tập test đúng một lần để đo:

python
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import FixedThresholdClassifier
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
kh = pd.read_csv("hoi_vien.csv").sample(frac=1, random_state=0)
X, y = kh.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"], kh.roi_bo
g = (120 * y - 30).to_numpy()
m = make_pipeline(StandardScaler(), LogisticRegression())
for nguong in [0.5, 0.2]:
    c = FixedThresholdClassifier(m, threshold=nguong)
    c.fit(X.iloc[:2400], y.iloc[:2400])
    print(nguong, g[2400:][c.predict(X.iloc[2400:]) == 1].sum())

KẾT QUẢ

0.5 2520
0.2 3660

Mảng g là lợi nhuận nếu gửi mã cho từng người, như bài trước. Trên 600 hội viên test, ngưỡng 0,2 của CV lời hơn ngưỡng 0,5 mặc định 1.140 nghìn. Trên 200 lần trộn, ngưỡng của CV lời trung bình 3.825 nghìn, ngưỡng 0,5 chỉ 2.135 nghìn, và CV thắng 0,5 ở 199 lần.

Đổi [0.5, 0.2] thành [0.5, 0.2, 0.25] rồi chạy lại: ngưỡng hòa vốn 0,25 của bài trước in 4080, ở lần trộn này lời hơn cả 0,2. Đừng vì thế đổi sang 0,25: đổi sau khi nhìn test chính là chọn ngưỡng trên test. Trung bình 200 lần trộn, 0,25 lời 3.874 nghìn, sát ngưỡng của CV. Khi chưa có công thức nào cho ngưỡng, như khi lợi nhuận phụ thuộc cả số tiền của từng khách, CV vẫn chọn được.

Kiểm tra nhanh

  1. Hàm lai(y, du_doan) cho y = np.array([1, 1, 0]) và du_doan = np.array([0, 1, 1]) trả bao nhiêu?

    • 240
    • 60
    • 90
    • −60
  2. Sau tuned.fit(X, y), thuộc tính nào cho biết ngưỡng được chọn?

    • tuned.threshold
    • tuned.best_threshold_
    • tuned.best_score_
    • tuned.cv_results_
  3. Hai phần CV: ngưỡng 0,2 lời 300 và 200, ngưỡng 0,3 lời 360 và 100. TunedThresholdClassifierCV chọn ngưỡng nào?

    • 0,2, vì trung bình 250 lớn hơn 230
    • 0,3, vì nó lời nhất ở một phần
    • Không chọn được vì hai phần mâu thuẫn
  4. Những câu nào đúng?

    • make_scorer(lai) gọi predict() rồi chuyển nhãn dự đoán cho lai
    • scoring=lai chạy được vì lai là hàm
    • FixedThresholdClassifier không tự tìm ngưỡng, nó dùng ngưỡng bạn đưa
    • best_score_ là lợi nhuận đo trên tập test
Đúng hết lần đầu +15 XP

Bài tập

Chọn ngưỡng theo trung bình các phần

cac_phan là list các cặp (p, y), mỗi cặp là xác suất và nhãn 0/1 của một phần cross validation; cac_nguong là list ngưỡng cần thử. Ở mỗi phần, gửi mã cho người có xác suất không thấp hơn ngưỡng: nhãn 1 đem về 90 nghìn, nhãn 0 lỗ 30 nghìn. Viết thân hàm nguong_cv(cac_phan, cac_nguong):

  • với mỗi ngưỡng, tính lợi nhuận trung bình qua các phần;

  • chọn ngưỡng có trung bình cao nhất; hòa nhau thì lấy ngưỡng lớn hơn.

Hàm không sửa các list của nơi gọi.

Trả về: ngưỡng đã chọn và lợi nhuận trung bình của nó, mỗi số một float, gói trong một tuple.

Ví dụ nguong_cv([([0.9, 0.4, 0.2], [1, 0, 0]), ([0.6, 0.3, 0.1], [0, 1, 0])], [0.3, 0.5, 0.1]) trả (0.3, 60.0): hai phần lời 60 và 60 ở ngưỡng 0,3, trung bình 60.

python
def nguong_cv(cac_phan, cac_nguong):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • Hàm lợi nhuận nhận (y, du_doan) và có return là số càng lớn càng tốt; make_scorer biến nó thành scorer.

  • TunedThresholdClassifierCV(model, scoring=...) thử một lưới ngưỡng, chọn theo điểm trung bình qua các phần CV, rồi train lại trên toàn bộ dữ liệu.

  • best_threshold_ là ngưỡng được chọn, best_score_ là điểm CV trung bình tại đó, đo trên dữ liệu của fit().

  • FixedThresholdClassifier(model, threshold=...) dùng một ngưỡng đã biết trong predict().

  • Đo trên test một lần, và không đổi ngưỡng sau khi nhìn kết quả test.

Câu hỏi thường gặp

Khác gì với tự viết vòng lặp ngưỡng trên validation?

Kết quả cùng ý tưởng, nhưng mỗi ngưỡng được chấm trên năm phần thay cho một, nên ít phụ thuộc vào một lần chia. Lớp này cũng gói việc train lại và dùng ngưỡng mới trong predict(), nên đặt được vào pipeline hay cross_validate như mọi model khác.

Có cần đo lại bằng cross validation bên ngoài không?

Nếu muốn ước lượng lợi nhuận mà không dùng tập test, có: đặt cả TunedThresholdClassifierCV vào cross_validate. Mỗi lượt ngoài sẽ tự chọn ngưỡng bằng CV bên trong trên phần train của nó.

Lưới 100 ngưỡng có quá dày không?

Với vài trăm dòng mỗi phần, lợi nhuận giữa hai ngưỡng sát nhau chênh rất ít; đổi thresholds= thành số nhỏ hơn như 20 cho kết quả gần như nhau và chạy nhanh hơn.

Chủ đề

tunedthresholdclassifiercv

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập