TunedThresholdClassifierCV: chọn ngưỡng bằng CV
Bài 6/9 · Chương 7
Xác suất, ngưỡng và dữ liệu mất cân bằng
- 7 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 10
Ngưỡng chọn trên một tập validation phụ thuộc vào đúng những dòng của tập đó. TunedThresholdClassifierCV bỏ tập validation riêng: ngưỡng được chấm trên các fold của cross validation, và ngưỡng thắng là ngưỡng có lợi nhuận trung bình qua các fold cao nhất. Bài này viết hàm lợi nhuận, đưa nó cho lớp đó qua make_scorer, rồi đóng gói ngưỡng vừa chọn bằng FixedThresholdClassifier.
Cần biết trước: ngưỡng quyết định, cross validation và hàm def.
Hàm lợi nhuận và make_scorer()
Bài ngưỡng quyết định tính lợi nhuận chiến dịch tặng tháng Sóc Vàng của chuỗi Sóc Nhanh (số giả lập của AIDev): mỗi mã tốn 30 nghìn, mỗi người sắp rời bỏ nhận mã đem về trung bình 120 nghìn. Viết điều đó thành một hàm nhận nhãn thật y và nhãn dự đoán du_doan, cả hai là mảng 0/1:
import numpy as np
def lai(y, du_doan):
gui = du_doan == 1
return 120 * y[gui].sum() - 30 * gui.sum()
y = np.array([1, 0, 1, 0, 0])
du_doan = np.array([1, 1, 0, 0, 1])
print(lai(y, du_doan))KẾT QUẢ
30Ba mã được gửi, một mã trúng người sắp rời bỏ: 120 − 3 · 30 = 30 nghìn. Đổi [1, 1, 0, 0, 1] thành [1, 0, 1, 0, 0] rồi chạy lại: hai mã trúng cả hai người rời bỏ, kết quả in 180.
scikit-learn không gọi thẳng hàm như vậy. Nó cần một scorer, đối tượng nhận model, X và y. make_scorer(lai) làm việc bọc đó: scorer gọi model.predict(X) rồi chuyển kết quả cho lai. Hàm có return là con số càng lớn càng tốt; nếu là chi phí, thêm greater_is_better=False.
TunedThresholdClassifierCV chọn ngưỡng bằng cross validation
Bài ngưỡng quyết định chọn ngưỡng trên một tập validation 600 dòng, nên kết quả phụ thuộc 600 dòng đó. Cross validation chia phần train thành phần, lần lượt giữ mỗi phần ra để chấm, rồi lấy trung bình:
Trong đó:
: một ngưỡng trong lưới thử, mặc định 100 ngưỡng.
(
cv=): số phần, mặc định 5.: lợi nhuận ở ngưỡng trên phần thứ , do model train trên phần còn lại.
Ngưỡng được chọn là ngưỡng có lớn nhất. Tính tay với hai phần: nếu ngưỡng 0,2 lời 300 và 260, ngưỡng 0,3 lời 340 và 180, thì trung bình là 280 và 260, nên chọn 0,2 dù 0,3 thắng ở phần đầu. TunedThresholdClassifierCV làm toàn bộ việc này:
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import make_scorer
from sklearn.model_selection import TunedThresholdClassifierCV
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
kh = pd.read_csv("hoi_vien.csv").sample(frac=1, random_state=0)
X, y = kh.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"], kh.roi_bo
def lai(y, du_doan):
gui = du_doan == 1
return 120 * y[gui].sum() - 30 * gui.sum()
m = make_pipeline(StandardScaler(), LogisticRegression())
tuned = TunedThresholdClassifierCV(m, scoring=make_scorer(lai))
tuned.fit(X.iloc[:2400], y.iloc[:2400])
print(round(tuned.best_threshold_, 3), round(tuned.best_score_))KẾT QUẢ
0.2 3073best_threshold_ là ngưỡng được chọn, best_score_ là lợi nhuận trung bình trên một phần, khoảng 480 hội viên. 600 dòng cuối không được dùng: đó là tập test. Ngưỡng 0,2 thấp hơn ngưỡng hòa vốn 0,25 của bài trước; trên 200 lần trộn với random_state từ 0 đến 199, ngưỡng chọn được nằm trong 0,22–0,28 ở chín phần mười số lần, trung vị 0,246. Lần trộn của bài nằm ở rìa dưới, nên đừng coi 0,2 là quy luật. Ngưỡng hay rơi quanh 0,25 vì xác suất của logistic regression trên bảng này khá sát thật (bài calibration chỉ cách đo điều này), đúng như công thức kỳ vọng dự đoán.
Sau khi chọn ngưỡng, tuned train lại pipeline trên cả 2.400 dòng. Muốn tự kiểm, so tuned.predict(X) với tuned.predict_proba(X)[:, 1] >= tuned.best_threshold_: trên 600 dòng cuối, hai mảng trùng nhau từng phần tử. Xác suất ra giống hệt pipeline thường fit trên 2.400 dòng; chỉ bước cắt thành nhãn là khác.
FixedThresholdClassifier: đóng gói một ngưỡng đã biết
Khi ngưỡng đã có sẵn, như 0,2 mà CV vừa chọn, FixedThresholdClassifier bọc model với đúng ngưỡng đó, để predict() dùng nó thay cho 0,5. Đặt cạnh nhau ngưỡng của CV và ngưỡng mặc định, rồi mở tập test đúng một lần để đo:
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import FixedThresholdClassifier
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
kh = pd.read_csv("hoi_vien.csv").sample(frac=1, random_state=0)
X, y = kh.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"], kh.roi_bo
g = (120 * y - 30).to_numpy()
m = make_pipeline(StandardScaler(), LogisticRegression())
for nguong in [0.5, 0.2]:
c = FixedThresholdClassifier(m, threshold=nguong)
c.fit(X.iloc[:2400], y.iloc[:2400])
print(nguong, g[2400:][c.predict(X.iloc[2400:]) == 1].sum())KẾT QUẢ
0.5 2520
0.2 3660Mảng g là lợi nhuận nếu gửi mã cho từng người, như bài trước. Trên 600 hội viên test, ngưỡng 0,2 của CV lời hơn ngưỡng 0,5 mặc định 1.140 nghìn. Trên 200 lần trộn, ngưỡng của CV lời trung bình 3.825 nghìn, ngưỡng 0,5 chỉ 2.135 nghìn, và CV thắng 0,5 ở 199 lần.
Đổi [0.5, 0.2] thành [0.5, 0.2, 0.25] rồi chạy lại: ngưỡng hòa vốn 0,25 của bài trước in 4080, ở lần trộn này lời hơn cả 0,2. Đừng vì thế đổi sang 0,25: đổi sau khi nhìn test chính là chọn ngưỡng trên test. Trung bình 200 lần trộn, 0,25 lời 3.874 nghìn, sát ngưỡng của CV. Khi chưa có công thức nào cho ngưỡng, như khi lợi nhuận phụ thuộc cả số tiền của từng khách, CV vẫn chọn được.
Kiểm tra nhanh
Hàm
lai(y, du_doan)choy = np.array([1, 1, 0])vàdu_doan = np.array([0, 1, 1])trả bao nhiêu?- 240
- 60
- 90
- −60
Sau
tuned.fit(X, y), thuộc tính nào cho biết ngưỡng được chọn?tuned.thresholdtuned.best_threshold_tuned.best_score_tuned.cv_results_
Hai phần CV: ngưỡng 0,2 lời 300 và 200, ngưỡng 0,3 lời 360 và 100. TunedThresholdClassifierCV chọn ngưỡng nào?
- 0,2, vì trung bình 250 lớn hơn 230
- 0,3, vì nó lời nhất ở một phần
- Không chọn được vì hai phần mâu thuẫn
Những câu nào đúng?
make_scorer(lai)gọipredict()rồi chuyển nhãn dự đoán cholaiscoring=laichạy được vìlailà hàmFixedThresholdClassifierkhông tự tìm ngưỡng, nó dùng ngưỡng bạn đưabest_score_là lợi nhuận đo trên tập test
Bài tập
Chọn ngưỡng theo trung bình các phần
cac_phan là list các cặp (p, y), mỗi cặp là xác suất và nhãn 0/1 của một phần cross validation; cac_nguong là list ngưỡng cần thử. Ở mỗi phần, gửi mã cho người có xác suất không thấp hơn ngưỡng: nhãn 1 đem về 90 nghìn, nhãn 0 lỗ 30 nghìn. Viết thân hàm nguong_cv(cac_phan, cac_nguong):
với mỗi ngưỡng, tính lợi nhuận trung bình qua các phần;
chọn ngưỡng có trung bình cao nhất; hòa nhau thì lấy ngưỡng lớn hơn.
Hàm không sửa các list của nơi gọi.
Trả về: ngưỡng đã chọn và lợi nhuận trung bình của nó, mỗi số một float, gói trong một tuple.
Ví dụ nguong_cv([([0.9, 0.4, 0.2], [1, 0, 0]), ([0.6, 0.3, 0.1], [0, 1, 0])], [0.3, 0.5, 0.1]) trả (0.3, 60.0): hai phần lời 60 và 60 ở ngưỡng 0,3, trung bình 60.
def nguong_cv(cac_phan, cac_nguong):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Hàm lợi nhuận nhận
(y, du_doan)và córeturnlà số càng lớn càng tốt;make_scorerbiến nó thành scorer.TunedThresholdClassifierCV(model, scoring=...)thử một lưới ngưỡng, chọn theo điểm trung bình qua các phần CV, rồi train lại trên toàn bộ dữ liệu.best_threshold_là ngưỡng được chọn,best_score_là điểm CV trung bình tại đó, đo trên dữ liệu củafit().FixedThresholdClassifier(model, threshold=...)dùng một ngưỡng đã biết trongpredict().Đo trên test một lần, và không đổi ngưỡng sau khi nhìn kết quả test.
Câu hỏi thường gặp
Khác gì với tự viết vòng lặp ngưỡng trên validation?
Kết quả cùng ý tưởng, nhưng mỗi ngưỡng được chấm trên năm phần thay cho một, nên ít phụ thuộc vào một lần chia. Lớp này cũng gói việc train lại và dùng ngưỡng mới trong predict(), nên đặt được vào pipeline hay cross_validate như mọi model khác.
Có cần đo lại bằng cross validation bên ngoài không?
Nếu muốn ước lượng lợi nhuận mà không dùng tập test, có: đặt cả TunedThresholdClassifierCV vào cross_validate. Mỗi lượt ngoài sẽ tự chọn ngưỡng bằng CV bên trong trên phần train của nó.
Lưới 100 ngưỡng có quá dày không?
Với vài trăm dòng mỗi phần, lợi nhuận giữa hai ngưỡng sát nhau chênh rất ít; đổi thresholds= thành số nhỏ hơn như 20 cho kết quả gần như nhau và chạy nhanh hơn.
Chủ đề
Dữ liệu của bài
- Tải xuống
hoi_vien.csv
CSV · 207.25 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.