Bỏ qua đến nội dung chính
Mục lục

Calibration curve: CalibratedClassifierCV và Brier score

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 5/9 · Chương 7

Xác suất, ngưỡng và dữ liệu mất cân bằng

  • 9 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Calibration curve (đường hiệu chỉnh) so xác suất model đưa ra với tỉ lệ thật: gom các dòng có xác suất gần nhau thành nhóm, rồi xem trong nhóm "khoảng 30%" có thật khoảng 30% là lớp dương không. Brier score tóm tắt độ sai của xác suất thành một số. Xác suất lệch thì sửa bằng CalibratedClassifierCV trên tập validation.

Cần biết trước: ROC-AUC và train, validation, test.

Brier score: sai số bình phương của xác suất

ROC-AUC chỉ chấm thứ tự xếp hạng: nhân mọi xác suất với 0,5 thì AUC không đổi. Khi cần chính con số, như dự trù số hồ sơ sẽ vỡ nợ, cần một thước đo khác. Brier score là sai số bình phương trung bình giữa xác suất và nhãn 0/1, giống MSE của bài MAE, RMSE, R²:

Brier=1n∑i=1n(pi−yi)2\text{Brier} = \frac{1}{n} \sum_{i=1}^{n} (p_i - y_i)^2

Trong đó:

  • nn: số dòng được chấm.

  • pip_i (p): xác suất lớp dương model đưa cho dòng ii.

  • yiy_i (y): nhãn thật của dòng ii, 0 hoặc 1.

Tính tay cho bốn hồ sơ với nhãn 1, 0, 0, 0 và xác suất 0,9; 0,2; 0,6; 0,1: (0,01 + 0,04 + 0,36 + 0,01) / 4 = 0,105. Càng nhỏ càng tốt. Mốc so sánh là gán cho mọi dòng một xác suất bằng tỉ lệ lớp dương π\pi của chính tập được chấm; mốc đó có Brier bằng π(1−π)\pi(1 - \pi). Với bốn dòng này π\pi = 0,25.

python
from sklearn.metrics import brier_score_loss

y = [1, 0, 0, 0]
p = [0.9, 0.2, 0.6, 0.1]
print(brier_score_loss(y, p))
print(((0.9 - 1) ** 2 + 0.2 ** 2 + 0.6 ** 2 + 0.1 ** 2) / 4)
print("đoán 0,25 cho mọi dòng:", brier_score_loss(y, [0.25] * 4))

KẾT QUẢ

0.105
0.105
đoán 0,25 cho mọi dòng: 0.1875

Ở bốn dòng này, đoán hằng số 0,25 còn tệ hơn model (0,1875 so với 0,105). Một model có Brier cao hơn mốc hằng số thì xác suất của nó kém cả việc không dùng model. Đổi [0.25] * 4 thành [0.05] * 4 rồi chạy lại: hằng số xa tỉ lệ thật hơn nên dòng cuối in khoảng 0,2275 (0.22749999999999998, vì brier_score_loss không làm tròn).

Bảng hiệu chỉnh bằng pd.cut

Bài Naive Bayes cho thấy model này nhân xác suất theo từng cột như thể các cột độc lập, nên khi các cột cùng kể một chuyện, nó tin quá mức. Thử trên don_vay_tieu_dung.csv (số giả lập của AIDev): trộn 3.000 hồ sơ, lấy 1.800 dòng đầu để train, 600 dòng kế làm validation, 600 dòng cuối làm test. Chia xác suất trên test thành nhóm bằng pd.cut, rồi so trung bình của hai cột trong mỗi nhóm:

python
import pandas as pd
from sklearn.metrics import brier_score_loss
from sklearn.naive_bayes import GaussianNB
vay = pd.read_csv("don_vay_tieu_dung.csv").sample(frac=1, random_state=0)
tr, te = vay.iloc[:1800], vay.iloc[2400:]
cot = vay.select_dtypes("number").columns.drop("vo_no")
p = GaussianNB().fit(tr[cot], tr.vo_no).predict_proba(te[cot])[:, 1]
bang = pd.DataFrame({"du_doan": p, "thuc_te": te.vo_no.to_numpy()})
nhom = pd.cut(bang.du_doan, [0, 0.05, 0.2, 0.5, 0.8, 1], include_lowest=True)
print(bang.groupby(nhom, observed=True).agg(
    du_doan=("du_doan", "mean"), thuc_te=("thuc_te", "mean"),
    so_dong=("thuc_te", "size")).round(2))
pi = te.vo_no.mean()
print("Brier:", round(brier_score_loss(te.vo_no, p), 4))
print("mốc hằng số:", round(pi * (1 - pi), 4))

KẾT QUẢ

                du_doan  thuc_te  so_dong
du_doan                                  
(-0.001, 0.05]     0.01     0.02      508
(0.05, 0.2]        0.09     0.26       39
(0.2, 0.5]         0.32     0.26       23
(0.5, 0.8]         0.58     0.40       10
(0.8, 1.0]         0.96     0.25       20
Brier: 0.07
mốc hằng số: 0.0579

Mỗi hàng là một nhóm xác suất: du_doan là xác suất trung bình model đưa ra, thuc_te là tỉ lệ vỡ nợ thật trong nhóm, so_dong là số hồ sơ. Đọc từ dưới lên: 20 hồ sơ được chấm gần như chắc chắn vỡ nợ (0,96), thật chỉ một phần tư; 39 hồ sơ được chấm khoảng 9%, thật tới 26%. Model sai cả hai chiều, và sai theo cùng một kiểu: kéo xác suất về phía 0 hay 1 quá mạnh. Kết quả là Brier 0,070 còn cao hơn mốc 0,058 của việc gán 37/600 ≈ 0,062 cho mọi hồ sơ test, dù ROC-AUC của model là 0,827, tức thứ tự xếp hạng vẫn tốt.

Vẽ calibration curve bằng CalibrationDisplay

CalibrationDisplay vẽ cùng loại bảng: trục hoành ghi xác suất trung bình của nhóm, trục tung ghi tỉ lệ thật. Mặc định nó chia đoạn 0–1 thành các nhóm rộng bằng nhau; strategy="quantile" thì chia sao cho mọi nhóm có cùng số dòng.

python
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.calibration import CalibrationDisplay
from sklearn.naive_bayes import GaussianNB
vay = pd.read_csv("don_vay_tieu_dung.csv").sample(frac=1, random_state=0)
tr, te = vay.iloc[:1800], vay.iloc[2400:]
cot = vay.select_dtypes("number").columns.drop("vo_no")
nb = GaussianNB().fit(tr[cot], tr.vo_no)
fig, ax = plt.subplots(figsize=(6.4, 4), layout="constrained")
CalibrationDisplay.from_estimator(nb, te[cot], te.vo_no, n_bins=5, ax=ax)
plt.show()
Đường hiệu chỉnh của GaussianNB trên 600 hồ sơ test: hai điểm đầu gần đường chéo ở 0,02 và 0,3; ba điểm sau ở xác suất 0,49, 0,65, 0,97 nhưng tỉ lệ thật đi ngang quanh 0,25–0,3, ngày càng xa dưới đường chéo.

Model được hiệu chỉnh tốt thì các điểm bám đường chéo. Ở đây nửa bên phải đi ngang: model càng nói chắc, tỉ lệ thật càng không theo.

Hiệu chỉnh lại bằng CalibratedClassifierCV và FrozenEstimator

Không cần train lại model. CalibratedClassifierCV học một phép biến đổi từ xác suất cũ sang xác suất mới, trên một phần dữ liệu model chưa thấy. Bọc model đã train trong FrozenEstimator để fit() không đụng tới nó, rồi fit phần hiệu chỉnh trên validation:

python
import pandas as pd
from sklearn.calibration import CalibratedClassifierCV
from sklearn.frozen import FrozenEstimator
from sklearn.metrics import brier_score_loss
from sklearn.naive_bayes import GaussianNB
vay = pd.read_csv("don_vay_tieu_dung.csv").sample(frac=1, random_state=0)
tr, va, te = vay.iloc[:1800], vay.iloc[1800:2400], vay.iloc[2400:]
cot = vay.select_dtypes("number").columns.drop("vo_no")
nb = GaussianNB().fit(tr[cot], tr.vo_no)
for cach in ["sigmoid", "isotonic"]:
    hc = CalibratedClassifierCV(FrozenEstimator(nb), method=cach)
    p = hc.fit(va[cot], va.vo_no).predict_proba(te[cot])[:, 1]
    print(cach, round(brier_score_loss(te.vo_no, p), 4))

KẾT QUẢ

sigmoid 0.0551
isotonic 0.051

Brier trên test giảm từ 0,070 xuống dưới mốc 0,058 với cả hai cách. "sigmoid" khớp một đường cong chữ S, chỉ hai tham số. "isotonic" khớp một hàm bậc thang tăng dần, theo được những chỗ lệch không có dạng chữ S, như chỗ Naive Bayes nói 0,96 mà thật chỉ 0,25, nhưng cần nhiều dữ liệu hơn. Với model này, isotonic thắng ở 134 trên 200 lần trộn, dù validation chỉ khoảng 30 hồ sơ vỡ nợ: nên thử cả hai trên validation thay cho nhớ một quy tắc. Hiệu chỉnh đổi xác suất theo một hàm tăng dần, nên thứ tự xếp hạng gần như giữ nguyên: ROC-AUC của bản sigmoid vẫn là 0,827 như model gốc.

Kiểm tra nhanh

  1. Ba hồ sơ có nhãn 1, 0, 0 và xác suất 0,5; 0,5; 0,5. Brier score bằng bao nhiêu?

    • 0
    • 0,25
    • 0,5
    • 0,75
  2. Trong bảng hiệu chỉnh, nhóm có xác suất trung bình 0,40 có tỉ lệ lớp dương thật 0,08. Câu nào đúng?

    • Ở nhóm này model nói cao hơn thật khoảng năm lần
    • Model hiệu chỉnh tốt vì 0,40 lớn hơn 0,08
    • ROC-AUC của model chắc chắn thấp
    • Phải train lại model với class_weight="balanced"
  3. Những câu nào đúng về CalibratedClassifierCV?

    • Bọc model đã train trong FrozenEstimator để chỉ học phần hiệu chỉnh
    • Phần hiệu chỉnh phải fit trên dữ liệu model chưa thấy
    • method="isotonic" luôn cho Brier thấp hơn "sigmoid"
    • Hiệu chỉnh làm ROC-AUC tăng mạnh
  4. Code cũ viết CalibratedClassifierCV(model, cv="prefit"). Trong scikit-learn 1.8 nên viết thế nào?

    • Giữ nguyên, vẫn chạy
    • CalibratedClassifierCV(FrozenEstimator(model))
    • CalibratedClassifierCV(model, cv=1)
Đúng hết lần đầu +15 XP

Bài tập

Dựng bảng hiệu chỉnh

p là list xác suất (mọi số từ 0 tới 1), y là list nhãn 0/1 cùng độ dài, so_nhom là số nhóm. Viết thân hàm bang_hieu_chinh(p, y, so_nhom):

  • chia đoạn từ 0 tới 1 thành so_nhom nhóm rộng bằng nhau bằng np.linspace; mỗi nhóm lấy cạnh phải, không lấy cạnh trái, riêng nhóm đầu lấy cả số 0 (pd.cut(..., include_lowest=True));

  • với mỗi nhóm có ít nhất một dòng, tính xác suất trung bình (cột du_doan) và tỉ lệ nhãn 1 (cột thuc_te);

  • bỏ nhóm rỗng; các hàng theo thứ tự nhóm, chỉ số 0, 1, 2…

Hàm không sửa hai list của nơi gọi.

Trả về: một DataFrame có đúng hai cột du_doan, thuc_te.

Ví dụ bang_hieu_chinh([0.1, 0.2, 0.6, 0.7, 0.8, 0.15], [0, 0, 1, 1, 0, 0], 2) có hai hàng: du_doan khoảng 0,15 và 0,7, thuc_te 0,0 và khoảng 0,667.

python
import numpy as np
import pandas as pd

def bang_hieu_chinh(p, y, so_nhom):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • ROC-AUC chấm thứ tự; Brier score chấm chính con số xác suất, mốc là đoán hằng số tỉ lệ lớp dương.

  • Calibration curve so xác suất trung bình với tỉ lệ thật theo từng nhóm; CalibrationDisplay vẽ nó, pd.cut + groupby cho bảng.

  • Model xếp hạng tốt vẫn có thể cho xác suất lệch: GaussianNB nói quá chắc ở hai đầu.

  • CalibratedClassifierCV(FrozenEstimator(model)) hiệu chỉnh model đã train; "sigmoid" hợp khi ít dữ liệu, "isotonic" cần nhiều hơn.

  • Luôn hiệu chỉnh trên validation, không trên tập train.

Câu hỏi thường gặp

Vì sao cần xác suất đúng khi đã có ROC-AUC cao?

Vì hai thước đo nhìn hai thứ khác nhau. Ở bài này, bản Naive Bayes hiệu chỉnh sigmoid giữ nguyên ROC-AUC 0,827 của bản gốc mà Brier từ 0,070 về 0,055: cùng một thứ tự, hai bộ con số rất khác. Nếu việc của model chỉ là xếp hồ sơ, hiệu chỉnh không đổi gì; nếu bạn lấy chính con số để so với ngưỡng hòa vốn như bài ngưỡng quyết định, bản chưa hiệu chỉnh sẽ cho một quyết định sai chỗ.

Rừng ngẫu nhiên có cần hiệu chỉnh không?

Tùy dữ liệu, nên đo rồi mới quyết. Trên bộ vay này, với RandomForestClassifier(30, random_state=0) trên chín cột số và cùng cách chia 1.800/600/600, hiệu chỉnh sigmoid trên validation hạ Brier ở 141 trong 200 lần trộn, nhưng mức hạ trung bình chỉ 0,0008: random forest ở đây đã gần sát, hiệu chỉnh thường có lợi mà lợi rất ít.

Brier score bao nhiêu là tốt?

So với mốc π(1 − π) của chính tập được chấm, không so giữa hai bộ dữ liệu. 600 hồ sơ test của bài có 37 hồ sơ vỡ nợ, π ≈ 0,062, mốc ≈ 0,058: Naive Bayes chưa hiệu chỉnh (0,070) còn kém mốc, hai bản hiệu chỉnh (0,055 và 0,051) thấp hơn mốc khoảng 5% và 12%. Brier 0,05 nghe nhỏ, nhưng trên dữ liệu 5% lớp dương thì mốc cũng chỉ cỡ đó.

cv="prefit" đi đâu rồi?

Từ scikit-learn 1.8, CalibratedClassifierCV không còn nhận giá trị này. Bọc model đã train trong FrozenEstimator (import từ sklearn.frozen) cho cùng kết quả.

Chủ đề

calibration curve

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập