Bỏ qua đến nội dung chính
Mục lục

ROC curve và precision recall curve: RocCurveDisplay

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 3/9 · Chương 7

Xác suất, ngưỡng và dữ liệu mất cân bằng

  • 9 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

ROC curve (đường cong ROC) vẽ tỉ lệ bắt đúng theo tỉ lệ báo nhầm khi ngưỡng đi từ cao xuống thấp; precision recall curve vẽ precision theo recall. Trong scikit-learn, vẽ hai đường bằng RocCurveDisplay và PrecisionRecallDisplay, tóm tắt bằng roc_auc_score và PR-AUC (average_precision_score). Lớp dương càng hiếm, đường PR càng nói nhiều hơn.

Cần biết trước: ROC-AUC, precision, recall, F1 và dữ liệu mất cân bằng.

roc_curve(): mỗi ngưỡng là một điểm

Bài ngưỡng quyết định chọn một ngưỡng. Đường ROC thì đi qua mọi ngưỡng cùng lúc: với mỗi ngưỡng, đếm tỉ lệ ca dương được báo (TPR, cũng là recall) và tỉ lệ ca âm bị báo nhầm (FPR). Tám hồ sơ vay, nhãn 1 là vỡ nợ, điểm số do một model chấm:

python
from sklearn.metrics import roc_curve

nhan = [1, 0, 1, 1, 0, 0, 1, 0]
diem = [0.9, 0.8, 0.7, 0.6, 0.55, 0.4, 0.3, 0.1]
fpr, tpr, nguong = roc_curve(nhan, diem)
print("ngưỡng:", nguong)
print("FPR:   ", fpr.round(2))
print("TPR:   ", tpr.round(2))

KẾT QUẢ

ngưỡng: [inf 0.9 0.8 0.6 0.4 0.3 0.1]
FPR:    [0.   0.   0.25 0.25 0.75 0.75 1.  ]
TPR:    [0.   0.25 0.25 0.75 0.75 1.   1.  ]

Đọc cột ngưỡng 0,6: bốn hồ sơ đầu bị báo, trong đó ba trên bốn hồ sơ vỡ nợ (TPR 0,75) và một trên bốn hồ sơ tốt (FPR 0,25). Ngưỡng inf là điểm xuất phát (0, 0), chưa báo ai. scikit-learn bỏ bớt các ngưỡng nằm giữa một đoạn thẳng, nên chỉ còn bảy điểm thay cho chín. Nối các điểm lại là đường ROC; diện tích dưới nó là ROC-AUC.

Đường precision–recall và PR-AUC

Đường PR đặt recall trên trục ngang và precision trên trục dọc. Điểm tóm tắt của nó, PR-AUC, scikit-learn tính theo cách gọi là average precision: đi xuống danh sách theo điểm giảm dần, mỗi khi recall tăng thì cộng phần tăng đó nhân với precision tại chỗ ấy.

AP=∑n(Rn−Rn−1) Pn\text{AP} = \sum_{n} (R_n - R_{n-1}) \, P_n

Trong đó:

  • nn: thứ tự các ngưỡng, từ điểm cao nhất xuống.

  • RnR_n, PnP_n: recall và precision khi báo mọi hồ sơ có điểm từ ngưỡng thứ nn trở lên; R0=0R_0 = 0.

Tính tay cho tám hồ sơ trên. Xếp theo điểm giảm dần, nhãn là 1, 0, 1, 1, 0, 0, 1, 0. Recall chỉ tăng ở bốn hồ sơ vỡ nợ, mỗi lần thêm 0,25, với precision lần lượt 1/1, 2/3, 3/4 và 4/7. Vậy AP = 0,25 · (1 + 0,667 + 0,75 + 0,571) ≈ 0,747.

python
from sklearn.metrics import average_precision_score

nhan = [1, 0, 1, 1, 0, 0, 1, 0]
diem = [0.9, 0.8, 0.7, 0.6, 0.55, 0.4, 0.3, 0.1]
print(round(average_precision_score(nhan, diem), 3))
print(round(0.25 * (1 + 2 / 3 + 3 / 4 + 4 / 7), 3))

KẾT QUẢ

0.747
0.747

Hai dòng khớp nhau. Đổi 0.8 thành 0.2 rồi chạy lại: hồ sơ tốt đứng thứ hai tụt xuống cuối danh sách, dòng đầu in 0.917. PR-AUC không phải diện tích hình thang dưới đường PR; auc() trên đường PR cho số hơi khác và lạc quan hơn, nên dùng average_precision_score.

Vẽ bằng RocCurveDisplay và PrecisionRecallDisplay

Với bộ don_vay_tieu_dung.csv (số giả lập của AIDev, 5% hồ sơ vỡ nợ), một logistic regression trên hai cột, số lần trễ hạn trong 12 tháng và tỉ lệ trả nợ trên thu nhập, đủ để vẽ. Hai cột cùng cỡ số nên model hội tụ không cần scale. Tập test giữ 25% hồ sơ, chia có stratify như bài train test split. Mỗi lớp Display có from_estimator nhận model và tập test:

python
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import RocCurveDisplay
from sklearn.model_selection import train_test_split
vay = pd.read_csv("don_vay_tieu_dung.csv")
cot = ["so_lan_tre_han_12_thang", "ti_le_tra_no_thu_nhap"]
tr, te = train_test_split(vay, stratify=vay.vo_no, random_state=0)
m = LogisticRegression().fit(tr[cot], tr.vo_no)
fig, ax = plt.subplots(figsize=(6.4, 4), layout="constrained")
RocCurveDisplay.from_estimator(m, te[cot], te.vo_no, ax=ax,
                               plot_chance_level=True)
plt.show()
Đường ROC của logistic regression trên 750 hồ sơ test, cong lên cao hơn hẳn đường chéo nét đứt của đoán bừa, chạm TPR 0,9 khi FPR khoảng 0,3; chú thích ghi AUC 0,86 và mốc ngẫu nhiên 0,5.

Đường ROC trông như của một model tốt. Vẽ đường PR cho cùng model và cùng tập test, chỉ đổi tên lớp Display:

python
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import PrecisionRecallDisplay
from sklearn.model_selection import train_test_split
vay = pd.read_csv("don_vay_tieu_dung.csv")
cot = ["so_lan_tre_han_12_thang", "ti_le_tra_no_thu_nhap"]
tr, te = train_test_split(vay, stratify=vay.vo_no, random_state=0)
m = LogisticRegression().fit(tr[cot], tr.vo_no)
fig, ax = plt.subplots(figsize=(6.4, 4), layout="constrained")
PrecisionRecallDisplay.from_estimator(m, te[cot], te.vo_no, ax=ax,
                                      plot_chance_level=True)
ax.legend(loc="upper right")
plt.show()
Đường precision–recall của cùng model: precision bằng 1 ở recall rất nhỏ, tụt nhanh xuống khoảng 0,3 khi recall 0,4 và còn khoảng 0,2 khi recall 0,7; đường ngang nét đứt của đoán bừa ở 0,05; chú thích ghi AP 0,36.

plot_chance_level=True vẽ mốc của đoán bừa: đường chéo cho ROC, đường ngang ở tỉ lệ lớp dương cho PR. Đường PR cho thấy muốn bắt quá nửa số hồ sơ vỡ nợ thì cứ bốn hồ sơ bị báo có ba là hồ sơ tốt. Cùng một model, hai bức tranh khác nhau. Có sẵn mảng xác suất thì dùng from_predictions(y, p) thay cho from_estimator.

Khi nào cần PR thay ROC

ROC đo trên hai tỉ lệ, mỗi tỉ lệ chia trong một lớp, nên số hồ sơ tốt nhiều hay ít không đổi được nó. Precision thì trộn hai lớp. Giữ nguyên model và cách xếp hạng, chỉ cho mỗi hồ sơ tốt trong tập test thêm k − 1 bản sao, như thể vỡ nợ hiếm đi k lần:

python
import numpy as np
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import average_precision_score, roc_auc_score
from sklearn.model_selection import train_test_split
vay = pd.read_csv("don_vay_tieu_dung.csv")
cot = ["so_lan_tre_han_12_thang", "ti_le_tra_no_thu_nhap"]
tr, te = train_test_split(vay, stratify=vay.vo_no, random_state=0)
m = LogisticRegression().fit(tr[cot], tr.vo_no)
p, y = m.predict_proba(te[cot])[:, 1], te.vo_no.to_numpy()
for k in [1, 4, 16]:
    yy = np.concatenate([y] + [y[y == 0]] * (k - 1))
    pp = np.concatenate([p] + [p[y == 0]] * (k - 1))
    print(k, round(roc_auc_score(yy, pp), 3),
          round(average_precision_score(yy, pp), 3))

KẾT QUẢ

1 0.863 0.363
4 0.863 0.196
16 0.863 0.119

ROC-AUC đứng yên ở mọi k; PR-AUC giảm mạnh khi tỉ lệ vỡ nợ đi từ 5% xuống còn khoảng 0,3%. Vậy khi lớp dương hiếm và điều cần biết là "trong số bị báo, bao nhiêu là thật", hãy đọc PR. ROC hợp khi hai lớp không quá lệch, hay khi cần so model trên những tập có tỉ lệ lớp khác nhau. Báo PR-AUC thì kèm tỉ lệ lớp dương, vì mốc ngẫu nhiên của nó là chính tỉ lệ đó.

Kiểm tra nhanh

  1. Ở một ngưỡng, model báo 30 trên 40 ca dương và 90 trên 900 ca âm. Điểm này nằm ở đâu trên đường ROC?

    • (0,75; 0,25)
    • FPR 0,1 và TPR 0,75
    • FPR 0,75 và TPR 0,1
    • FPR 0,25 và TPR 0,9
  2. Xếp theo điểm giảm dần, nhãn là 1, 1, 0, 1. PR-AUC bằng bao nhiêu?

    • 0,75
    • khoảng 0,917
    • 1,0
    • khoảng 0,667
  3. Những câu nào đúng?

    • ROC-AUC không đổi khi chỉ nhân bản các ca âm
    • Mốc ngẫu nhiên của PR-AUC là tỉ lệ lớp dương
    • PR-AUC luôn cao hơn ROC-AUC
    • Đường ROC phụ thuộc vào ngưỡng đã chọn cho predict()
  4. Dữ liệu gian lận thẻ có 0,2% lớp dương. Đội cần biết trong số giao dịch bị chặn có bao nhiêu là gian lận thật. Nên nhìn đường nào?

    • Đường ROC, vì AUC của nó cao và ổn định
    • Đường precision–recall, vì nó cho thấy precision ở từng mức recall
    • Không cần đường nào, accuracy là đủ
Đúng hết lần đầu +15 XP

Bài tập

Tính PR-AUC bằng tay

nhan là list nhãn 0/1 có ít nhất một nhãn 1; diem là list điểm số cùng độ dài, điểm càng cao càng nghi là lớp 1. Viết thân hàm ap_tay(nhan, diem) tính PR-AUC theo công thức trong bài, không gọi scikit-learn (cấm average_precision_score() và precision_recall_curve()):

  • xếp các dòng theo điểm giảm dần;

  • các dòng có điểm bằng nhau là cùng một ngưỡng: chỉ tính recall và precision sau khi đã gộp hết chúng;

  • mỗi ngưỡng cộng phần recall tăng thêm nhân với precision tại ngưỡng đó.

Hàm không sửa hai list của nơi gọi.

Trả về: PR-AUC, một float.

Ví dụ ap_tay([1, 0, 1, 1, 0, 0, 1, 0], [0.9, 0.8, 0.7, 0.6, 0.55, 0.4, 0.3, 0.1]) trả khoảng 0.747.

python
def ap_tay(nhan, diem):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • roc_curve() trả FPR, TPR và ngưỡng; mỗi ngưỡng là một điểm, nối lại là đường ROC.

  • PR-AUC theo scikit-learn là average_precision_score: tổng phần recall tăng nhân precision tại đó.

  • RocCurveDisplay và PrecisionRecallDisplay vẽ bằng from_estimator hay from_predictions; plot_chance_level=True thêm mốc đoán bừa.

  • ROC-AUC không đổi theo tỉ lệ lớp; PR-AUC giảm khi lớp dương hiếm đi, mốc của nó là tỉ lệ lớp dương.

  • Nhãn là chữ thì truyền pos_label=.

Câu hỏi thường gặp

Tóm lại, ROC curve là gì?

Là đường nối các cặp (tỉ lệ báo nhầm, tỉ lệ bắt đúng) của một model khi ngưỡng đi từ cao xuống thấp. Đường càng ôm góc trên bên trái thì model xếp hạng càng tốt; đường chéo là đoán bừa.

Có nên chọn ngưỡng bằng cách nhìn đường ROC không?

Đường ROC cho biết các lựa chọn có sẵn, không cho biết lựa chọn nào lời. Muốn chọn, gắn lợi và chi phí vào từng loại quyết định như bài ngưỡng quyết định, rồi chọn trên validation.

PR-AUC bao nhiêu là tốt?

Không có mốc chung. So với tỉ lệ lớp dương (mốc đoán bừa) và với model đơn giản hơn trên cùng tập test, như cách bài class_weight so hai cách train. Trên bộ vay 5% vỡ nợ, PR-AUC 0,36 của lần chia trong bài là gấp khoảng bảy lần mốc. Một lần chia 750 hồ sơ chỉ có 37 ca vỡ nợ nên con số dao động: cross validation 5 phần cho trung bình khoảng 0,26, vẫn gấp năm lần mốc.

Hai model cắt nhau trên đường ROC thì chọn model nào?

Chọn model tốt hơn ở vùng ngưỡng sẽ dùng thật. Nếu chỉ định gửi cảnh báo cho vài phần trăm hồ sơ có điểm cao nhất, phần bên trái của đường (FPR nhỏ) quan trọng hơn cả diện tích.

Chủ đề

roc curve

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập