Bỏ qua đến nội dung chính
Mục lục

Các chỉ số đánh giá mô hình: chọn metric nào khi nào

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 2/9 · Chương 14

Trang phụ trợ

  • 8 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Các chỉ số đánh giá mô hình trả lời bốn câu hỏi khác nhau: model đoán số lệch bao nhiêu, quyết định ở một ngưỡng đúng sai thế nào, model xếp hạng các dòng tốt tới đâu, và xác suất nó trả có đáng tin không. Trang này gom mười hai metric của sklearn.metrics vào một bảng theo bốn câu hỏi đó, chạy chúng trên một ví dụ chung, kèm tên dùng trong scoring= và bài dạy kỹ từng metric.

Cần biết trước: đường ROC và PR.

Bảng tra nhanh: metric theo câu hỏi

Ví dụ chung của mọi hàng. Hồi quy: thời gian giao thật y_so = [12, 15, 20, 30] phút, dự đoán du_doan = [14, 15, 17, 34]. Phân loại: tám hội viên y = [1, 1, 1, 0, 0, 0, 0, 0] (1 là rời bỏ), xác suất model trả p = [0.9, 0.7, 0.4, 0.8, 0.58, 0.2, 0.1, 0.05], nhãn dự đoán lấy ở ngưỡng 0,5. Cột scoring= là tên dùng trong cross_val_score(); metric sai số mang tiền tố neg_ vì sklearn luôn chọn số lớn hơn.

Câu hỏi

Metric

Hàm sklearn.metrics

scoring=

Kết quả

Bài

Đoán số lệch bao nhiêu

MAE

mean_absolute_error

neg_mean_absolute_error

2.25

MAE, RMSE, R²

RMSE

root_mean_squared_error

neg_root_mean_squared_error

2.693

như hàng trên

R²

r2_score

r2

0.845

như hàng trên

MAPE

mean_absolute_percentage_error

neg_mean_absolute_percentage_error

0.112

như hàng trên

Quyết định ở một ngưỡng

accuracy

accuracy_score

accuracy

0.625

confusion matrix

precision

precision_score

precision

0.5

precision, recall, F1

recall

recall_score

recall

0.667

như hàng trên

F1

f1_score

f1

0.571

như hàng trên

Xếp hạng tốt tới đâu

ROC-AUC

roc_auc_score

roc_auc

0.8

ROC-AUC

PR-AUC

average_precision_score

average_precision

0.756

đường ROC và PR

Xác suất đáng tin không

Brier

brier_score_loss

neg_brier_score

0.186

calibration

log loss

log_loss

neg_log_loss

0.529

log loss

Chạy khối dưới để in đúng cột kết quả:

python
from sklearn import metrics as mt
y_so, du_doan = [12, 15, 20, 30], [14, 15, 17, 34]
y = [1, 1, 1, 0, 0, 0, 0, 0]
p = [0.9, 0.7, 0.4, 0.8, 0.58, 0.2, 0.1, 0.05]
nhan = [int(x >= 0.5) for x in p]
hoi_quy = ["mean_absolute_error", "root_mean_squared_error",
           "r2_score", "mean_absolute_percentage_error"]
theo_nguong = ["accuracy_score", "precision_score",
               "recall_score", "f1_score"]
theo_xac_suat = ["roc_auc_score", "average_precision_score",
                 "brier_score_loss", "log_loss"]
for ds, a, b in [(hoi_quy, y_so, du_doan), (theo_nguong, y, nhan),
                 (theo_xac_suat, y, p)]:
    for ten in ds:
        print(ten, round(getattr(mt, ten)(a, b), 3))

KẾT QUẢ

mean_absolute_error 2.25
root_mean_squared_error 2.693
r2_score 0.845
mean_absolute_percentage_error 0.112
accuracy_score 0.625
precision_score 0.5
recall_score 0.667
f1_score 0.571
roc_auc_score 0.8
average_precision_score 0.756
brier_score_loss 0.186
log_loss 0.529

Đổi x >= 0.5 thành x >= 0.3 rồi chạy lại: dòng recall in recall_score 1.0. Bốn metric của nhóm ngưỡng đổi hết, còn bốn dòng cuối giữ nguyên, vì chúng đọc thẳng xác suất chứ không đọc nhãn. Đó là cách tra nhanh nhất một metric thuộc nhóm nào. Bài mẹ của trang này, bài đường ROC và PR, vẽ cả dải ngưỡng thành hai đường cong.

Chọn metric theo câu hỏi

Hồi quy. MAE là số phút lệch trung bình, dễ kể với người không học kỹ thuật. RMSE phạt nặng các lần lệch xa: ở ví dụ, đơn lệch 4 phút đẩy RMSE lên 2,69 dù MAE chỉ 2,25. R² so model với việc luôn đoán trung bình của bảng được chấm, không có đơn vị. MAPE tính lệch theo phần trăm, hợp khi label trải nhiều cỡ, và vô nghĩa khi label có số 0.

Phân loại ở một ngưỡng. Dùng khi đã có một quyết định cụ thể, như gọi điện giữ chân mọi hội viên có xác suất từ 0,5. Precision là phần trúng trong số đã gọi, recall là phần bắt được trong số sẽ rời bỏ. Accuracy chỉ dùng khi hai lớp gần cân bằng và hai loại sai tốn như nhau.

Xếp hạng. Dùng để so model trước khi chọn ngưỡng. ROC-AUC là xác suất một hội viên rời bỏ chọn ngẫu nhiên được chấm cao hơn một hội viên ở lại chọn ngẫu nhiên; PR-AUC (average precision) tập trung vào lớp dương nên nhạy hơn khi lớp dương hiếm, với mốc đoán bừa bằng tỉ lệ lớp dương thay cho 0,5.

Xác suất. Dùng khi con số xác suất đi vào một phép tính, như nhân với giá trị hội viên để ra tiền dự kiến mất. Brier là bình phương sai lệch trung bình giữa xác suất và nhãn; log loss phạt rất nặng xác suất tự tin mà sai.

Average precision tính trên các mốc xếp hạng:

AP=∑k(Rk−Rk−1) Pk\text{AP} = \sum_{k} (R_k - R_{k-1}) \, P_k

Trong đó:

  • k: các vị trí trong danh sách xếp theo xác suất giảm dần.

  • P_k: precision khi báo dương k dòng đầu.

  • R_k: recall khi báo dương k dòng đầu; R_k − R_{k−1} khác 0 chỉ tại dòng dương thật.

Ở ví dụ, ba hội viên rời bỏ đứng hạng 1, 3 và 5, nên AP = (1/1 + 2/3 + 3/5) / 3 = 0,756.

Metric trong cross-validation

cross_val_score() và GridSearchCV nhận metric qua tên chuỗi scoring=. Danh sách đủ có trong get_scorer_names():

python
from sklearn.metrics import get_scorer_names

ten = get_scorer_names()
print([t for t in ten if "squared_error" in t])
print([t for t in ten if t.startswith(("roc", "average"))])

KẾT QUẢ

['neg_mean_squared_error', 'neg_root_mean_squared_error']
['average_precision', 'roc_auc', 'roc_auc_ovo', 'roc_auc_ovo_weighted', 'roc_auc_ovr', 'roc_auc_ovr_weighted']

Kết quả của một scorer neg_ là số âm: -2.69 nghĩa là RMSE 2,69, nên đổi dấu trước khi báo cáo. Các tên roc_auc_ovr và roc_auc_ovo dùng cho bài nhiều lớp. Bài cross-validation chạy scoring= trên một model thật.

Kiểm tra nhanh

  1. Dời ngưỡng từ 0,5 xuống 0,3 trên cùng model, metric nào giữ nguyên?

    • precision_score
    • recall_score
    • accuracy_score
    • roc_auc_score
  2. Bảng có 2% hồ sơ vỡ nợ. Bạn muốn so hai model theo khả năng đưa hồ sơ vỡ nợ lên đầu danh sách. Nên dùng metric nào?

    • accuracy_score
    • average_precision_score
    • r2_score
    • mean_absolute_error
  3. cross_val_score(..., scoring="neg_root_mean_squared_error") trả trung bình -4.2. RMSE của model là bao nhiêu?

    • 4,2
    • -4,2
    • 17,64
    • Không biết được nếu không chạy lại
Đúng hết lần đầu +15 XP

Bài tập

Chấm recall, precision và average precision

Bạn cần một hàm chấm nhanh cho danh sách gọi điện giữ chân. y_that là list nhãn 0/1 (có ít nhất một số 1 và một số 0), xac_suat là list xác suất cùng độ dài, các giá trị khác nhau, và nguong là số thực sao cho có ít nhất một xác suất từ nguong trở lên. Viết thân hàm cham_ba_metric(y_that, xac_suat, nguong): dự đoán 1 khi xác suất lớn hơn hoặc bằng nguong, rồi trả recall và precision của dự đoán đó, cùng average precision tính trên chính xac_suat.

Hàm không sửa hai list của nơi gọi.

Trả về: bộ ba số, một tuple theo thứ tự recall, precision, average precision.

Ví dụ cham_ba_metric([1, 1, 1, 0, 0, 0, 0, 0], [0.9, 0.7, 0.4, 0.8, 0.58, 0.2, 0.1, 0.05], 0.5) cho xấp xỉ (0.667, 0.5, 0.756); trả số đủ chữ số, không làm tròn.

python
from sklearn.metrics import (average_precision_score,
                             precision_score, recall_score)


def cham_ba_metric(y_that, xac_suat, nguong):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • Chọn metric theo câu hỏi: sai số cho hồi quy, nhóm ngưỡng cho một quyết định cụ thể, nhóm xếp hạng để so model, Brier và log loss khi xác suất được dùng như một con số.

  • Bốn metric xếp hạng và xác suất nhận xác suất của lớp dương, không nhận nhãn 0/1.

  • Lớp dương hiếm: báo precision, recall và average precision; accuracy dễ đánh lừa.

  • Trong scoring=, metric sai số mang tiền tố neg_; đổi dấu trước khi báo cáo.

Câu hỏi thường gặp

Precision báo 0 kèm cảnh báo khi model không dự đoán dòng nào là dương?

Đúng: khi không có dòng nào được báo dương, mẫu số của precision bằng 0, sklearn trả 0 và hiện cảnh báo. Trang UndefinedMetricWarning nói cách đặt zero_division= và vì sao nên xem lại ngưỡng trước.

Bài nhiều lớp thì tính precision, recall thế nào?

Thêm average=: "macro" lấy trung bình đều các lớp, "weighted" lấy trung bình theo số dòng mỗi lớp, "micro" cộng mọi ô trước rồi mới chia. classification_report() in accuracy, macro avg và weighted avg; với bài nhiều lớp mỗi dòng một nhãn, trung bình micro bằng đúng accuracy, như bài classification_report.

Một model có ROC-AUC cao nhưng precision thấp, có mâu thuẫn không?

Không. ROC-AUC chấm thứ tự xếp hạng trên mọi ngưỡng, precision chấm một ngưỡng cụ thể. Khi lớp dương hiếm, ngay cả model xếp hạng tốt vẫn có nhiều dòng âm lẫn vào phần trên danh sách, nên precision ở ngưỡng đó thấp; average precision cho thấy điều đó rõ hơn ROC-AUC.

Có nên báo nhiều metric cùng lúc?

Nên báo một metric chính đã chọn trước khi làm, để quyết định, và hai ba metric phụ để người đọc hiểu đánh đổi. Chọn metric chính sau khi đã thấy điểm của nhiều metric là một cách tự lừa mình, như bài quy trình dự án machine learning nhắc.

Chủ đề

các chỉ số đánh giá mô hình

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập