Các chỉ số đánh giá mô hình: chọn metric nào khi nào
Bài 2/9 · Chương 14
Trang phụ trợ
- 8 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 11
Các chỉ số đánh giá mô hình trả lời bốn câu hỏi khác nhau: model đoán số lệch bao nhiêu, quyết định ở một ngưỡng đúng sai thế nào, model xếp hạng các dòng tốt tới đâu, và xác suất nó trả có đáng tin không. Trang này gom mười hai metric của sklearn.metrics vào một bảng theo bốn câu hỏi đó, chạy chúng trên một ví dụ chung, kèm tên dùng trong scoring= và bài dạy kỹ từng metric.
Cần biết trước: đường ROC và PR.
Bảng tra nhanh: metric theo câu hỏi
Ví dụ chung của mọi hàng. Hồi quy: thời gian giao thật y_so = [12, 15, 20, 30] phút, dự đoán du_doan = [14, 15, 17, 34]. Phân loại: tám hội viên y = [1, 1, 1, 0, 0, 0, 0, 0] (1 là rời bỏ), xác suất model trả p = [0.9, 0.7, 0.4, 0.8, 0.58, 0.2, 0.1, 0.05], nhãn dự đoán lấy ở ngưỡng 0,5. Cột scoring= là tên dùng trong cross_val_score(); metric sai số mang tiền tố neg_ vì sklearn luôn chọn số lớn hơn.
Câu hỏi | Metric | Hàm |
| Kết quả | Bài |
|---|---|---|---|---|---|
Đoán số lệch bao nhiêu | MAE |
|
| 2.25 | |
RMSE |
|
| 2.693 | như hàng trên | |
R² |
|
| 0.845 | như hàng trên | |
MAPE |
|
| 0.112 | như hàng trên | |
Quyết định ở một ngưỡng | accuracy |
|
| 0.625 | |
precision |
|
| 0.5 | ||
recall |
|
| 0.667 | như hàng trên | |
F1 |
|
| 0.571 | như hàng trên | |
Xếp hạng tốt tới đâu | ROC-AUC |
|
| 0.8 | |
PR-AUC |
|
| 0.756 | ||
Xác suất đáng tin không | Brier |
|
| 0.186 | |
log loss |
|
| 0.529 |
Chạy khối dưới để in đúng cột kết quả:
from sklearn import metrics as mt
y_so, du_doan = [12, 15, 20, 30], [14, 15, 17, 34]
y = [1, 1, 1, 0, 0, 0, 0, 0]
p = [0.9, 0.7, 0.4, 0.8, 0.58, 0.2, 0.1, 0.05]
nhan = [int(x >= 0.5) for x in p]
hoi_quy = ["mean_absolute_error", "root_mean_squared_error",
"r2_score", "mean_absolute_percentage_error"]
theo_nguong = ["accuracy_score", "precision_score",
"recall_score", "f1_score"]
theo_xac_suat = ["roc_auc_score", "average_precision_score",
"brier_score_loss", "log_loss"]
for ds, a, b in [(hoi_quy, y_so, du_doan), (theo_nguong, y, nhan),
(theo_xac_suat, y, p)]:
for ten in ds:
print(ten, round(getattr(mt, ten)(a, b), 3))KẾT QUẢ
mean_absolute_error 2.25
root_mean_squared_error 2.693
r2_score 0.845
mean_absolute_percentage_error 0.112
accuracy_score 0.625
precision_score 0.5
recall_score 0.667
f1_score 0.571
roc_auc_score 0.8
average_precision_score 0.756
brier_score_loss 0.186
log_loss 0.529Đổi x >= 0.5 thành x >= 0.3 rồi chạy lại: dòng recall in recall_score 1.0. Bốn metric của nhóm ngưỡng đổi hết, còn bốn dòng cuối giữ nguyên, vì chúng đọc thẳng xác suất chứ không đọc nhãn. Đó là cách tra nhanh nhất một metric thuộc nhóm nào. Bài mẹ của trang này, bài đường ROC và PR, vẽ cả dải ngưỡng thành hai đường cong.
Chọn metric theo câu hỏi
Hồi quy. MAE là số phút lệch trung bình, dễ kể với người không học kỹ thuật. RMSE phạt nặng các lần lệch xa: ở ví dụ, đơn lệch 4 phút đẩy RMSE lên 2,69 dù MAE chỉ 2,25. R² so model với việc luôn đoán trung bình của bảng được chấm, không có đơn vị. MAPE tính lệch theo phần trăm, hợp khi label trải nhiều cỡ, và vô nghĩa khi label có số 0.
Phân loại ở một ngưỡng. Dùng khi đã có một quyết định cụ thể, như gọi điện giữ chân mọi hội viên có xác suất từ 0,5. Precision là phần trúng trong số đã gọi, recall là phần bắt được trong số sẽ rời bỏ. Accuracy chỉ dùng khi hai lớp gần cân bằng và hai loại sai tốn như nhau.
Xếp hạng. Dùng để so model trước khi chọn ngưỡng. ROC-AUC là xác suất một hội viên rời bỏ chọn ngẫu nhiên được chấm cao hơn một hội viên ở lại chọn ngẫu nhiên; PR-AUC (average precision) tập trung vào lớp dương nên nhạy hơn khi lớp dương hiếm, với mốc đoán bừa bằng tỉ lệ lớp dương thay cho 0,5.
Xác suất. Dùng khi con số xác suất đi vào một phép tính, như nhân với giá trị hội viên để ra tiền dự kiến mất. Brier là bình phương sai lệch trung bình giữa xác suất và nhãn; log loss phạt rất nặng xác suất tự tin mà sai.
Average precision tính trên các mốc xếp hạng:
Trong đó:
k: các vị trí trong danh sách xếp theo xác suất giảm dần.
P_k: precision khi báo dương k dòng đầu.
R_k: recall khi báo dương k dòng đầu; R_k − R_{k−1} khác 0 chỉ tại dòng dương thật.
Ở ví dụ, ba hội viên rời bỏ đứng hạng 1, 3 và 5, nên AP = (1/1 + 2/3 + 3/5) / 3 = 0,756.
Metric trong cross-validation
cross_val_score() và GridSearchCV nhận metric qua tên chuỗi scoring=. Danh sách đủ có trong get_scorer_names():
from sklearn.metrics import get_scorer_names
ten = get_scorer_names()
print([t for t in ten if "squared_error" in t])
print([t for t in ten if t.startswith(("roc", "average"))])KẾT QUẢ
['neg_mean_squared_error', 'neg_root_mean_squared_error']
['average_precision', 'roc_auc', 'roc_auc_ovo', 'roc_auc_ovo_weighted', 'roc_auc_ovr', 'roc_auc_ovr_weighted']Kết quả của một scorer neg_ là số âm: -2.69 nghĩa là RMSE 2,69, nên đổi dấu trước khi báo cáo. Các tên roc_auc_ovr và roc_auc_ovo dùng cho bài nhiều lớp. Bài cross-validation chạy scoring= trên một model thật.
Kiểm tra nhanh
Dời ngưỡng từ 0,5 xuống 0,3 trên cùng model, metric nào giữ nguyên?
precision_scorerecall_scoreaccuracy_scoreroc_auc_score
Bảng có 2% hồ sơ vỡ nợ. Bạn muốn so hai model theo khả năng đưa hồ sơ vỡ nợ lên đầu danh sách. Nên dùng metric nào?
accuracy_scoreaverage_precision_scorer2_scoremean_absolute_error
cross_val_score(..., scoring="neg_root_mean_squared_error")trả trung bình -4.2. RMSE của model là bao nhiêu?- 4,2
- -4,2
- 17,64
- Không biết được nếu không chạy lại
Bài tập
Chấm recall, precision và average precision
Bạn cần một hàm chấm nhanh cho danh sách gọi điện giữ chân. y_that là list nhãn 0/1 (có ít nhất một số 1 và một số 0), xac_suat là list xác suất cùng độ dài, các giá trị khác nhau, và nguong là số thực sao cho có ít nhất một xác suất từ nguong trở lên. Viết thân hàm cham_ba_metric(y_that, xac_suat, nguong): dự đoán 1 khi xác suất lớn hơn hoặc bằng nguong, rồi trả recall và precision của dự đoán đó, cùng average precision tính trên chính xac_suat.
Hàm không sửa hai list của nơi gọi.
Trả về: bộ ba số, một tuple theo thứ tự recall, precision, average precision.
Ví dụ cham_ba_metric([1, 1, 1, 0, 0, 0, 0, 0], [0.9, 0.7, 0.4, 0.8, 0.58, 0.2, 0.1, 0.05], 0.5) cho xấp xỉ (0.667, 0.5, 0.756); trả số đủ chữ số, không làm tròn.
from sklearn.metrics import (average_precision_score,
precision_score, recall_score)
def cham_ba_metric(y_that, xac_suat, nguong):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Chọn metric theo câu hỏi: sai số cho hồi quy, nhóm ngưỡng cho một quyết định cụ thể, nhóm xếp hạng để so model, Brier và log loss khi xác suất được dùng như một con số.
Bốn metric xếp hạng và xác suất nhận xác suất của lớp dương, không nhận nhãn 0/1.
Lớp dương hiếm: báo precision, recall và average precision; accuracy dễ đánh lừa.
Trong
scoring=, metric sai số mang tiền tốneg_; đổi dấu trước khi báo cáo.
Câu hỏi thường gặp
Precision báo 0 kèm cảnh báo khi model không dự đoán dòng nào là dương?
Đúng: khi không có dòng nào được báo dương, mẫu số của precision bằng 0, sklearn trả 0 và hiện cảnh báo. Trang UndefinedMetricWarning nói cách đặt zero_division= và vì sao nên xem lại ngưỡng trước.
Bài nhiều lớp thì tính precision, recall thế nào?
Thêm average=: "macro" lấy trung bình đều các lớp, "weighted" lấy trung bình theo số dòng mỗi lớp, "micro" cộng mọi ô trước rồi mới chia. classification_report() in accuracy, macro avg và weighted avg; với bài nhiều lớp mỗi dòng một nhãn, trung bình micro bằng đúng accuracy, như bài classification_report.
Một model có ROC-AUC cao nhưng precision thấp, có mâu thuẫn không?
Không. ROC-AUC chấm thứ tự xếp hạng trên mọi ngưỡng, precision chấm một ngưỡng cụ thể. Khi lớp dương hiếm, ngay cả model xếp hạng tốt vẫn có nhiều dòng âm lẫn vào phần trên danh sách, nên precision ở ngưỡng đó thấp; average precision cho thấy điều đó rõ hơn ROC-AUC.
Có nên báo nhiều metric cùng lúc?
Nên báo một metric chính đã chọn trước khi làm, để quyết định, và hai ba metric phụ để người đọc hiểu đánh đổi. Chọn metric chính sau khi đã thấy điểm của nhiều metric là một cách tự lừa mình, như bài quy trình dự án machine learning nhắc.
Chủ đề
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.