AUC là gì? ROC-AUC của model phân loại đọc thế nào
Bài 10/14 · Chương 3
Đánh giá model
- 7 phút
- Cơ bản
- Python 3.14
- Cập nhật
Trong bài này · 12
Model phân loại cho mỗi khách một điểm, và AUC (viết đủ là ROC-AUC) chấm cách nó xếp hạng: lấy mọi cặp gồm một khách rời bỏ và một khách ở lại, AUC là tỉ lệ cặp mà người rời bỏ nhận điểm cao hơn. AUC 0,5 là đoán bừa, 1 là xếp đúng mọi cặp. Bài này trả lời AUC là gì bằng cách đếm cặp, rồi dùng nó để so model khi chưa cần chọn ngưỡng báo động.
Cần biết trước: confusion matrix, precision, recall, F1 và cross validation.
predict_proba(): điểm thay cho nhãn
predict() trả nhãn 0/1; predict_proba() trả mỗi khách hai cột xác suất, cột đầu cho lớp 0, cột sau cho lớp 1. predict() thực ra chỉ báo 1 khi cột sau lớn hơn 0,5. Trên bảng khách hàng Sóc Vàng (số giả lập của AIDev):
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
kh = pd.read_csv("hoi_vien.csv")
y = kh.pop("roi_bo")
X = kh.select_dtypes("number").drop(
columns=["diem_danh_gia_tb", "hoi_cach_huy_sau_moc"])
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.25, random_state=0, stratify=y)
pipe = make_pipeline(StandardScaler(), LogisticRegression())
pipe.fit(X_train, y_train)
print(pipe.predict_proba(X_test.head(5)).round(3))
print(pipe.predict(X_test.head(5)))KẾT QUẢ
[[0.737 0.263]
[0.919 0.081]
[0.649 0.351]
[0.791 0.209]
[0.863 0.137]]
[0 0 0 0 0]Năm khách đầu đều có xác suất rời bỏ dưới 0,5 nên đều bị đoán 0, dù khách thứ ba (0,351) rõ ràng đáng lo hơn khách thứ hai (0,081). Điểm giữ thông tin mà nhãn làm mất; vì sao model tuyến tính cho ra được xác suất là chuyện của bài sigmoid.
AUC bằng cách đếm cặp
Lấy mọi cặp gồm một khách rời bỏ và một khách ở lại. Cặp xếp đúng khi khách rời bỏ có điểm cao hơn; cặp hòa điểm tính nửa:
Trong đó:
n₊ (
len(duong)): số khách thuộc lớp dương, rời bỏ.n₋ (
len(am)): số khách thuộc lớp âm, ở lại.n₊ · n₋: số cặp khác lớp.
Tám khách, bốn rời bỏ có điểm 0,9; 0,8; 0,6; 0,3 và bốn ở lại có điểm 0,7; 0,55; 0,4; 0,2. Đếm: 0,9 và 0,8 hơn cả bốn khách ở lại (8 cặp), 0,6 hơn ba (3 cặp), 0,3 chỉ hơn 0,2 (1 cặp). AUC = 12 / 16 = 0,75.
from sklearn.metrics import roc_auc_score
diem = [0.9, 0.8, 0.7, 0.6, 0.55, 0.4, 0.3, 0.2]
nhan = [1, 1, 0, 1, 0, 0, 1, 0]
duong = [d for d, n in zip(diem, nhan) if n == 1]
am = [d for d, n in zip(diem, nhan) if n == 0]
dung = sum(a > b for a in duong for b in am)
print("Tay:", dung, "/", len(duong) * len(am), "=", dung / 16)
print("roc_auc_score:", roc_auc_score(nhan, diem))KẾT QUẢ
Tay: 12 / 16 = 0.75
roc_auc_score: 0.75Đổi 0.3 thành 0.75 rồi chạy lại: khách rời bỏ cuối giờ hơn cả bốn khách ở lại, dòng cuối in roc_auc_score: 0.9375. Tên ROC-AUC là vì con số này cũng bằng diện tích dưới đường cong ROC; bài đường ROC và Precision–Recall vẽ đường cong đó.
AUC 0,5 là đoán bừa
Điểm ngẫu nhiên xếp đúng khoảng một nửa số cặp, nên AUC quanh 0,5. Một lần tung có thể lệch; trung bình trên 30 lần tung thì về sát 0,5:
import numpy as np
import pandas as pd
from sklearn.metrics import roc_auc_score
kh = pd.read_csv("hoi_vien.csv")
rng = np.random.default_rng(0)
auc = [roc_auc_score(kh["roi_bo"], rng.random(len(kh)))
for _ in range(30)]
print("Một lần:", round(auc[0], 3))
print("Trung bình 30 lần:", round(np.mean(auc), 3))KẾT QUẢ
Một lần: 0.498
Trung bình 30 lần: 0.497Pipeline ở trên có AUC khoảng 0,76 trên tập test: chọn ngẫu nhiên một khách rời bỏ và một khách ở lại, model xếp đúng 76 trên 100 cặp. AUC 0,85 nghĩa là 85 trên 100 cặp. Một AUC trên 0,95 ở bài toán rời bỏ khách là dấu hiệu nên nghi rò rỉ dữ liệu trước khi mừng.
AUC không phụ thuộc ngưỡng
Hạ ngưỡng báo động từ 0,5 xuống 0,3 hay 0,2 thì recall tăng, như bài precision và recall đã nói, nhưng thứ hạng các khách giữ nguyên, nên AUC không đổi:
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import recall_score, roc_auc_score
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
kh = pd.read_csv("hoi_vien.csv")
y = kh.pop("roi_bo")
X = kh.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"]
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.25, random_state=0, stratify=y)
p = make_pipeline(StandardScaler(), LogisticRegression()).fit(
X_train, y_train).predict_proba(X_test)[:, 1]
print("AUC:", round(roc_auc_score(y_test, p), 3))
print([round(recall_score(y_test, p >= t), 3) for t in [0.5, 0.3, 0.2]])KẾT QUẢ
AUC: 0.764
[0.242, 0.537, 0.698]Dòng kh.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"] lấy đúng mười cột số như mục đầu. AUC trả lời "model xếp hạng tốt đến đâu"; ngưỡng trả lời "báo động cho bao nhiêu khách". Trong cross validation, viết scoring="roc_auc" để chấm AUC ở mỗi fold.
Kiểm tra nhanh
Model có lớp
0và1.model.predict_proba(X)[:, 1]là gì?- Nhãn dự đoán của từng dòng
- Xác suất của lớp
1cho từng dòng - Xác suất của lớp
0cho từng dòng
Sau
from sklearn.metrics import roc_auc_score,roc_auc_score([0, 0, 1, 1], [0.1, 0.4, 0.35, 0.8])cho kết quả gì?0.50.751.0
Những câu nào đúng về AUC?
- AUC 0,5 là mức của điểm ngẫu nhiên
- Đổi ngưỡng từ 0,5 sang 0,3 không làm AUC đổi
- AUC là tỉ lệ khách đoán đúng nhãn
- AUC 0,8 nghĩa là model bắt được 80% khách rời bỏ
Một model rời bỏ khách đạt AUC 0,99 ngay lần chạy đầu. Nên làm gì trước?
- Đem dùng ngay vì model đã gần hoàn hảo
- Kiểm tra xem có cột nào ghi sau thời điểm dự đoán không
- Hạ ngưỡng xuống 0,1 để tăng AUC
Bài tập
Tính AUC bằng cách đếm cặp
diem là list điểm model cho từng khách, nhan là list nhãn 0/1 cùng độ dài, có ít nhất một khách mỗi lớp. Viết thân hàm auc_dem_cap(diem, nhan) tính AUC bằng công thức của bài: đếm mọi cặp (một khách nhãn 1, một khách nhãn 0), cặp mà khách nhãn 1 có điểm cao hơn được 1, cặp hòa điểm được 0,5, rồi chia cho số cặp khác lớp. Hàm không sửa hai list của nơi gọi.
Trả về: AUC, một float.
def auc_dem_cap(diem, nhan):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
predict_proba(X)[:, 1]cho xác suất lớp dương;predict()chỉ là xác suất đó so với 0,5.AUC = (cặp xếp đúng + 0,5 · cặp hòa) / số cặp khác lớp;
roc_auc_score(y_that, diem)tính nó.AUC 0,5 là đoán bừa, 1 là xếp đúng mọi cặp; AUC 0,85 là 85 trên 100 cặp.
AUC không phụ thuộc ngưỡng; đổi ngưỡng chỉ đổi precision và recall.
Đưa điểm của lớp dương vào
roc_auc_score, không đưa nhãn 0/1 hay cột của lớp0.
Câu hỏi thường gặp
ROC là gì?
ROC là đường cong vẽ tỉ lệ bắt được khách rời bỏ theo tỉ lệ báo nhầm khách ở lại, khi ngưỡng đi từ cao xuống thấp. AUC là diện tích dưới đường đó. Bài đường ROC và Precision–Recall vẽ nó bằng RocCurveDisplay.
AUC bao nhiêu là tốt?
Tùy bài toán. Đoán khách rời bỏ từ hành vi thường ở khoảng 0,7 đến 0,85; trên 0,95 thì nghi rò rỉ trước. So AUC của model với mức 0,5 và với model đơn giản hơn, như một luật trên một cột.
Lớp dương hiếm thì AUC còn dùng được không?
Dùng được để so xếp hạng, nhưng AUC có thể trông cao trong khi precision ở mọi ngưỡng hợp lý vẫn thấp, vì có quá nhiều khách âm. Khi lớp dương rất hiếm, xem thêm precision và recall như bài precision, recall, F1.
Chấm AUC trong cross validation thế nào?
Truyền scoring="roc_auc" vào cross_val_score() hay cross_validate(). scikit-learn tự gọi predict_proba() và lấy cột lớp dương ở mỗi fold, như bài cross validation làm.
Chủ đề
Dữ liệu của bài
- Tải xuống
hoi_vien.csv
CSV · 207.25 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.