Classification report và ConfusionMatrixDisplay
Bài 3/11 · Chương 5
Phân loại: logistic regression, KNN, SVM, Naive Bayes
- 9 phút
- Cơ bản
- Python 3.14
- Cập nhật
Trong bài này · 13
Classification report là bảng của scikit-learn gom precision, recall, f1-score và support của từng lớp, kèm accuracy, macro avg và weighted avg, chỉ bằng một lệnh classification_report(y_that, y_doan). Bài này đọc bảng đó trên nhãn rời bỏ của hội viên Sóc Vàng, chỉ ra dòng nào dễ đánh lừa, rồi vẽ ma trận nhầm lẫn bằng ConfusionMatrixDisplay.
Cần biết trước: precision, recall và F1, ma trận nhầm lẫn và logistic regression.
Một lệnh, một bảng cho mọi lớp
Mười khách, ba người bỏ gói thật. Model đoán đúng hai trong ba người đó và báo nhầm một người ở lại:
from sklearn.metrics import classification_report
that = [1, 1, 1, 0, 0, 0, 0, 0, 0, 0]
doan = [1, 1, 0, 1, 0, 0, 0, 0, 0, 0]
print(classification_report(that, doan))KẾT QUẢ
precision recall f1-score support
0 0.86 0.86 0.86 7
1 0.67 0.67 0.67 3
accuracy 0.80 10
macro avg 0.76 0.76 0.76 10
weighted avg 0.80 0.80 0.80 10Mỗi hàng trên là một lớp, coi lớp đó là lớp dương. Hàng 1: model báo ba người bỏ gói, đúng hai, nên precision 0,67; trong ba người bỏ gói thật, bắt được hai, nên recall 0,67. Cột support đếm số dòng có nhãn thật thuộc lớp đó; số lần model đoán lớp đó không ảnh hưởng tới cột này. Ba hàng cuối gộp các lớp lại theo ba cách khác nhau.
Macro avg và weighted avg tính thế nào
Hai dòng gộp khác nhau ở trọng số của từng lớp:
Trong đó:
là số lớp, ở đây là 2;
là f1-score của lớp , cột thứ ba của bảng;
là support của lớp , số dòng có nhãn thật thuộc lớp đó.
Tính tay với bảng trên: F1 của lớp 0 là 6/7, của lớp 1 là 2/3, support là 7 và 3.
f1 = {0: 6 / 7, 1: 2 / 3}
ho_tro = {0: 7, 1: 3}
macro = (f1[0] + f1[1]) / 2
weighted = (ho_tro[0] * f1[0] + ho_tro[1] * f1[1]) / 10
print(round(macro, 3), round(weighted, 3))KẾT QUẢ
0.762 0.8Macro avg cho mỗi lớp một phiếu như nhau. Weighted avg cho lớp đông người nhiều phiếu hơn, nên luôn nghiêng về lớp đông. Cột recall của dòng weighted avg còn luôn bằng accuracy, vì cộng recall theo trọng số support chính là đếm số dòng đoán đúng. Đổi ho_tro = {0: 7, 1: 3} thành ho_tro = {0: 9, 1: 1} rồi chạy lại: dòng kết quả in 0.762 0.838, macro đứng yên còn weighted tăng.
Vì sao weighted avg dễ đánh lừa
Thử một "model" lười: báo mọi hội viên đều ở lại. Bảng có 19,8% người bỏ gói, nên lớp 1 không được bắt một ai:
import pandas as pd
from sklearn.metrics import classification_report
hv = pd.read_csv("hoi_vien.csv")
luoi = [0] * len(hv)
bao_cao = classification_report(hv["roi_bo"], luoi, zero_division=0,
output_dict=True)
for dong in ["0", "1", "macro avg", "weighted avg"]:
print(dong, round(bao_cao[dong]["f1-score"], 3))
print("accuracy", round(bao_cao["accuracy"], 3))KẾT QUẢ
0 0.89
1 0.0
macro avg 0.445
weighted avg 0.713
accuracy 0.802Model này vô dụng với bài toán giữ chân: nó không tìm ra người bỏ gói nào. Weighted avg vẫn báo 0,713 vì 80% trọng số rơi vào lớp 0. Macro avg rơi xuống 0,445 và hàng 1 báo 0,0, đúng với thực tế. Khi lớp cần bắt là lớp nhỏ, hãy đọc hàng của lớp đó trước, rồi tới macro avg. output_dict=True trả bảng dưới dạng dict lồng nhau để lấy số bằng code; zero_division=0 bảo scikit-learn ghi 0 cho precision của lớp không được đoán lần nào, thay cho cảnh báo.
Báo cáo của một model logistic
Model logistic trên hai cột, số ngày từ lần mua cuối và số lần khiếu nại, chấm trên 750 khách test. Chia ngẫu nhiên như vậy chỉ hợp lệ vì mỗi dòng là một hội viên riêng; bảng có nhiều dòng của cùng một người hay theo thời gian thì xem rò rỉ dữ liệu. target_names= đặt tên cho từng hàng theo thứ tự nhãn 0, 1:
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import classification_report
from sklearn.model_selection import train_test_split
hv = pd.read_csv("hoi_vien.csv")
cot = ["so_ngay_tu_lan_mua_cuoi", "so_lan_khieu_nai"]
X_tr, X_te, y_tr, y_te = train_test_split(
hv[cot], hv["roi_bo"], random_state=0, stratify=hv["roi_bo"])
model = LogisticRegression().fit(X_tr, y_tr)
ten = ["Ở lại", "Bỏ gói"]
bao_cao = classification_report(y_te, model.predict(X_te),
target_names=ten)
print(bao_cao)KẾT QUẢ
precision recall f1-score support
Ở lại 0.82 0.96 0.89 601
Bỏ gói 0.50 0.16 0.24 149
accuracy 0.80 750
macro avg 0.66 0.56 0.56 750
weighted avg 0.76 0.80 0.76 750Accuracy 0,80 gần bằng model lười ở trên. Hàng Bỏ gói nói điều accuracy giấu đi: model chỉ bắt được 16% người bỏ gói. F1 của hàng này là 0,24, còn weighted avg vẫn đẹp ở 0,76.
Vẽ ma trận bằng ConfusionMatrixDisplay
Bảng số của báo cáo đến từ bốn ô của ma trận nhầm lẫn. ConfusionMatrixDisplay.from_estimator() nhận model đã fit cùng X và y test, tự gọi predict() rồi vẽ:
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import ConfusionMatrixDisplay
from sklearn.model_selection import train_test_split
hv = pd.read_csv("hoi_vien.csv")
cot = ["so_ngay_tu_lan_mua_cuoi", "so_lan_khieu_nai"]
X_tr, X_te, y_tr, y_te = train_test_split(
hv[cot], hv["roi_bo"], random_state=0, stratify=hv["roi_bo"])
model = LogisticRegression().fit(X_tr, y_tr)
ConfusionMatrixDisplay.from_estimator(model, X_te, y_te,
display_labels=["Ở lại", "Bỏ gói"], cmap="Blues")
plt.title("Ngưỡng 0,5 trên 750 khách test")
plt.show()Hàng là nhãn thật (True label), cột là nhãn đoán (Predicted label). Hàng Bỏ gói có 125 người bị cho là ở lại và chỉ 24 người được bắt: 24 / 149 là recall 0,16 của báo cáo.
Khi đã có nhãn đoán sẵn, ví dụ sau khi tự đặt ngưỡng, dùng from_predictions() với nhãn thật và nhãn đoán. normalize="true" chia mỗi hàng cho số khách thật của hàng đó, nên đường chéo là recall của từng lớp. Ngưỡng 0,3 dưới đây chỉ để minh họa API:
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import ConfusionMatrixDisplay
from sklearn.model_selection import train_test_split
hv = pd.read_csv("hoi_vien.csv")
cot = ["so_ngay_tu_lan_mua_cuoi", "so_lan_khieu_nai"]
X_tr, X_te, y_tr, y_te = train_test_split(
hv[cot], hv["roi_bo"], random_state=0, stratify=hv["roi_bo"])
p = LogisticRegression().fit(X_tr, y_tr).predict_proba(X_te)[:, 1]
ConfusionMatrixDisplay.from_predictions(y_te, (p > 0.3).astype(int),
display_labels=["Ở lại", "Bỏ gói"], normalize="true",
cmap="Blues")
plt.title("Ngưỡng 0,3, mỗi hàng chia cho số khách thật")
plt.show()Ở ngưỡng 0,3, recall của lớp bỏ gói lên 0,43, đổi lại 12% người ở lại bị báo nhầm. Chọn ngưỡng nào là việc của dữ liệu kiểm, không làm trên tập test. Các lỗi hay gặp khi vẽ, như nhãn chồng nhau hay thiếu lớp, nằm ở bài vẽ confusion matrix.
Kiểm tra nhanh
Sau
from sklearn.metrics import classification_report as cr,cr([1, 0, 0, 0], [1, 1, 0, 0], output_dict=True)["1"]["precision"]cho kết quả gì?0.51.00.75
Báo cáo của một model có hàng lớp nhỏ f1 0,1, hàng lớp lớn f1 0,9, support 100 và 900. Dòng nào gần 0,82 hơn?
- Macro avg
- Weighted avg
- Cả hai đều bằng 0,5
Những câu nào đúng về
ConfusionMatrixDisplay?from_estimator()nhận model đã fit cùngXvày, tự gọipredict()from_predictions()nhận nhãn thật và nhãn đoán có sẵnnormalize="true"chia mỗi cột cho số lần model đoán lớp đófrom_estimator()fit lại model trênXđược đưa vào
Cột
supporttrong classification report đếm gì?- Số lần model đoán lớp đó
- Số dòng có nhãn thật thuộc lớp đó
- Số dòng đoán đúng của lớp đó
Bài tập
Weighted avg đẹp hơn macro avg bao nhiêu
Viết thân hàm chenh_f1(y_that, y_doan) dùng classification_report() để tính f1-score của dòng weighted avg trừ f1-score của dòng macro avg. y_that và y_doan là hai list cùng độ dài; nhãn có thể là số hay chuỗi, hai lớp trở lên. Lớp không được đoán lần nào tính precision bằng 0. Không dùng f1_score(). Hàm không sửa hai list của nơi gọi.
Trả về: mức chênh, một float, không làm tròn; số dương lớn nghĩa là weighted avg đang che một lớp nhỏ.
Ví dụ: mười khách ở mục đầu bài, chenh_f1([1, 1, 1, 0, 0, 0, 0, 0, 0, 0], [1, 1, 0, 1, 0, 0, 0, 0, 0, 0]), cho khoảng 0.038.
from sklearn.metrics import classification_report
def chenh_f1(y_that, y_doan):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
classification_report(y_that, y_doan)in precision, recall, f1 và support cho từng lớp; nhãn thật luôn đứng trước.Support đếm nhãn thật của lớp, không đếm số lần model đoán.
Macro avg chia đều cho các lớp; weighted avg nhân theo support nên nghiêng về lớp đông.
Khi lớp cần bắt là lớp nhỏ, đọc hàng của lớp đó và macro avg; weighted avg có thể đẹp cả khi lớp nhỏ bị bỏ sót hết.
ConfusionMatrixDisplay.from_estimator()vẽ từ model và dữ liệu,from_predictions()vẽ từ nhãn có sẵn;normalize="true"cho recall trên đường chéo.
Câu hỏi thường gặp
Có in được ba chữ số thập phân trong classification report không?
Được: truyền digits=3. Muốn lấy số để tính tiếp thì dùng output_dict=True, khi đó số không bị làm tròn.
Vì sao báo cáo hiện cảnh báo UndefinedMetricWarning?
Một lớp không được model đoán lần nào, nên precision của lớp đó có mẫu số bằng 0. scikit-learn ghi 0 và in cảnh báo; truyền zero_division=0 để ghi 0 mà không cảnh báo. Đó thường là dấu hiệu model đang bỏ quên một lớp, như model lười ở trên.
Nhãn ba lớp trở lên thì đọc báo cáo thế nào?
Mỗi lớp một hàng, mỗi hàng coi lớp đó là dương còn mọi lớp khác là âm. Macro avg và weighted avg vẫn tính theo hai công thức ở trên, với K bằng số lớp.
Nên đọc dòng nào khi so hai model?
Đọc hàng của lớp quan trọng với bài toán, ở đây là lớp bỏ gói, rồi macro avg. Bảng này dựa trên một ngưỡng cố định; muốn so khả năng xếp hạng không phụ thuộc ngưỡng thì dùng ROC-AUC.
Chủ đề
Dữ liệu của bài
- Tải xuống
hoi_vien.csv
CSV · 207.25 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.