Bỏ qua đến nội dung chính
Mục lục

Classification report và ConfusionMatrixDisplay

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 3/11 · Chương 5

Phân loại: logistic regression, KNN, SVM, Naive Bayes

  • 9 phút
  • Cơ bản
  • Python 3.14
  • Cập nhật

Classification report là bảng của scikit-learn gom precision, recall, f1-score và support của từng lớp, kèm accuracy, macro avg và weighted avg, chỉ bằng một lệnh classification_report(y_that, y_doan). Bài này đọc bảng đó trên nhãn rời bỏ của hội viên Sóc Vàng, chỉ ra dòng nào dễ đánh lừa, rồi vẽ ma trận nhầm lẫn bằng ConfusionMatrixDisplay.

Cần biết trước: precision, recall và F1, ma trận nhầm lẫn và logistic regression.

Một lệnh, một bảng cho mọi lớp

Mười khách, ba người bỏ gói thật. Model đoán đúng hai trong ba người đó và báo nhầm một người ở lại:

python
from sklearn.metrics import classification_report
that = [1, 1, 1, 0, 0, 0, 0, 0, 0, 0]
doan = [1, 1, 0, 1, 0, 0, 0, 0, 0, 0]
print(classification_report(that, doan))

KẾT QUẢ

              precision    recall  f1-score   support

           0       0.86      0.86      0.86         7
           1       0.67      0.67      0.67         3

    accuracy                           0.80        10
   macro avg       0.76      0.76      0.76        10
weighted avg       0.80      0.80      0.80        10

Mỗi hàng trên là một lớp, coi lớp đó là lớp dương. Hàng 1: model báo ba người bỏ gói, đúng hai, nên precision 0,67; trong ba người bỏ gói thật, bắt được hai, nên recall 0,67. Cột support đếm số dòng có nhãn thật thuộc lớp đó; số lần model đoán lớp đó không ảnh hưởng tới cột này. Ba hàng cuối gộp các lớp lại theo ba cách khác nhau.

Macro avg và weighted avg tính thế nào

Hai dòng gộp khác nhau ở trọng số của từng lớp:

macro=1K∑k=1KF1k,weighted=∑k=1Knk F1k∑k=1Knk\text{macro} = \frac{1}{K}\sum_{k=1}^{K} F1_k, \qquad \text{weighted} = \frac{\sum_{k=1}^{K} n_k \, F1_k}{\sum_{k=1}^{K} n_k}

Trong đó:

  • KK là số lớp, ở đây là 2;

  • F1kF1_k là f1-score của lớp kk, cột thứ ba của bảng;

  • nkn_k là support của lớp kk, số dòng có nhãn thật thuộc lớp đó.

Tính tay với bảng trên: F1 của lớp 0 là 6/7, của lớp 1 là 2/3, support là 7 và 3.

python
f1 = {0: 6 / 7, 1: 2 / 3}
ho_tro = {0: 7, 1: 3}
macro = (f1[0] + f1[1]) / 2
weighted = (ho_tro[0] * f1[0] + ho_tro[1] * f1[1]) / 10
print(round(macro, 3), round(weighted, 3))

KẾT QUẢ

0.762 0.8

Macro avg cho mỗi lớp một phiếu như nhau. Weighted avg cho lớp đông người nhiều phiếu hơn, nên luôn nghiêng về lớp đông. Cột recall của dòng weighted avg còn luôn bằng accuracy, vì cộng recall theo trọng số support chính là đếm số dòng đoán đúng. Đổi ho_tro = {0: 7, 1: 3} thành ho_tro = {0: 9, 1: 1} rồi chạy lại: dòng kết quả in 0.762 0.838, macro đứng yên còn weighted tăng.

Vì sao weighted avg dễ đánh lừa

Thử một "model" lười: báo mọi hội viên đều ở lại. Bảng có 19,8% người bỏ gói, nên lớp 1 không được bắt một ai:

python
import pandas as pd
from sklearn.metrics import classification_report
hv = pd.read_csv("hoi_vien.csv")
luoi = [0] * len(hv)
bao_cao = classification_report(hv["roi_bo"], luoi, zero_division=0,
                                output_dict=True)
for dong in ["0", "1", "macro avg", "weighted avg"]:
    print(dong, round(bao_cao[dong]["f1-score"], 3))
print("accuracy", round(bao_cao["accuracy"], 3))

KẾT QUẢ

0 0.89
1 0.0
macro avg 0.445
weighted avg 0.713
accuracy 0.802

Model này vô dụng với bài toán giữ chân: nó không tìm ra người bỏ gói nào. Weighted avg vẫn báo 0,713 vì 80% trọng số rơi vào lớp 0. Macro avg rơi xuống 0,445 và hàng 1 báo 0,0, đúng với thực tế. Khi lớp cần bắt là lớp nhỏ, hãy đọc hàng của lớp đó trước, rồi tới macro avg. output_dict=True trả bảng dưới dạng dict lồng nhau để lấy số bằng code; zero_division=0 bảo scikit-learn ghi 0 cho precision của lớp không được đoán lần nào, thay cho cảnh báo.

Báo cáo của một model logistic

Model logistic trên hai cột, số ngày từ lần mua cuối và số lần khiếu nại, chấm trên 750 khách test. Chia ngẫu nhiên như vậy chỉ hợp lệ vì mỗi dòng là một hội viên riêng; bảng có nhiều dòng của cùng một người hay theo thời gian thì xem rò rỉ dữ liệu. target_names= đặt tên cho từng hàng theo thứ tự nhãn 0, 1:

python
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import classification_report
from sklearn.model_selection import train_test_split
hv = pd.read_csv("hoi_vien.csv")
cot = ["so_ngay_tu_lan_mua_cuoi", "so_lan_khieu_nai"]
X_tr, X_te, y_tr, y_te = train_test_split(
    hv[cot], hv["roi_bo"], random_state=0, stratify=hv["roi_bo"])
model = LogisticRegression().fit(X_tr, y_tr)
ten = ["Ở lại", "Bỏ gói"]
bao_cao = classification_report(y_te, model.predict(X_te),
                                target_names=ten)
print(bao_cao)

KẾT QUẢ

              precision    recall  f1-score   support

       Ở lại       0.82      0.96      0.89       601
      Bỏ gói       0.50      0.16      0.24       149

    accuracy                           0.80       750
   macro avg       0.66      0.56      0.56       750
weighted avg       0.76      0.80      0.76       750

Accuracy 0,80 gần bằng model lười ở trên. Hàng Bỏ gói nói điều accuracy giấu đi: model chỉ bắt được 16% người bỏ gói. F1 của hàng này là 0,24, còn weighted avg vẫn đẹp ở 0,76.

Vẽ ma trận bằng ConfusionMatrixDisplay

Bảng số của báo cáo đến từ bốn ô của ma trận nhầm lẫn. ConfusionMatrixDisplay.from_estimator() nhận model đã fit cùng X và y test, tự gọi predict() rồi vẽ:

python
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import ConfusionMatrixDisplay
from sklearn.model_selection import train_test_split
hv = pd.read_csv("hoi_vien.csv")
cot = ["so_ngay_tu_lan_mua_cuoi", "so_lan_khieu_nai"]
X_tr, X_te, y_tr, y_te = train_test_split(
    hv[cot], hv["roi_bo"], random_state=0, stratify=hv["roi_bo"])
model = LogisticRegression().fit(X_tr, y_tr)
ConfusionMatrixDisplay.from_estimator(model, X_te, y_te,
    display_labels=["Ở lại", "Bỏ gói"], cmap="Blues")
plt.title("Ngưỡng 0,5 trên 750 khách test")
plt.show()
Ma trận nhầm lẫn 2×2 tô màu xanh; hàng là nhãn thật, cột là nhãn đoán; ô Ở lại–Ở lại 577, Ở lại–Bỏ gói 24, Bỏ gói–Ở lại 125, Bỏ gói–Bỏ gói 24.

Hàng là nhãn thật (True label), cột là nhãn đoán (Predicted label). Hàng Bỏ gói có 125 người bị cho là ở lại và chỉ 24 người được bắt: 24 / 149 là recall 0,16 của báo cáo.

Khi đã có nhãn đoán sẵn, ví dụ sau khi tự đặt ngưỡng, dùng from_predictions() với nhãn thật và nhãn đoán. normalize="true" chia mỗi hàng cho số khách thật của hàng đó, nên đường chéo là recall của từng lớp. Ngưỡng 0,3 dưới đây chỉ để minh họa API:

python
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import ConfusionMatrixDisplay
from sklearn.model_selection import train_test_split
hv = pd.read_csv("hoi_vien.csv")
cot = ["so_ngay_tu_lan_mua_cuoi", "so_lan_khieu_nai"]
X_tr, X_te, y_tr, y_te = train_test_split(
    hv[cot], hv["roi_bo"], random_state=0, stratify=hv["roi_bo"])
p = LogisticRegression().fit(X_tr, y_tr).predict_proba(X_te)[:, 1]
ConfusionMatrixDisplay.from_predictions(y_te, (p > 0.3).astype(int),
    display_labels=["Ở lại", "Bỏ gói"], normalize="true",
    cmap="Blues")
plt.title("Ngưỡng 0,3, mỗi hàng chia cho số khách thật")
plt.show()
Ma trận nhầm lẫn chuẩn hóa theo hàng, màu xanh; hàng Ở lại: 0,88 đoán đúng và 0,12 bị báo bỏ gói; hàng Bỏ gói: 0,57 bị cho là ở lại và 0,43 được bắt.

Ở ngưỡng 0,3, recall của lớp bỏ gói lên 0,43, đổi lại 12% người ở lại bị báo nhầm. Chọn ngưỡng nào là việc của dữ liệu kiểm, không làm trên tập test. Các lỗi hay gặp khi vẽ, như nhãn chồng nhau hay thiếu lớp, nằm ở bài vẽ confusion matrix.

Kiểm tra nhanh

  1. Sau from sklearn.metrics import classification_report as cr, cr([1, 0, 0, 0], [1, 1, 0, 0], output_dict=True)["1"]["precision"] cho kết quả gì?

    • 0.5
    • 1.0
    • 0.75
  2. Báo cáo của một model có hàng lớp nhỏ f1 0,1, hàng lớp lớn f1 0,9, support 100 và 900. Dòng nào gần 0,82 hơn?

    • Macro avg
    • Weighted avg
    • Cả hai đều bằng 0,5
  3. Những câu nào đúng về ConfusionMatrixDisplay?

    • from_estimator() nhận model đã fit cùng X và y, tự gọi predict()
    • from_predictions() nhận nhãn thật và nhãn đoán có sẵn
    • normalize="true" chia mỗi cột cho số lần model đoán lớp đó
    • from_estimator() fit lại model trên X được đưa vào
  4. Cột support trong classification report đếm gì?

    • Số lần model đoán lớp đó
    • Số dòng có nhãn thật thuộc lớp đó
    • Số dòng đoán đúng của lớp đó
Đúng hết lần đầu +15 XP

Bài tập

Weighted avg đẹp hơn macro avg bao nhiêu

Viết thân hàm chenh_f1(y_that, y_doan) dùng classification_report() để tính f1-score của dòng weighted avg trừ f1-score của dòng macro avg. y_that và y_doan là hai list cùng độ dài; nhãn có thể là số hay chuỗi, hai lớp trở lên. Lớp không được đoán lần nào tính precision bằng 0. Không dùng f1_score(). Hàm không sửa hai list của nơi gọi.

Trả về: mức chênh, một float, không làm tròn; số dương lớn nghĩa là weighted avg đang che một lớp nhỏ.

Ví dụ: mười khách ở mục đầu bài, chenh_f1([1, 1, 1, 0, 0, 0, 0, 0, 0, 0], [1, 1, 0, 1, 0, 0, 0, 0, 0, 0]), cho khoảng 0.038.

python
from sklearn.metrics import classification_report

def chenh_f1(y_that, y_doan):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • classification_report(y_that, y_doan) in precision, recall, f1 và support cho từng lớp; nhãn thật luôn đứng trước.

  • Support đếm nhãn thật của lớp, không đếm số lần model đoán.

  • Macro avg chia đều cho các lớp; weighted avg nhân theo support nên nghiêng về lớp đông.

  • Khi lớp cần bắt là lớp nhỏ, đọc hàng của lớp đó và macro avg; weighted avg có thể đẹp cả khi lớp nhỏ bị bỏ sót hết.

  • ConfusionMatrixDisplay.from_estimator() vẽ từ model và dữ liệu, from_predictions() vẽ từ nhãn có sẵn; normalize="true" cho recall trên đường chéo.

Câu hỏi thường gặp

Có in được ba chữ số thập phân trong classification report không?

Được: truyền digits=3. Muốn lấy số để tính tiếp thì dùng output_dict=True, khi đó số không bị làm tròn.

Vì sao báo cáo hiện cảnh báo UndefinedMetricWarning?

Một lớp không được model đoán lần nào, nên precision của lớp đó có mẫu số bằng 0. scikit-learn ghi 0 và in cảnh báo; truyền zero_division=0 để ghi 0 mà không cảnh báo. Đó thường là dấu hiệu model đang bỏ quên một lớp, như model lười ở trên.

Nhãn ba lớp trở lên thì đọc báo cáo thế nào?

Mỗi lớp một hàng, mỗi hàng coi lớp đó là dương còn mọi lớp khác là âm. Macro avg và weighted avg vẫn tính theo hai công thức ở trên, với K bằng số lớp.

Nên đọc dòng nào khi so hai model?

Đọc hàng của lớp quan trọng với bài toán, ở đây là lớp bỏ gói, rồi macro avg. Bảng này dựa trên một ngưỡng cố định; muốn so khả năng xếp hạng không phụ thuộc ngưỡng thì dùng ROC-AUC.

Chủ đề

classification report

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập