Confusion matrix (ma trận nhầm lẫn) và accuracy
Bài 8/14 · Chương 3
Đánh giá model
- 7 phút
- Cơ bản
- Python 3.14
- Cập nhật
Trong bài này · 12
Confusion matrix (ma trận nhầm lẫn) là bảng 2×2 đếm bốn kiểu kết quả của một model phân loại: đoán đúng khách rời bỏ, báo nhầm, bỏ sót và đoán đúng khách ở lại. Accuracy chỉ là tỉ lệ đoán đúng gộp lại, nên khi một lớp chiếm đa số, accuracy 80% vẫn có thể đến từ một model không bắt được ai. Bạn đọc ma trận để biết model sai kiểu nào.
Cần biết trước: baseline, fit, predict, score và crosstab.
Accuracy: tỉ lệ đoán đúng
Tám khách, nhãn thật 1 là rời bỏ gói, 0 là ở lại. Model đoán đúng 6 trên 8 khách:
from sklearn.metrics import accuracy_score
y_that = [1, 0, 0, 1, 0, 0, 1, 0]
y_doan = [1, 0, 1, 0, 0, 0, 1, 0]
dung = sum(t == d for t, d in zip(y_that, y_doan))
print("Tay:", dung / len(y_that))
print("accuracy_score:", accuracy_score(y_that, y_doan))KẾT QUẢ
Tay: 0.75
accuracy_score: 0.75model.score(X, y) của một model phân loại trả đúng con số này. Nó không nói hai lần sai thuộc kiểu nào: khách 3 ở lại mà bị báo rời bỏ, còn khách 4 rời bỏ mà model bỏ sót.
Bốn ô TP, FP, FN, TN
Chọn một lớp làm lớp dương (positive class), lớp mà bạn muốn bắt; ở đây là 1, khách rời bỏ. Mỗi dự đoán rơi vào một trong bốn ô:
TP (true positive): thật rời bỏ, đoán rời bỏ.
FP (false positive): thật ở lại, đoán rời bỏ, một lần báo nhầm.
FN (false negative): thật rời bỏ, đoán ở lại, một lần bỏ sót.
TN (true negative): thật ở lại, đoán ở lại.
from sklearn.metrics import confusion_matrix
y_that = [1, 0, 0, 1, 0, 0, 1, 0]
y_doan = [1, 0, 1, 0, 0, 0, 1, 0]
print(confusion_matrix(y_that, y_doan))
tn, fp, fn, tp = confusion_matrix(y_that, y_doan).ravel()
print("TP:", tp, "FP:", fp, "FN:", fn, "TN:", tn)KẾT QUẢ
[[4 1]
[1 2]]
TP: 2 FP: 1 FN: 1 TN: 4Mỗi dòng là một nhãn thật, mỗi cột là một nhãn đoán, theo thứ tự 0 rồi 1. Vì vậy ô trên trái là TN và ô dưới phải là TP; ravel() đọc theo dòng nên cho tn, fp, fn, tp. Accuracy là (TP + TN) / tổng = 6 / 8. Đổi [1, 0, 1, 0, 0, 0, 1, 0] thành [1, 0, 0, 1, 0, 0, 1, 0] rồi chạy lại: model đoán đúng hết, dòng cuối in TP: 3 FP: 0 FN: 0 TN: 5.
Model lười: accuracy cao mà vô dụng
Bảng khách hàng Sóc Vàng (số giả lập của AIDev) có 19,8% khách rời bỏ. DummyClassifier() mặc định đoán mọi khách thuộc lớp đông nhất trong tập train, tức "ở lại". So nó với pipeline chuẩn hóa rồi LogisticRegression:
import pandas as pd
from sklearn.dummy import DummyClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import confusion_matrix
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
kh = pd.read_csv("hoi_vien.csv")
X = kh.drop(columns=["ma_kh", "tinh", "kenh_dang_ky", "goi",
"diem_danh_gia_tb", "hoi_cach_huy_sau_moc", "roi_bo"])
X_train, X_test, y_train, y_test = train_test_split(X, kh["roi_bo"],
test_size=0.25, random_state=0, stratify=kh["roi_bo"])
for m in [DummyClassifier(), make_pipeline(StandardScaler(), LogisticRegression())]:
doan = m.fit(X_train, y_train).predict(X_test)
print(round(m.score(X_test, y_test), 3), confusion_matrix(y_test, doan).ravel())KẾT QUẢ
0.801 [601 0 149 0]
0.817 [577 24 113 36]Model lười đạt accuracy 0,801 mà TP bằng 0: không bắt được một khách rời bỏ nào trong 149 người. Pipeline đạt 0,817, chỉ hơn 1,6 điểm, và bắt được 36 trên 149 khách rời bỏ. Accuracy 82% nghe tốt, nhưng ma trận cho thấy model vẫn bỏ sót 113 người. Luôn so accuracy với baseline đoán lớp đông nhất, và đọc ô TP trước khi khen một model.
Đọc ma trận bằng crosstab
pd.crosstab() cho cùng bảng đếm, có tên dòng và cột nên dễ đọc hơn khi trình bày:
import pandas as pd
from sklearn.metrics import confusion_matrix
that = pd.Series([1, 0, 0, 1, 0, 0, 1, 0], name="thật")
doan = pd.Series([1, 0, 1, 0, 0, 0, 1, 0], name="đoán")
print(pd.crosstab(that, doan))
print((pd.crosstab(that, doan).to_numpy() == confusion_matrix(that, doan)).all())KẾT QUẢ
đoán 0 1
thật
0 4 1
1 1 2
TrueMột chỗ khác nhau: khi y_doan chỉ có một nhãn, như model lười, crosstab chỉ có một cột còn confusion_matrix(..., labels=[0, 1]) vẫn giữ đủ 2×2.
Kiểm tra nhanh
Sau
from sklearn.metrics import accuracy_score,accuracy_score([1, 0, 1, 1], [1, 1, 1, 0])cho kết quả gì?0.50.752
Lớp dương là khách rời bỏ. Một khách thật sự rời bỏ mà model đoán ở lại rơi vào ô nào?
- FP
- FN
- TN
Những câu nào đúng về model lười trong bài?
- Accuracy của nó bằng tỉ lệ lớp đông nhất trong tập test
- Ô TP của nó bằng 0
- Accuracy 0,801 chứng tỏ nó hữu ích
- Nó có FP lớn vì báo nhầm nhiều
Sau
from sklearn.metrics import confusion_matrix,confusion_matrix([0, 1, 1], [0, 0, 1]).ravel().tolist()cho kết quả gì?[1, 1, 0, 1][1, 0, 0, 2][1, 0, 1, 1]
Bài tập
Đếm bốn ô của ma trận nhầm lẫn
y_that và y_doan là hai list nhãn 0/1 cùng độ dài, lớp dương là 1. Viết thân hàm dem_bon_o(y_that, y_doan) đếm bốn ô của ma trận nhầm lẫn. Hàm phải chạy cả khi chỉ có một lớp xuất hiện, và không sửa hai list của nơi gọi.
Trả về: một dict có bốn khóa "TP", "FP", "FN", "TN", mỗi giá trị là một int của Python.
Ví dụ: dem_bon_o([1, 0, 0, 1], [1, 1, 0, 0]) trả {"TP": 1, "FP": 1, "FN": 1, "TN": 1}.
from sklearn.metrics import confusion_matrix
def dem_bon_o(y_that, y_doan):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Accuracy là tỉ lệ đoán đúng, (TP + TN) / tổng;
model.score()của model phân loại trả nó.Lớp dương là lớp bạn muốn bắt; ở bài này là khách rời bỏ, nhãn
1.confusion_matrix(y_that, y_doan): dòng là nhãn thật, cột là nhãn đoán;ravel()cho tn, fp, fn, tp.FP là báo nhầm, FN là bỏ sót; ghi
labels=[0, 1]để ma trận luôn đủ 2×2.Model lười đoán lớp đông nhất có accuracy cao mà TP bằng 0; luôn so với baseline.
Câu hỏi thường gặp
Accuracy bao nhiêu là tốt?
Không có ngưỡng chung. So accuracy với tỉ lệ lớp đông nhất: bảng có 80% khách ở lại thì model lười đã đạt 80%. Model chỉ đáng dùng khi vượt mức đó rõ rệt và bắt được lớp dương, như bài baseline nói.
Vẽ confusion matrix thành hình thế nào?
ConfusionMatrixDisplay.from_predictions(y_that, y_doan) của sklearn.metrics vẽ bảng 2×2 có tô màu, rồi plt.show(). Hình giúp trình bày, còn bốn con số của ravel() đủ để tính mọi metric.
Chọn lớp nào làm lớp dương?
Lớp hiếm hơn và là lớp bạn cần hành động: khách sắp rời bỏ, giao dịch gian lận, hồ sơ vay sẽ nợ xấu. Các metric như precision và recall đều tính theo lớp dương, như bài precision, recall, F1 sẽ dùng.
Model có điểm đẹp bất thường thì nên làm gì?
Đọc ma trận, rồi nghi tới rò rỉ: một cột ghi sau thời điểm dự đoán có thể làm TP cao bất thường. Bài data leakage chỉ cách tìm cột đó.
Chủ đề
Dữ liệu của bài
- Tải xuống
hoi_vien.csv
CSV · 207.25 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.