Imbalanced data: dữ liệu mất cân bằng và model lười
Bài 1/9 · Chương 7
Xác suất, ngưỡng và dữ liệu mất cân bằng
- 9 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 12
Dữ liệu mất cân bằng (imbalanced data) chỉ một bảng có lớp nhãn này hiếm hơn hẳn lớp kia, như 149 hồ sơ vỡ nợ trong 3.000 hồ sơ vay. Khi đó một model không học gì vẫn đạt accuracy rất cao, nên bạn đo bằng recall của lớp hiếm và so mỗi metric với đúng mốc của nó.
Cần biết trước: classification report, precision, recall, F1 và công thức Bayes.
Đếm hai lớp trước khi chạm vào model
File don_vay_tieu_dung.csv là số giả lập của AIDev: 3.000 hồ sơ vay tiêu dùng của một công ty tài chính hư cấu, nhãn vo_no bằng 1 khi người vay quá hạn trên 90 ngày trong năm đầu. Việc đầu tiên là đếm:
import pandas as pd
vay = pd.read_csv("don_vay_tieu_dung.csv")
print(vay["vo_no"].value_counts())
print(vay["vo_no"].value_counts(normalize=True).round(3))KẾT QUẢ
vo_no
0 2851
1 149
Name: count, dtype: int64
vo_no
0 0.95
1 0.05
Name: proportion, dtype: float64Bảng có 2.851 hồ sơ tốt và 149 hồ sơ vỡ nợ, tỉ lệ 1:19. Lớp 1 vừa hiếm vừa là lớp công ty muốn tìm ra. Con số 0,05 ở dòng cuối là tỉ lệ lớp dương (base rate); phần còn lại của bài cho thấy nó đặt mốc cho gần như mọi metric.
Model lười: accuracy 95% mà recall bằng 0
Model lười là model đoán mọi dòng thuộc lớp đông nhất của tập train, như DummyClassifier của bài baseline. Nó không nhìn feature nào, nên điểm của nó chỉ phụ thuộc tỉ lệ lớp. Thử trên một bảng tự dựng: 5.000 giao dịch, khoảng 1% gian lận, ba cột số ngẫu nhiên không mang thông tin gì:
import numpy as np
from sklearn.dummy import DummyClassifier
from sklearn.metrics import accuracy_score, recall_score
rng = np.random.default_rng(1)
gian_lan = (rng.random(5000) < 0.01).astype(int)
X = rng.normal(size=(5000, 3))
doan = DummyClassifier().fit(X, gian_lan).predict(X)
print("số giao dịch gian lận:", gian_lan.sum())
print("accuracy:", accuracy_score(gian_lan, doan))
print("recall:", recall_score(gian_lan, doan))KẾT QUẢ
số giao dịch gian lận: 48
accuracy: 0.9904
recall: 0.0Model này chỉ học đúng một điều trên dữ liệu đã học: lớp 0 đông hơn. Vậy mà accuracy đã 0,99, vì nó bằng đúng phần giao dịch không gian lận; còn recall bằng 0 vì không giao dịch gian lận nào bị gọi tên. Lớp càng hiếm, accuracy của model lười càng cao, nên một con số accuracy đứng một mình không nói gì về việc bắt lớp hiếm.
Giờ đến bộ vay, với một pipeline logistic thật. Lần chia dùng stratify=y (mặc định 25% làm tập test), và mốc là accuracy của việc đoán 0 cho mọi hồ sơ test:
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score, confusion_matrix
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
vay = pd.read_csv("don_vay_tieu_dung.csv")
y = vay.pop("vo_no")
X_train, X_test, y_train, y_test = train_test_split(
vay.select_dtypes("number"), y, stratify=y, random_state=0)
model = make_pipeline(StandardScaler(), LogisticRegression())
doan = model.fit(X_train, y_train).predict(X_test)
print(confusion_matrix(y_test, doan))
print("accuracy của model:", round(accuracy_score(y_test, doan), 3))
print("accuracy khi đoán toàn 0:", round((y_test == 0).mean(), 3))KẾT QUẢ
[[713 0]
[ 34 3]]
accuracy của model: 0.955
accuracy khi đoán toàn 0: 0.951Dòng thứ hai của confusion matrix là 37 hồ sơ vỡ nợ của tập test: model chỉ gọi đúng 3, recall khoảng 0,08. Hai dòng accuracy cách nhau 0,004, và 0,951 là phần hồ sơ tốt của tập test, không phải công của model nào. Với dữ liệu lệch, câu hỏi đầu tiên vì thế là "model hơn model lười bao nhiêu ở lớp hiếm", đọc bằng recall của dòng 1 trong confusion matrix hay classification report.
Với chỉ 37 ca, mỗi hồ sơ vỡ nợ bắt thêm hay bỏ sót làm recall đổi khoảng 0,027 (1/37). stratify=y ít ra giữ con số 37 cố định; bỏ nó thì 200 hạt giống đầu cho tập test từ 26 đến 52 hồ sơ vỡ nợ, và recall đổi theo cả số ca lẫn model, như bài train test split đã nói. Chia ngẫu nhiên ở đây giả định mỗi hồ sơ là một người vay độc lập.
Precision của lớp hiếm: vì sao nó thấp
Ngay cả khi model bắt được kha khá ca hiếm, precision vẫn dễ thấp, vì số hồ sơ tốt quá đông. Công thức Bayes nói rõ điều đó: precision là xác suất một hồ sơ bị báo thật sự vỡ nợ.
Trong đó:
(
pi): tỉ lệ lớp dương, ở đây 0,05.(
recall): tỉ lệ hồ sơ vỡ nợ bị báo.(
bao_nham): tỉ lệ hồ sơ tốt bị báo nhầm.
Tính tay: một luật bắt 80% hồ sơ vỡ nợ và chỉ báo nhầm 10% hồ sơ tốt, trên dữ liệu 5% vỡ nợ, có precision 0,04 / (0,04 + 0,095) ≈ 0,30. Khoảng bảy phần mười số hồ sơ bị báo là hồ sơ tốt, dù tỉ lệ báo nhầm nghe rất nhỏ: 10% của một lớp đông vẫn đông hơn 80% của một lớp hiếm. Kiểm trên một luật thật, báo rủi ro khi người vay trễ hạn từ hai lần trở lên trong 12 tháng:
import pandas as pd
vay = pd.read_csv("don_vay_tieu_dung.csv")
bao = vay["so_lan_tre_han_12_thang"] >= 2
xau = vay["vo_no"] == 1
recall = (bao & xau).sum() / xau.sum()
bao_nham = (bao & ~xau).sum() / (~xau).sum()
pi = xau.mean()
print("recall:", round(recall, 3), " báo nhầm:", round(bao_nham, 3))
print("precision đếm:", round((bao & xau).sum() / bao.sum(), 3))
dung, nham = recall * pi, bao_nham * (1 - pi)
print("precision công thức:", round(dung / (dung + nham), 3))
print("hai lớp ngang nhau:", round(recall / (recall + bao_nham), 3))KẾT QUẢ
recall: 0.148 báo nhầm: 0.071
precision đếm: 0.098
precision công thức: 0.098
hai lớp ngang nhau: 0.676Đếm và công thức cho cùng 0,098. Dòng cuối đặt = 0,5: cùng một luật, cùng recall và tỉ lệ báo nhầm, mà precision lên 0,676. Precision vì thế không so được giữa hai bảng có tỉ lệ lớp khác nhau. Hai loại sai ở đây chính là sai lầm loại 1 và loại 2 của kiểm định, chỉ khác tên.
Mốc so sánh đổi theo tỉ lệ lớp
Mỗi metric có một mốc của riêng nó: accuracy của model lười bằng 1 − , ROC-AUC của điểm ngẫu nhiên là 0,5. PR-AUC, điểm tóm tắt precision trên mọi mức recall mà bài đường ROC và PR dạy và scikit-learn tính bằng average_precision_score, có mốc bằng chính tỉ lệ lớp dương:
import numpy as np
import pandas as pd
from sklearn.metrics import average_precision_score
y = pd.read_csv("don_vay_tieu_dung.csv")["vo_no"]
rng = np.random.default_rng(0)
ap = [average_precision_score(y, rng.random(len(y)))
for _ in range(30)]
print("PR-AUC ngẫu nhiên, trung bình:", round(np.mean(ap), 3))
print("tỉ lệ lớp dương:", round(y.mean(), 3))KẾT QUẢ
PR-AUC ngẫu nhiên, trung bình: 0.053
tỉ lệ lớp dương: 0.05Điểm ngẫu nhiên cho PR-AUC quanh 0,05, đúng bằng tỉ lệ vỡ nợ. Vậy PR-AUC 0,30 trên bộ vay này là gấp sáu lần mốc. Cùng một mức 0,25 thì gấp hơn mười hai lần mốc trên một bảng 2% lớp dương, nhưng còn thua đoán bừa trên một bảng 30% lớp dương. Báo PR-AUC thì báo kèm tỉ lệ lớp dương. Đổi rng.random(len(y)) thành y + rng.random(len(y)) rồi chạy lại: mọi hồ sơ vỡ nợ giờ có điểm cao hơn mọi hồ sơ tốt, nên dòng đầu in 1.0.
Kiểm tra nhanh
Một bảng 1.000 giao dịch có 20 giao dịch gian lận. Model luôn đoán "không gian lận" đạt accuracy bao nhiêu?
- 0,02
- 0,5
- 0,98
- 1,0
Dữ liệu có 5% hồ sơ vỡ nợ. Một luật bắt 80% hồ sơ vỡ nợ và báo nhầm 10% hồ sơ tốt. Precision của luật gần mức nào?
- 0,30
- 0,80
- 0,90
- 0,05
Những câu nào đúng với dữ liệu mất cân bằng?
- Accuracy 0,95 trên dữ liệu 1:19 có thể là của model lười
- PR-AUC của điểm ngẫu nhiên xấp xỉ tỉ lệ lớp dương
- F1 kiểu
weightedcao nghĩa là model bắt tốt lớp hiếm stratify=ygiữ số ca hiếm trong tập test ổn định giữa các lần chia
Model A có PR-AUC 0,25 trên bảng 2% lớp dương, model B có PR-AUC 0,25 trên bảng 30% lớp dương. Câu nào đúng?
- Hai model tốt như nhau vì cùng PR-AUC
- A gấp hơn mười hai lần mốc ngẫu nhiên, B còn dưới mốc
- B tốt hơn vì dữ liệu cân bằng hơn
Bài tập
So model với model lười
y_train, y_test là hai list nhãn 0/1, y_test có ít nhất một nhãn 1; y_doan là list nhãn model đoán cho y_test, cùng độ dài. Viết thân hàm so_voi_model_luoi(y_train, y_test, y_doan):
model lười đoán cho mọi dòng của tập test lớp có nhiều dòng hơn trong
y_train(hai lớp bằng nhau thì lớp0);tính accuracy của
y_doantrừ accuracy của model lười, cả hai trêny_test;tính recall của lớp
1củay_doan.
Hàm không sửa ba list của nơi gọi.
Trả về: mức chênh accuracy và recall theo thứ tự đó, mỗi số một float, gói trong một tuple.
Ví dụ y_train = [0, 0, 0, 1], y_test = [0, 1, 0, 0, 1, 0], y_doan = [1, 1, 0, 1, 0, 0] cho mức chênh khoảng -0.167 và recall 0.5.
def so_voi_model_luoi(y_train, y_test, y_doan):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Dữ liệu mất cân bằng: lớp này hiếm hơn hẳn lớp kia; đếm bằng
value_counts(normalize=True)trước khi train.Model lười đạt accuracy bằng tỉ lệ lớp đông; so model với nó, không so với 0,5.
Với lớp hiếm, nhìn recall và precision của lớp
1, không nhìn F1weighted.Precision = r·π / (r·π + f·(1 − π)): lớp tốt đông nên báo nhầm áp đảo dù tỉ lệ báo nhầm nhỏ.
Mốc PR-AUC là tỉ lệ lớp dương, mốc ROC-AUC là 0,5; báo PR-AUC kèm tỉ lệ lớp dương.
Câu hỏi thường gặp
Xử lý dữ liệu mất cân bằng thế nào?
Trước hết đo cho đúng: recall, PR-AUC, so với model lười. Sau đó có ba hướng: chọn lại ngưỡng quyết định theo chi phí của từng kiểu đoán sai, đặt trọng số lớp bằng class_weight, hay nhân bản và bỏ bớt dòng. Thử các hướng trên cùng một cách đo cross validation.
Lệch bao nhiêu thì một imbalanced dataset mới cần xử lý riêng?
Không có mốc cứng. Bảng 20% lớp dương đã đủ làm accuracy kém tin; từ khoảng 1:10 trở đi, precision và PR-AUC thay đổi rõ theo tỉ lệ lớp. Câu hỏi đúng hơn là model có hơn model lười ở metric của lớp hiếm hay không.
Có nên cân bằng lại tập test cho hai lớp bằng nhau không?
Không. Tập test phải giữ tỉ lệ lớp như dữ liệu sẽ gặp khi dùng thật, vì precision phụ thuộc tỉ lệ đó như công thức Bayes ở trên cho thấy. Chỉ được nhân bản hay bỏ bớt dòng trong phần train, sau khi đã chia, như khung bẫy của bài class_weight cho thấy.
Vì sao model lười làm precision_score hiện cảnh báo?
Model không báo hồ sơ nào là lớp 1, nên precision là 0 chia 0. scikit-learn trả 0 kèm cảnh báo; thêm zero_division=0 để bỏ cảnh báo khi đã hiểu lý do. Bài UndefinedMetricWarning nói kỹ trường hợp này.
Chủ đề
Dữ liệu của bài
- Tải xuống
don_vay_tieu_dung.csv
CSV · 239.48 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.