Bài tập dữ liệu mất cân bằng, ngưỡng và class_weight
Bài 7/9 · Chương 7
Xác suất, ngưỡng và dữ liệu mất cân bằng
- 7 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 8
Sáu bài tập dữ liệu mất cân bằng dưới đây được chấm tự động ngay trên trang: mỗi bài bạn viết thân một hàm Python nhỏ, bấm Chạy, và từng dòng kiểm tra báo đạt hay chưa. Các bài dùng lại cả nhóm bài về lớp hiếm, từ mốc của model lười tới hiệu chỉnh xác suất và chọn ngưỡng bằng cross validation, trên bảng hồ sơ vay và bảng hội viên Sóc Vàng.
Cần biết trước: dữ liệu mất cân bằng, ngưỡng quyết định và calibration.
Cách làm các bài tập
Mỗi bài cho sẵn các dòng import và dòng def với thân là pass. Bạn thay pass bằng thân hàm. Trình chấm không đọc những gì bạn in ra: nó gọi hàm với nhiều bộ dữ liệu khác nhau rồi so giá trị trả về, nên hàm phải return. Số thực được so gần đúng, nên đừng làm tròn.
Mỗi hàm có bốn dòng kiểm tra: ví dụ trong đề, hai trường hợp biên và một dòng chạy trên nhiều mẫu có hạt giống. Các mẫu lấy từ don_vay_tieu_dung.csv (3.000 hồ sơ vay giả lập, 5% vỡ nợ) hay hoi_vien.csv (3.000 hội viên giả lập), và kết quả được so với một cách tính khác. Bí thì mở gợi ý theo thứ tự: gợi ý một chỉ chỗ cần nhìn, gợi ý hai nêu cách làm, gợi ý ba gần như là lời giải.
Mức dễ: mốc và giá trị của quyết định
Hai bài đầu chỉ cần nhãn và dự đoán, chưa cần model.
Ba mốc của model lười
y là list nhãn 0/1 có cả hai lớp. Viết thân hàm cac_moc(y) trả mốc của ba metric khi model không học gì. Mốc accuracy là của model luôn đoán lớp đông hơn; mốc ROC-AUC và PR-AUC là của một điểm số không mang thông tin, và mốc PR-AUC bằng tỉ lệ lớp 1. Hàm không sửa list của nơi gọi.
Trả về: một dict có ba khóa "accuracy", "roc_auc", "pr_auc", mỗi giá trị là số thực.
Ví dụ cac_moc([0, 1, 0, 0, 0]) trả {"accuracy": 0.8, "roc_auc": 0.5, "pr_auc": 0.2}. Ôn lại: dữ liệu mất cân bằng.
def cac_moc(y):
pass # Viết thân hàm thay cho dòng nàyTổng giá trị của các quyết định
y và du_doan là hai list nhãn 0/1 cùng độ dài. gia_tri là dict cho giá trị (nghìn đồng, có thể âm) của bốn ô: "tp" báo đúng ca dương, "fp" báo nhầm ca âm, "fn" bỏ sót ca dương, "tn" bỏ qua đúng ca âm. Viết thân hàm tong_gia_tri(y, du_doan, gia_tri) cộng giá trị của mọi dòng theo ô của nó. Hàm không sửa list hay dict của nơi gọi.
Trả về: tổng giá trị, một float.
Ví dụ tong_gia_tri([1, 0, 1, 0, 0, 1], [1, 1, 0, 0, 0, 1], {"tp": 90, "fp": -30, "fn": 0, "tn": 0}) trả 150.0. Ôn lại: ngưỡng quyết định.
def tong_gia_tri(y, du_doan, gia_tri):
pass # Viết thân hàm thay cho dòng nàyMức vừa: đường precision–recall và nhân bản dòng
Hai bài này dùng hàm của scikit-learn và pandas trên dữ liệu lệch.
Precision khi phải bắt đủ ca hiếm
nhan là list nhãn 0/1 có ít nhất một nhãn 1, diem là list điểm số cùng độ dài, recall_can là mức recall tối thiểu, lớn hơn 0. Viết thân hàm precision_tai_recall(nhan, diem, recall_can) trả precision cao nhất trong các ngưỡng có recall từ recall_can trở lên, đọc từ precision_recall_curve(). Hàm không sửa hai list của nơi gọi.
Trả về: precision đó, một float.
Ví dụ precision_tai_recall([1, 0, 1, 1, 0, 0, 1, 0], [0.9, 0.8, 0.7, 0.6, 0.55, 0.4, 0.3, 0.1], 0.75) trả 0.75. Ôn lại: đường ROC và PR.
from sklearn.metrics import precision_recall_curve
def precision_tai_recall(nhan, diem, recall_can):
pass # Viết thân hàm thay cho dòng nàyNhân bản lớp hiếm trong phần train
bang là DataFrame phần train, cot_nhan là tên cột nhãn 0/1, k là số nguyên từ 1 trở lên. Viết thân hàm nhan_ban_train(bang, cot_nhan, k) trả bảng mới trong đó mỗi dòng lớp 1 xuất hiện đúng k lần, dòng lớp 0 giữ một lần. Bảng mới gồm các dòng gốc theo thứ tự cũ, rồi k − 1 bản sao của các dòng lớp 1; chỉ số đánh lại 0, 1, 2… Hàm không sửa bảng của nơi gọi.
Trả về: bảng mới, một DataFrame.
Ví dụ bảng năm dòng có nhãn [0, 1, 0, 0, 1] và k = 3 cho bảng chín dòng, nhãn [0, 1, 0, 0, 1, 1, 1, 1, 1]. Ôn lại: class_weight.
import pandas as pd
def nhan_ban_train(bang, cot_nhan, k):
pass # Viết thân hàm thay cho dòng nàyMức khó: hiệu chỉnh và lợi nhuận qua cross validation
Hai bài cuối nhận một model scikit-learn và tự train hay hiệu chỉnh nó, theo cách cross validation giữ phần chấm tách khỏi phần học.
Ước lượng số ca vỡ nợ bằng xác suất đã hiệu chỉnh
model là một model phân loại đã train, X_val, y_val là bảng và nhãn validation model chưa thấy, X_moi là bảng hồ sơ mới. Viết thân hàm uoc_luong_so_ca(model, X_val, y_val, X_moi):
hiệu chỉnh model bằng
CalibratedClassifierCVvớiFrozenEstimatorvàmethod="isotonic", fit trênX_val,y_val;cộng xác suất lớp
1đã hiệu chỉnh của mọi hồ sơ trongX_moi: đó là số ca vỡ nợ dự kiến.
Hàm không sửa các bảng của nơi gọi.
Trả về: số ca dự kiến, một float.
Ví dụ: đọc vay = pd.read_csv("don_vay_tieu_dung.csv"), dùng hai cột ["so_lan_tre_han_12_thang", "ti_le_tra_no_thu_nhap"]. model là LogisticRegression() fit trên 10 hồ sơ vỡ nợ và 50 hồ sơ tốt rút bằng sample(..., random_state=0) từ mỗi nhóm; validation là 8 hồ sơ vỡ nợ và 52 hồ sơ tốt rút với random_state=1. Với X_moi là 4 hồ sơ vỡ nợ và 36 hồ sơ tốt rút với random_state=2, hàm trả khoảng 5.10 (xác suất chưa hiệu chỉnh cộng ra 6,46). Với X_moi chính là X_val, hàm trả 8.0, đúng số nhãn 1 của validation, vì hiệu chỉnh isotonic giữ nguyên tổng trên phần nó học. Ôn lại: calibration.
from sklearn.calibration import CalibratedClassifierCV
from sklearn.frozen import FrozenEstimator
from sklearn.linear_model import LogisticRegression
def uoc_luong_so_ca(model, X_val, y_val, X_moi):
pass # Viết thân hàm thay cho dòng nàyLợi nhuận trung bình của một ngưỡng qua cross validation
model là một model phân loại chưa train, X là DataFrame, y là Series nhãn 0/1 của chiến dịch tặng tháng Sóc Vàng, nguong là ngưỡng xác suất. Gửi mã cho người có xác suất từ nguong trở lên. Như bài TunedThresholdClassifierCV, mỗi người nhận mã đóng góp 120 * n - 30 nghìn với n là nhãn: người có nhãn 1 đem về 90 nghìn, nhãn 0 lỗ 30 nghìn. Viết thân hàm loi_nhuan_cv(model, X, y, nguong):
chia bằng
StratifiedKFold(3, shuffle=True, random_state=0);ở mỗi lượt, train một bản sao
clone(model)trên phần train, tính lợi nhuận trên phần còn lại;lấy trung bình lợi nhuận của ba lượt.
Hàm không sửa model, bảng hay nhãn của nơi gọi.
Trả về: lợi nhuận trung bình, một float.
Ví dụ: đọc kh = pd.read_csv("hoi_vien.csv"), lấy 15 người rời bỏ và 45 người ở lại bằng sample(..., random_state=0) từ mỗi nhóm, X là ba cột ["so_lan_dang_nhap_30_ngay", "so_ngay_tu_lan_mua_cuoi", "so_lan_khieu_nai"]. Với LogisticRegression(), ngưỡng 0,25 cho 40.0; ngưỡng 0,05 gửi mã cho mọi người, và vì một phần tư số người rời bỏ, lời và lỗ bù nhau thành 0.0. Ôn lại: TunedThresholdClassifierCV.
from sklearn.base import clone
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import StratifiedKFold
def loi_nhuan_cv(model, X, y, nguong):
pass # Viết thân hàm thay cho dòng nàyCâu hỏi thường gặp
Bài tập dữ liệu mất cân bằng này có lời giải không?
Mỗi bài có lời giải mẫu, mở sau khi bạn đã chạy thử. Lời giải chỉ là một cách đúng: trình chấm so giá trị trả về, nên cách viết khác vẫn đạt nếu ra cùng kết quả trên mọi dòng kiểm tra.
Vì sao bài nhân bản dòng chỉ làm trên phần train?
Phần kiểm phải giữ tỉ lệ lớp như dữ liệu thật. Nhân bản trước khi chia làm bản sao rơi vào cả hai phía và đẩy precision lên cao giả, như khung bẫy của bài class_weight cho thấy.
Làm xong thì làm gì tiếp?
Dự án chiến dịch giữ chân ghép các bước này thành một chương trình: xác suất đã hiệu chỉnh, ngưỡng chọn bằng cross validation, số mã cần gửi và lợi nhuận dự kiến cho tháng tới.
Chủ đề
Dữ liệu của bài
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.