Bỏ qua đến nội dung chính
Mục lục

Dự án chấm điểm tín dụng: 5% hồ sơ vỡ nợ, PR-AUC

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 9/9 · Chương 7

Xác suất, ngưỡng và dữ liệu mất cân bằng

  • 9 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Dự án chấm điểm tín dụng này dựng một model đoán hồ sơ vay nào sẽ vỡ nợ, rồi biến xác suất thành quyết định duyệt hay từ chối. Bảng chỉ có 5% hồ sơ vỡ nợ. Bạn làm theo năm bước rồi ghép thành một chương trình; cuối trang bạn tự viết hàm tính lợi nhuận khi lãi và lỗ tỉ lệ với số tiền vay.

Cần biết trước: dữ liệu mất cân bằng, đường ROC và PR và pipeline.

Chương trình sẽ làm gì

File don_vay_tieu_dung.csv là số giả lập của AIDev: 3.000 hồ sơ vay của một công ty tài chính hư cấu, nhãn vo_no là 1 khi khoản vay quá hạn trên 90 ngày trong 12 tháng đầu. Trong đó 149 hồ sơ vỡ nợ, chưa tới 5%. Bốn cột chữ (nghề, vùng, nhà ở, mục đích vay) được đổi thành cột 0/1 bằng pd.get_dummies(). Bảng chia một lần: 2.250 hồ sơ để train và chọn ngưỡng bằng cross validation, 750 hồ sơ test chỉ mở ở bước 5.

Về tiền, một khoản vay trung vị 60 triệu: duyệt một hồ sơ tốt đem về khoảng 6 triệu tiền lãi, duyệt một hồ sơ sẽ vỡ nợ mất khoảng 40 triệu, từ chối thì không lời không lỗ. Chương trình nhận bảng, đưa ra PR-AUC, ngưỡng từ chối và lợi nhuận trên tập test. Nó có một vòng lặp qua các ngưỡng và một phép so sánh xác suất với ngưỡng. Thứ tự dựng: mốc của model lười, pipeline và PR-AUC, xác suất theo nhóm rủi ro, chọn ngưỡng theo tiền, kiểm trên test, cuối cùng ghép lại.

Bước 1: Mốc của model lười

Trước khi train gì, đo một model luôn đoán "không vỡ nợ" bằng DummyClassifier:

python
import pandas as pd
from sklearn.dummy import DummyClassifier
from sklearn.metrics import average_precision_score, recall_score
from sklearn.model_selection import train_test_split
d = pd.get_dummies(pd.read_csv("don_vay_tieu_dung.csv"))
X, y = d.drop(columns="vo_no"), d["vo_no"]
X_tr, X_te, y_tr, y_te = train_test_split(
    X, y, test_size=0.25, stratify=y, random_state=0)
luoi = DummyClassifier().fit(X_tr, y_tr)
p = luoi.predict_proba(X_te)[:, 1]
print("Accuracy:", round(luoi.score(X_te, y_te), 3))
print("Recall:", recall_score(y_te, luoi.predict(X_te)))
print("PR-AUC:", round(average_precision_score(y_te, p), 3))

KẾT QUẢ

Accuracy: 0.951
Recall: 0.0
PR-AUC: 0.049

Model này đúng với 713 trên 750 hồ sơ test chỉ vì 713 hồ sơ đó tốt; recall 0 nghĩa là cả 37 hồ sơ vỡ nợ đều lọt qua. PR-AUC 0,049 đúng bằng 37/750: một điểm số không xếp hạng gì chỉ đạt chừng đó, nên đây là mốc mọi model sau phải vượt.

Bước 2: Pipeline và PR-AUC qua cross validation

Đặt StandardScaler và logistic regression vào một pipeline, chấm bằng cross validation 5 phần trên tập train, lấy cả ROC-AUC lẫn PR-AUC:

python
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_validate, train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
d = pd.get_dummies(pd.read_csv("don_vay_tieu_dung.csv"))
X, y = d.drop(columns="vo_no"), d["vo_no"]
X_tr, X_te, y_tr, y_te = train_test_split(
    X, y, test_size=0.25, stratify=y, random_state=0)
pipe = make_pipeline(StandardScaler(), LogisticRegression())
kq = cross_validate(pipe, X_tr, y_tr, cv=5,
                    scoring=["roc_auc", "average_precision"])
for ten in ["test_roc_auc", "test_average_precision"]:
    tb, lech = kq[ten].mean(), kq[ten].std()
    print(ten[5:], round(tb, 3), "±", round(lech, 3))

KẾT QUẢ

roc_auc 0.802 ± 0.031
average_precision 0.211 ± 0.066

ROC-AUC trông khá, PR-AUC trông thấp, nhưng hai con số đứng trên hai mốc khác nhau: 0,5 cho ROC-AUC và 0,05 cho PR-AUC. Đọc PR-AUC so với mốc 0,05 thì model gấp khoảng bốn lần model lười. Khi hồ sơ vỡ nợ hiếm như bảng này, PR-AUC phản ứng mạnh hơn khi model báo nhầm thêm hồ sơ tốt, nên dự án chọn nó làm thước chính. Độ lệch giữa năm phần cho thấy với 112 hồ sơ vỡ nợ trong tập train, chênh 0,02 giữa hai model chưa đủ để chọn.

Bước 3: Rủi ro dồn vào nhóm nào

Trước khi đặt ngưỡng, xem xác suất của model có tách được hồ sơ hay không. Lấy xác suất ngoài fold của tập train bằng cross_val_predict (mỗi hồ sơ được chấm bởi model chưa thấy nó), chia 2.250 hồ sơ thành năm nhóm bằng nhau theo xác suất bằng pd.qcut, rồi so số ca vỡ nợ thật với xác suất trung bình của từng nhóm:

python
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_val_predict, train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
d = pd.get_dummies(pd.read_csv("don_vay_tieu_dung.csv"))
X_tr, X_te, y_tr, y_te = train_test_split(d.drop(columns="vo_no"),
    d["vo_no"], test_size=0.25, stratify=d["vo_no"], random_state=0)
m = make_pipeline(StandardScaler(), LogisticRegression())
p = cross_val_predict(m, X_tr, y_tr, method="predict_proba")[:, 1]
bang = pd.DataFrame({"p": p, "vo_no": y_tr.to_numpy(),
                     "nhom": pd.qcut(p, 5, labels=range(1, 6))})
print(bang.groupby("nhom", observed=True).agg(
    vo_no=("vo_no", "sum"), ti_le=("vo_no", "mean"),
    p_tb=("p", "mean")).to_string(float_format="%.3f"))

KẾT QUẢ

      vo_no  ti_le  p_tb
nhom                    
1         3  0.007 0.006
2         4  0.009 0.014
3        13  0.029 0.025
4        23  0.051 0.045
5        69  0.153 0.158

Mỗi nhóm có 450 hồ sơ. Nhóm 5, một phần năm số hồ sơ có xác suất cao nhất, chứa 69 trong 112 ca vỡ nợ; hai nhóm thấp nhất cộng lại chỉ có 7. Cột p_tb đi sát cột ti_le ở cả năm nhóm, nên phép tính hòa vốn ở bước 4, vốn dùng chính con số xác suất, có cơ sở. Dự án không bật class_weight="balanced" (bài class_weight): việc dời ranh giới duyệt hay từ chối đã do bước 4 làm bằng tiền, còn trọng số sẽ kéo cột p_tb lệch khỏi cột ti_le.

Bước 4: Chọn ngưỡng từ chối theo tiền

Dùng lại xác suất ngoài fold của bước 3. Hồ sơ có xác suất không thấp hơn ngưỡng quyết định bị từ chối. Tính lợi nhuận của từng ngưỡng rồi giữ ngưỡng lời nhất:

python
import numpy as np
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import (
    cross_val_predict, train_test_split)
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
d = pd.get_dummies(pd.read_csv("don_vay_tieu_dung.csv"))
X_tr, X_te, y_tr, y_te = train_test_split(d.drop(columns="vo_no"),
    d["vo_no"], test_size=0.25, stratify=d["vo_no"], random_state=0)
m = make_pipeline(StandardScaler(), LogisticRegression())
p = cross_val_predict(m, X_tr, y_tr, method="predict_proba")[:, 1]
loi = lambda p, y, t: np.where(y == 1, -40, 6)[p < t].sum()
nguong = max(np.arange(2, 51) / 100, key=lambda t: loi(p, y_tr, t))
print(nguong, loi(p, y_tr, nguong), loi(p, y_tr, 1.1))

KẾT QUẢ

0.11 9180 8348

Dòng in ngưỡng chọn được, lợi nhuận của nó trên 2.250 hồ sơ train, và lợi nhuận khi duyệt mọi hồ sơ (ngưỡng 1,1 không ai chạm tới). Ngưỡng rơi gần điểm hòa vốn: duyệt một hồ sơ có xác suất vỡ nợ p đáng giá 6 × (1 − p) − 40 × p, bằng 0 khi p ≈ 0,13. Qua 200 cách chia, ngưỡng chọn được nằm trong khoảng 0,08 tới 0,15 ở 90% số lần.

Đổi -40, 6 thành -20, 6 rồi chạy lại: khi một hồ sơ vỡ nợ chỉ mất 20 triệu, ngưỡng dời lên và dòng kết quả in 0.29.

Bẫy: dò ngưỡng trên tập test

Dò 49 ngưỡng trên chính 750 hồ sơ test rồi báo ngưỡng tốt nhất luôn cho một con số đẹp hơn thật, vì ngưỡng đã được chọn theo đúng những hồ sơ dùng để chấm. Qua 200 cách chia, con số dò trên test cao hơn lợi nhuận thật của ngưỡng chọn trên train trung bình khoảng 70 triệu. Tập test chỉ dùng một lần, sau khi ngưỡng đã chốt.

Bước 5: Kiểm một lần trên tập test

Train pipeline trên cả tập train, chấm 750 hồ sơ test, rồi so ba cách quyết định: ngưỡng chọn ở bước 4, ngưỡng 0,5 của predict(), và duyệt mọi hồ sơ:

python
import numpy as np
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import average_precision_score
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
d = pd.get_dummies(pd.read_csv("don_vay_tieu_dung.csv"))
X_tr, X_te, y_tr, y_te = train_test_split(d.drop(columns="vo_no"),
    d["vo_no"], test_size=0.25, stratify=d["vo_no"], random_state=0)
pipe = make_pipeline(StandardScaler(), LogisticRegression())
p = pipe.fit(X_tr, y_tr).predict_proba(X_te)[:, 1]
print("PR-AUC test:", round(average_precision_score(y_te, p), 3))
for nguong in [0.11, 0.5, 1.1]:
    print(nguong, np.where(y_te == 1, -40, 6)[p < nguong].sum())

KẾT QUẢ

PR-AUC test: 0.319
0.11 3174
0.5 2952
1.1 2798

Ngưỡng chọn theo tiền lời hơn cả ngưỡng 0,5 lẫn việc duyệt mọi hồ sơ. Qua 200 cách chia, nó lời hơn duyệt mọi hồ sơ ở cả 200 lần và lời hơn ngưỡng 0,5 ở 199 lần. PR-AUC trên tập test là 0,319, cao hơn 0,211 của bước 2. Con số đem đi báo cáo là con số test này, đo một lần, kèm độ rộng mà cross validation đã cho (± 0,066 ở bước 2): với 37 hồ sơ vỡ nợ trong test, một lần chia có thể lệch cỡ đó. Qua 200 cách chia, PR-AUC test của cùng pipeline thường nằm từ 0,17 tới 0,32 (90% số lần), trung bình 0,24; lần chia của trang rơi gần đầu trên.

Bước 6: Ghép thành chương trình hoàn chỉnh

Chương trình dưới chạy lại các bước 1, 2, 4 và 5 một lần. Nó in bốn dòng: mốc của model lười, PR-AUC qua cross validation, ngưỡng chọn trên tập train, rồi lợi nhuận trên test của ngưỡng đó cạnh lợi nhuận khi duyệt hết:

python
import numpy as np
import pandas as pd
from sklearn.dummy import DummyClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import average_precision_score
from sklearn.model_selection import (
    cross_val_predict, cross_val_score, train_test_split)
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

lai_tot, lo_xau = 6, 40
def loi(p, y, t):
    return np.where(y == 1, -lo_xau, lai_tot)[p < t].sum()

d = pd.get_dummies(pd.read_csv("don_vay_tieu_dung.csv"))
X_tr, X_te, y_tr, y_te = train_test_split(d.drop(columns="vo_no"),
    d["vo_no"], test_size=0.25, stratify=d["vo_no"], random_state=0)
luoi = DummyClassifier().fit(X_tr, y_tr)
moc = average_precision_score(y_te, luoi.predict_proba(X_te)[:, 1])
print("1. Mốc PR-AUC:", round(moc, 3))

m = make_pipeline(StandardScaler(), LogisticRegression())
ap = cross_val_score(m, X_tr, y_tr, scoring="average_precision")
print("2. PR-AUC qua CV:", round(ap.mean(), 3))

p = cross_val_predict(m, X_tr, y_tr, method="predict_proba")[:, 1]
nguong = max(np.arange(2, 51) / 100, key=lambda t: loi(p, y_tr, t))
print("3. Ngưỡng từ chối:", nguong)

p_te = m.fit(X_tr, y_tr).predict_proba(X_te)[:, 1]
print("4. Lợi nhuận test:", loi(p_te, y_te, nguong),
      "| duyệt hết:", loi(p_te, y_te, 1.1))

KẾT QUẢ

1. Mốc PR-AUC: 0.049
2. PR-AUC qua CV: 0.211
3. Ngưỡng từ chối: 0.11
4. Lợi nhuận test: 3174 | duyệt hết: 2798

Đổi lai_tot, lo_xau = 6, 40 thành lai_tot, lo_xau = 6, 20 rồi chạy lại: lỗ khi duyệt nhầm nhỏ đi, ngưỡng từ chối dời lên và dòng 3 in 0.29.

Bài tập

Lợi nhuận khi lãi và lỗ tỉ lệ với khoản vay

Chương trình trên tính mọi hồ sơ như một khoản 60 triệu. Viết hàm tính lợi nhuận theo số tiền thật của từng hồ sơ. p là list xác suất vỡ nợ, y là list nhãn 0/1, khoan_vay là list số tiền vay (triệu đồng), cả ba cùng độ dài; nguong là ngưỡng từ chối. Viết thân hàm loi_theo_khoan_vay(p, y, khoan_vay, nguong):

  • duyệt hồ sơ có xác suất nhỏ hơn nguong, từ chối phần còn lại;

  • hồ sơ tốt được duyệt đem về 10% khoản vay, hồ sơ vỡ nợ được duyệt mất 70% khoản vay;

  • hồ sơ bị từ chối không tính.

Hàm không sửa các list của nơi gọi.

Trả về: số hồ sơ được duyệt (một int) và tổng lợi nhuận (một float), gói trong một tuple.

Ví dụ loi_theo_khoan_vay([0.05, 0.3, 0.1, 0.02], [0, 1, 1, 0], [50, 80, 40, 100], 0.15) trả (3, -13.0): duyệt ba hồ sơ, lời 5 và 10 triệu, mất 28 triệu.

python
import numpy as np

def loi_theo_khoan_vay(p, y, khoan_vay, nguong):
    pass  # Viết thân hàm thay cho dòng này

Thử mở rộng

Các hướng dưới làm được ngay với chương trình trên:

  • Dùng hàm loi_theo_khoan_vay trong bước chọn ngưỡng, với cột khoan_vay_trieu của tập train, và xem ngưỡng có đổi không khi khoản vay lớn mang nhiều rủi ro tiền hơn.

  • Thay logistic regression bằng HistGradientBoostingClassifier như bài HistGradientBoosting, rồi so PR-AUC qua cross validation của hai model.

  • Bỏ cột vung_… ra khỏi bảng (vùng là cột nhiễu có chủ đích) và xem PR-AUC qua cross validation có đổi không.

  • Vẽ đường precision–recall của pipeline trên tập test bằng PrecisionRecallDisplay.from_predictions và đánh dấu điểm ứng với ngưỡng từ chối.

Chủ đề

chấm điểm tín dụng

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập