class_weight balanced trong sklearn: trọng số cho lớp hiếm
Bài 4/9 · Chương 7
Xác suất, ngưỡng và dữ liệu mất cân bằng
- 8 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 12
Class weight (trọng số lớp) cho mỗi dòng của lớp hiếm nặng hơn khi model học, để model không bỏ qua lớp đó. Trong scikit-learn, đặt class_weight="balanced" thì trọng số của lớp là số dòng chia cho số lớp nhân số dòng của lớp . Kết quả thường gặp: recall của lớp hiếm tăng mạnh, precision giảm, còn ROC-AUC gần như đứng yên.
Cần biết trước: dữ liệu mất cân bằng, logistic regression và cross validation.
Trọng số balanced tính thế nào
Khi fit, mỗi dòng góp một phần vào hàm mất mát. Trọng số 10 nghĩa là dòng đó được tính như 10 dòng giống hệt. Chế độ "balanced" chọn trọng số sao cho tổng trọng số của mọi lớp bằng nhau:
Trong đó:
(
len(y)): tổng số dòng.: số lớp, ở đây 2.
: số dòng của lớp .
Tính tay cho bộ don_vay_tieu_dung.csv (số giả lập của AIDev): 2.851 hồ sơ tốt và 149 hồ sơ vỡ nợ, nên = 3000 / (2 · 2851) ≈ 0,526 và = 3000 / (2 · 149) ≈ 10,07. Tổng trọng số mỗi lớp là 1.500, bằng nhau. scikit-learn tính giùm bằng compute_class_weight:
import numpy as np
import pandas as pd
from sklearn.utils.class_weight import compute_class_weight
y = pd.read_csv("don_vay_tieu_dung.csv")["vo_no"]
print(y.value_counts().to_dict())
w = compute_class_weight("balanced", classes=np.array([0, 1]), y=y)
print(w.round(3))
print(round(3000 / (2 * 2851), 3), round(3000 / (2 * 149), 3))KẾT QUẢ
{0: 2851, 1: 149}
[ 0.526 10.067]
0.526 10.067Chia hai trọng số cho nhau, và triệt tiêu: 10,067 / 0,526 ≈ 2.851 / 149 ≈ 19,1. Tỉ số trọng số chỉ là tỉ số số dòng, lật ngược.
class_weight="balanced" so với không trọng số
Model là logistic regression trên hai cột, số lần trễ hạn trong 12 tháng và tỉ lệ trả nợ trên thu nhập, như bài đường ROC và PR. So hai cách train bằng cross validation 5 phần chia theo lớp, đo recall và precision của lớp vỡ nợ cùng ROC-AUC:
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import StratifiedKFold, cross_validate
vay = pd.read_csv("don_vay_tieu_dung.csv")
cot = ["so_lan_tre_han_12_thang", "ti_le_tra_no_thu_nhap"]
cv = StratifiedKFold(5, shuffle=True, random_state=0)
do = ["recall", "precision", "roc_auc"]
for cw in [None, "balanced"]:
m = LogisticRegression(class_weight=cw)
kq = cross_validate(m, vay[cot], vay.vo_no, cv=cv, scoring=do)
print(cw, *(round(kq["test_" + d].mean(), 3) for d in do))KẾT QUẢ
None 0.067 0.516 0.817
balanced 0.71 0.163 0.827Ba cột lần lượt là recall, precision và ROC-AUC. Hai cột đầu đổi chỗ cho nhau: recall từ khoảng 7% lên 71%, precision từ 0,52 xuống 0,16. Fit hai model trên cả bảng rồi đếm số hồ sơ có xác suất trên 0,5 thì thấy vì sao: bản không trọng số chỉ vượt 0,5 ở 0,7% số hồ sơ, bản balanced ở 21%. Cột thứ ba thì gần như đứng yên. ROC-AUC không dùng ngưỡng, chỉ chấm thứ tự xếp hạng, và nó nhích lên 0,010; trên 200 cách chia (random_state 0 đến 199), bản balanced lần nào cũng cao hơn, nhưng chỉ từ 0,008 đến 0,013. Phần nhích đó đến từ khoản phạt L2: khi tổng trọng số hai lớp bằng nhau, phạt đè lên hệ số theo một tỉ lệ khác.
sample_weight= khi fit
class_weight là lối tắt. Cách tổng quát là truyền trọng số cho từng dòng qua sample_weight= của fit(). Cho mỗi dòng trọng số của lớp nó thì được đúng model như class_weight="balanced":
import numpy as np
import pandas as pd
from sklearn.linear_model import LogisticRegression
vay = pd.read_csv("don_vay_tieu_dung.csv")
cot = ["so_lan_tre_han_12_thang", "ti_le_tra_no_thu_nhap"]
X, y = vay[cot], vay.vo_no
a = LogisticRegression(class_weight="balanced").fit(X, y)
w = np.where(y == 1, 3000 / (2 * 149), 3000 / (2 * 2851))
b = LogisticRegression().fit(X, y, sample_weight=w)
print(a.coef_.round(3), a.intercept_.round(3))
print(b.coef_.round(3), b.intercept_.round(3))KẾT QUẢ
[[0.36 3.48]] [-2.154]
[[0.36 3.48]] [-2.154]Hai dòng giống hệt. sample_weight= dùng được cả khi trọng số không theo lớp, chẳng hạn hồ sơ có khoản vay lớn nặng hơn hồ sơ khoản vay nhỏ.
Nhân bản và bỏ bớt dòng
Hai cách cũ hơn đổi chính dữ liệu thay cho trọng số. Oversampling nhân bản dòng của lớp hiếm; undersampling bỏ bớt dòng của lớp đông.
import pandas as pd
from sklearn.linear_model import LogisticRegression
vay = pd.read_csv("don_vay_tieu_dung.csv")
cot = ["so_lan_tre_han_12_thang", "ti_le_tra_no_thu_nhap"]
xau, tot = vay[vay.vo_no == 1], vay[vay.vo_no == 0]
nhan_ban = pd.concat([tot] + [xau] * 19)
bo_bot = pd.concat([tot.sample(149, random_state=0), xau])
for ten, bang in [("nhân bản", nhan_ban), ("bỏ bớt", bo_bot)]:
m = LogisticRegression().fit(bang[cot], bang.vo_no)
print(ten, len(bang), m.coef_.round(3))KẾT QUẢ
nhân bản 5682 [[0.361 3.514]]
bỏ bớt 298 [[0.477 2.779]]Nhân mỗi hồ sơ vỡ nợ thành 19 bản cho hệ số gần như của class_weight="balanced": nhân bản một dòng k lần và cho nó trọng số k là cùng một phép tính, chỉ tốn bộ nhớ hơn. "Gần như" mà không trùng hẳn vì 19 bản ứng với trọng số 1 và 19, không phải 0,526 và 10,067: tỉ số như nhau nhưng tổng trọng số 5.682 thay cho 3.000, nên khoản phạt L2 của logistic nhẹ đi tương đối. Bỏ bớt thì vứt 2.702 hồ sơ tốt; hệ số vì thế phụ thuộc mẫu được giữ. Cả hai bảng mới đều có nửa hồ sơ vỡ nợ. Hệ số thứ hai, 2,779 ở hạt giống này, đi từ 2,31 đến 3,47 ở chín phần mười của 200 hạt giống. Với bảng vài nghìn dòng, trọng số là lựa chọn gọn nhất. Đổi [xau] * 19 thành [xau] * 1 rồi chạy lại: bảng nhân bản trở về bảng gốc, dòng đầu in [[0.458 2.276]] như model không trọng số.
SMOTE là gì
SMOTE là một cách oversampling tạo dòng hiếm mới thay cho chép lại dòng cũ; nó nằm trong thư viện imbalanced-learn, không thuộc scikit-learn và không có trong trình duyệt của trang này, nên cách dùng xem ở tài liệu của imbalanced-learn, và mọi điều của khung bẫy trên vẫn áp cho nó.
Kiểm tra nhanh
Bảng có 1.000 dòng: 900 lớp A và 100 lớp B. Trọng số balanced của lớp B là bao nhiêu?
- 0,1
- 2
- 5
- 9
Thêm
class_weight="balanced"vào một logistic regression trên dữ liệu 1:19. Điều gì hay xảy ra nhất với ba số đo của lớp hiếm?- Recall tăng mạnh, precision giảm, ROC-AUC gần như giữ nguyên
- Cả ba cùng tăng mạnh
- ROC-AUC tăng gấp đôi, recall giữ nguyên
- Recall giảm vì model thận trọng hơn
Những cách nào cho cùng một model logistic regression?
class_weight="balanced"sample_weight=bằng trọng số balanced của lớp từng dòng- Bỏ bớt dòng lớp đông xuống bằng lớp hiếm
- Nhân bản mỗi dòng lớp hiếm đúng
klần, vớiklà tỉ lệ hai lớp
Một bạn nhân bản lớp hiếm cho cân bằng rồi mới chạy cross validation và báo precision 0,79. Vấn đề là gì?
- Không có vấn đề, precision cao là tốt
- Bản sao rơi vào cả phần train lẫn phần kiểm, và phần kiểm không còn tỉ lệ lớp thật
- Cần thêm
class_weight="balanced"sau khi nhân bản
Bài tập
Trọng số balanced cho từng dòng
y là list nhãn của các dòng, có thể là số hay chữ, có hai lớp trở lên. Viết thân hàm trong_so_mau(y) trả trọng số balanced của từng dòng theo công thức trong bài: số dòng chia cho tích của số lớp khác nhau và số dòng của lớp dòng đó. Thứ tự trọng số theo thứ tự các dòng.
Hàm không sửa list của nơi gọi.
Trả về: trọng số của các dòng, mỗi số một float, trong một list.
Ví dụ trong_so_mau([0, 1, 0, 0]) trả khoảng [0.667, 2.0, 0.667, 0.667].
def trong_so_mau(y):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
class_weight="balanced"cho lớp trọng số n / (k · n_c), để tổng trọng số mọi lớp bằng nhau.Trên dữ liệu lệch, nó làm recall tăng mạnh và precision giảm; ROC-AUC chỉ nhích khoảng 0,01.
sample_weight=trongfit()là cách tổng quát; trọng số theo lớp cho đúng model nhưclass_weight.Nhân bản dòng
klần bằng trọng sốk; bỏ bớt dòng làm mất dữ liệu.Nhân bản hay SMOTE chỉ chạy trên phần train, không bao giờ trước khi chia.
Câu hỏi thường gặp
Xác suất của model có class weight balanced còn dùng được không?
Thứ tự thì dùng được, độ lớn thì không: trên bộ vay, model có trọng số cho 21% số hồ sơ xác suất trên 0,5, trong khi chỉ 5% hồ sơ vỡ nợ thật. Cần xác suất sát thật thì hiệu chỉnh lại, như bài calibration.
Có class_weight rồi thì còn phải chọn ngưỡng không?
Có. Trọng số balanced chỉ làm hai lớp nặng ngang nhau, không biết hồ sơ vỡ nợ đắt hơn hồ sơ tốt bao nhiêu. Chọn ngưỡng theo lợi nhuận như bài ngưỡng quyết định là bước riêng.
Model nào trong scikit-learn nhận class_weight?
Hỏi thẳng model: "class_weight" in GaussianNB().get_params() in False, còn với SVC() thì True. Trên scikit-learn 1.8, GaussianNB không có tham số này nhưng fit() của nó nhận sample_weight=; KNeighborsClassifier thì không nhận cả hai, nên với KNN chỉ còn cách nhân bản, bỏ bớt dòng hay chọn ngưỡng.
Chủ đề
Dữ liệu của bài
- Tải xuống
don_vay_tieu_dung.csv
CSV · 239.48 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.