Bỏ qua đến nội dung chính
Mục lục

class_weight balanced trong sklearn: trọng số cho lớp hiếm

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 4/9 · Chương 7

Xác suất, ngưỡng và dữ liệu mất cân bằng

  • 8 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Class weight (trọng số lớp) cho mỗi dòng của lớp hiếm nặng hơn khi model học, để model không bỏ qua lớp đó. Trong scikit-learn, đặt class_weight="balanced" thì trọng số của lớp cc là số dòng chia cho số lớp nhân số dòng của lớp cc. Kết quả thường gặp: recall của lớp hiếm tăng mạnh, precision giảm, còn ROC-AUC gần như đứng yên.

Cần biết trước: dữ liệu mất cân bằng, logistic regression và cross validation.

Trọng số balanced tính thế nào

Khi fit, mỗi dòng góp một phần vào hàm mất mát. Trọng số 10 nghĩa là dòng đó được tính như 10 dòng giống hệt. Chế độ "balanced" chọn trọng số sao cho tổng trọng số của mọi lớp bằng nhau:

wc=nk⋅ncw_c = \frac{n}{k \cdot n_c}

Trong đó:

  • nn (len(y)): tổng số dòng.

  • kk: số lớp, ở đây 2.

  • ncn_c: số dòng của lớp cc.

Tính tay cho bộ don_vay_tieu_dung.csv (số giả lập của AIDev): 2.851 hồ sơ tốt và 149 hồ sơ vỡ nợ, nên w0w_0 = 3000 / (2 · 2851) ≈ 0,526 và w1w_1 = 3000 / (2 · 149) ≈ 10,07. Tổng trọng số mỗi lớp là 1.500, bằng nhau. scikit-learn tính giùm bằng compute_class_weight:

python
import numpy as np
import pandas as pd
from sklearn.utils.class_weight import compute_class_weight

y = pd.read_csv("don_vay_tieu_dung.csv")["vo_no"]
print(y.value_counts().to_dict())
w = compute_class_weight("balanced", classes=np.array([0, 1]), y=y)
print(w.round(3))
print(round(3000 / (2 * 2851), 3), round(3000 / (2 * 149), 3))

KẾT QUẢ

{0: 2851, 1: 149}
[ 0.526 10.067]
0.526 10.067

Chia hai trọng số cho nhau, nn và kk triệt tiêu: 10,067 / 0,526 ≈ 2.851 / 149 ≈ 19,1. Tỉ số trọng số chỉ là tỉ số số dòng, lật ngược.

class_weight="balanced" so với không trọng số

Model là logistic regression trên hai cột, số lần trễ hạn trong 12 tháng và tỉ lệ trả nợ trên thu nhập, như bài đường ROC và PR. So hai cách train bằng cross validation 5 phần chia theo lớp, đo recall và precision của lớp vỡ nợ cùng ROC-AUC:

python
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import StratifiedKFold, cross_validate
vay = pd.read_csv("don_vay_tieu_dung.csv")
cot = ["so_lan_tre_han_12_thang", "ti_le_tra_no_thu_nhap"]
cv = StratifiedKFold(5, shuffle=True, random_state=0)
do = ["recall", "precision", "roc_auc"]
for cw in [None, "balanced"]:
    m = LogisticRegression(class_weight=cw)
    kq = cross_validate(m, vay[cot], vay.vo_no, cv=cv, scoring=do)
    print(cw, *(round(kq["test_" + d].mean(), 3) for d in do))

KẾT QUẢ

None 0.067 0.516 0.817
balanced 0.71 0.163 0.827

Ba cột lần lượt là recall, precision và ROC-AUC. Hai cột đầu đổi chỗ cho nhau: recall từ khoảng 7% lên 71%, precision từ 0,52 xuống 0,16. Fit hai model trên cả bảng rồi đếm số hồ sơ có xác suất trên 0,5 thì thấy vì sao: bản không trọng số chỉ vượt 0,5 ở 0,7% số hồ sơ, bản balanced ở 21%. Cột thứ ba thì gần như đứng yên. ROC-AUC không dùng ngưỡng, chỉ chấm thứ tự xếp hạng, và nó nhích lên 0,010; trên 200 cách chia (random_state 0 đến 199), bản balanced lần nào cũng cao hơn, nhưng chỉ từ 0,008 đến 0,013. Phần nhích đó đến từ khoản phạt L2: khi tổng trọng số hai lớp bằng nhau, phạt đè lên hệ số theo một tỉ lệ khác.

sample_weight= khi fit

class_weight là lối tắt. Cách tổng quát là truyền trọng số cho từng dòng qua sample_weight= của fit(). Cho mỗi dòng trọng số của lớp nó thì được đúng model như class_weight="balanced":

python
import numpy as np
import pandas as pd
from sklearn.linear_model import LogisticRegression

vay = pd.read_csv("don_vay_tieu_dung.csv")
cot = ["so_lan_tre_han_12_thang", "ti_le_tra_no_thu_nhap"]
X, y = vay[cot], vay.vo_no
a = LogisticRegression(class_weight="balanced").fit(X, y)
w = np.where(y == 1, 3000 / (2 * 149), 3000 / (2 * 2851))
b = LogisticRegression().fit(X, y, sample_weight=w)
print(a.coef_.round(3), a.intercept_.round(3))
print(b.coef_.round(3), b.intercept_.round(3))

KẾT QUẢ

[[0.36 3.48]] [-2.154]
[[0.36 3.48]] [-2.154]

Hai dòng giống hệt. sample_weight= dùng được cả khi trọng số không theo lớp, chẳng hạn hồ sơ có khoản vay lớn nặng hơn hồ sơ khoản vay nhỏ.

Nhân bản và bỏ bớt dòng

Hai cách cũ hơn đổi chính dữ liệu thay cho trọng số. Oversampling nhân bản dòng của lớp hiếm; undersampling bỏ bớt dòng của lớp đông.

python
import pandas as pd
from sklearn.linear_model import LogisticRegression

vay = pd.read_csv("don_vay_tieu_dung.csv")
cot = ["so_lan_tre_han_12_thang", "ti_le_tra_no_thu_nhap"]
xau, tot = vay[vay.vo_no == 1], vay[vay.vo_no == 0]
nhan_ban = pd.concat([tot] + [xau] * 19)
bo_bot = pd.concat([tot.sample(149, random_state=0), xau])
for ten, bang in [("nhân bản", nhan_ban), ("bỏ bớt", bo_bot)]:
    m = LogisticRegression().fit(bang[cot], bang.vo_no)
    print(ten, len(bang), m.coef_.round(3))

KẾT QUẢ

nhân bản 5682 [[0.361 3.514]]
bỏ bớt 298 [[0.477 2.779]]

Nhân mỗi hồ sơ vỡ nợ thành 19 bản cho hệ số gần như của class_weight="balanced": nhân bản một dòng k lần và cho nó trọng số k là cùng một phép tính, chỉ tốn bộ nhớ hơn. "Gần như" mà không trùng hẳn vì 19 bản ứng với trọng số 1 và 19, không phải 0,526 và 10,067: tỉ số như nhau nhưng tổng trọng số 5.682 thay cho 3.000, nên khoản phạt L2 của logistic nhẹ đi tương đối. Bỏ bớt thì vứt 2.702 hồ sơ tốt; hệ số vì thế phụ thuộc mẫu được giữ. Cả hai bảng mới đều có nửa hồ sơ vỡ nợ. Hệ số thứ hai, 2,779 ở hạt giống này, đi từ 2,31 đến 3,47 ở chín phần mười của 200 hạt giống. Với bảng vài nghìn dòng, trọng số là lựa chọn gọn nhất. Đổi [xau] * 19 thành [xau] * 1 rồi chạy lại: bảng nhân bản trở về bảng gốc, dòng đầu in [[0.458 2.276]] như model không trọng số.

SMOTE là gì

SMOTE là một cách oversampling tạo dòng hiếm mới thay cho chép lại dòng cũ; nó nằm trong thư viện imbalanced-learn, không thuộc scikit-learn và không có trong trình duyệt của trang này, nên cách dùng xem ở tài liệu của imbalanced-learn, và mọi điều của khung bẫy trên vẫn áp cho nó.

Kiểm tra nhanh

  1. Bảng có 1.000 dòng: 900 lớp A và 100 lớp B. Trọng số balanced của lớp B là bao nhiêu?

    • 0,1
    • 2
    • 5
    • 9
  2. Thêm class_weight="balanced" vào một logistic regression trên dữ liệu 1:19. Điều gì hay xảy ra nhất với ba số đo của lớp hiếm?

    • Recall tăng mạnh, precision giảm, ROC-AUC gần như giữ nguyên
    • Cả ba cùng tăng mạnh
    • ROC-AUC tăng gấp đôi, recall giữ nguyên
    • Recall giảm vì model thận trọng hơn
  3. Những cách nào cho cùng một model logistic regression?

    • class_weight="balanced"
    • sample_weight= bằng trọng số balanced của lớp từng dòng
    • Bỏ bớt dòng lớp đông xuống bằng lớp hiếm
    • Nhân bản mỗi dòng lớp hiếm đúng k lần, với k là tỉ lệ hai lớp
  4. Một bạn nhân bản lớp hiếm cho cân bằng rồi mới chạy cross validation và báo precision 0,79. Vấn đề là gì?

    • Không có vấn đề, precision cao là tốt
    • Bản sao rơi vào cả phần train lẫn phần kiểm, và phần kiểm không còn tỉ lệ lớp thật
    • Cần thêm class_weight="balanced" sau khi nhân bản
Đúng hết lần đầu +15 XP

Bài tập

Trọng số balanced cho từng dòng

y là list nhãn của các dòng, có thể là số hay chữ, có hai lớp trở lên. Viết thân hàm trong_so_mau(y) trả trọng số balanced của từng dòng theo công thức trong bài: số dòng chia cho tích của số lớp khác nhau và số dòng của lớp dòng đó. Thứ tự trọng số theo thứ tự các dòng.

Hàm không sửa list của nơi gọi.

Trả về: trọng số của các dòng, mỗi số một float, trong một list.

Ví dụ trong_so_mau([0, 1, 0, 0]) trả khoảng [0.667, 2.0, 0.667, 0.667].

python
def trong_so_mau(y):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • class_weight="balanced" cho lớp cc trọng số n / (k · n_c), để tổng trọng số mọi lớp bằng nhau.

  • Trên dữ liệu lệch, nó làm recall tăng mạnh và precision giảm; ROC-AUC chỉ nhích khoảng 0,01.

  • sample_weight= trong fit() là cách tổng quát; trọng số theo lớp cho đúng model như class_weight.

  • Nhân bản dòng k lần bằng trọng số k; bỏ bớt dòng làm mất dữ liệu.

  • Nhân bản hay SMOTE chỉ chạy trên phần train, không bao giờ trước khi chia.

Câu hỏi thường gặp

Xác suất của model có class weight balanced còn dùng được không?

Thứ tự thì dùng được, độ lớn thì không: trên bộ vay, model có trọng số cho 21% số hồ sơ xác suất trên 0,5, trong khi chỉ 5% hồ sơ vỡ nợ thật. Cần xác suất sát thật thì hiệu chỉnh lại, như bài calibration.

Có class_weight rồi thì còn phải chọn ngưỡng không?

Có. Trọng số balanced chỉ làm hai lớp nặng ngang nhau, không biết hồ sơ vỡ nợ đắt hơn hồ sơ tốt bao nhiêu. Chọn ngưỡng theo lợi nhuận như bài ngưỡng quyết định là bước riêng.

Model nào trong scikit-learn nhận class_weight?

Hỏi thẳng model: "class_weight" in GaussianNB().get_params() in False, còn với SVC() thì True. Trên scikit-learn 1.8, GaussianNB không có tham số này nhưng fit() của nó nhận sample_weight=; KNeighborsClassifier thì không nhận cả hai, nên với KNN chỉ còn cách nhân bản, bỏ bớt dòng hay chọn ngưỡng.

Chủ đề

class weight

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập