Bỏ qua đến nội dung chính
Mục lục

Logistic regression (hồi quy logistic): predict_proba

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 2/11 · Chương 5

Phân loại: logistic regression, KNN, SVM, Naive Bayes

  • 8 phút
  • Cơ bản
  • Python 3.14
  • Cập nhật

Logistic regression (hồi quy logistic) là model phân loại tính một điểm tuyến tính từ các cột rồi đưa điểm đó qua hàm sigmoid, nên trả về xác suất thuộc lớp 1 cho từng dòng. Trong scikit-learn, LogisticRegression học hệ số từ bảng dữ liệu, predict_proba() trả xác suất của từng khách và predict() đổi xác suất đó thành nhãn 0/1.

Cần biết trước: hàm sigmoid, pipeline và Ridge và Lasso.

LogisticRegression học w và b từ dữ liệu

Bài sigmoid dùng sẵn hai số w = 0,0163 và b = −2,147 cho cột số ngày từ lần mua cuối. Hai số đó đến từ đây: fit LogisticRegression trên bảng hội viên Sóc Vàng (số giả lập của AIDev) với đúng một cột:

python
import pandas as pd
from sklearn.linear_model import LogisticRegression
hv = pd.read_csv("hoi_vien.csv")
X = hv[["so_ngay_tu_lan_mua_cuoi"]]
model = LogisticRegression().fit(X, hv["roi_bo"])
print(model.coef_.round(4), model.intercept_.round(3))
moi = pd.DataFrame({"so_ngay_tu_lan_mua_cuoi": [0, 60, 180]})
print(model.predict_proba(moi).round(3))
print(model.predict(moi))

KẾT QUẢ

[[0.0163]] [-2.147]
[[0.895 0.105]
 [0.764 0.236]
 [0.315 0.685]]
[0 0 1]

coef_ là mảng hai chiều, một hàng cho mỗi bài toán hai lớp, một cột cho mỗi feature. predict_proba() trả hai cột: xác suất ở lại rồi xác suất bỏ gói, mỗi hàng cộng lại bằng 1. Khách 180 ngày chưa mua có xác suất bỏ gói 0,685 nên predict() báo 1. Đây là số đo trên chính bảng đã học; muốn biết model đoán khách mới tốt đến đâu thì chấm trên tập test như bài ROC-AUC.

Tự tính lại predict_proba từ coef_ và intercept_

Hai số vừa in đủ để dựng lại mọi xác suất của model. Tính điểm z = b + w · x bằng một phép nhân và một phép cộng, so với decision_function() (hàm scikit-learn trả đúng điểm z đó), rồi đưa z qua sigmoid và so với cột thứ hai của predict_proba():

python
import pandas as pd
from scipy.special import expit
from sklearn.linear_model import LogisticRegression
hv = pd.read_csv("hoi_vien.csv")
X = hv[["so_ngay_tu_lan_mua_cuoi"]]
model = LogisticRegression().fit(X, hv["roi_bo"])
moi = pd.DataFrame({"so_ngay_tu_lan_mua_cuoi": [0, 60, 180]})
z_tay = model.intercept_[0] + model.coef_[0, 0] * moi.iloc[:, 0]
print(z_tay.round(3).tolist())
print(model.decision_function(moi).round(3))
print(expit(z_tay).round(3).tolist())
print(model.predict_proba(moi)[:, 1].round(3))

KẾT QUẢ

[-2.147, -1.172, 0.778]
[-2.147 -1.172  0.778]
[0.105, 0.236, 0.685]
[0.105 0.236 0.685]

Dòng một và hai khớp nhau, dòng ba và bốn khớp nhau. Đổi 180 thành 365 rồi chạy lại: khách cuối có điểm z gấp gần năm lần trước, và dòng cuối in 0.978. Model có nhiều cột thì z cộng thêm một tích hệ số nhân giá trị cho mỗi cột, như một dòng dự đoán của hồi quy tuyến tính.

predict() so xác suất với 0,5

predict() báo 1 khi xác suất lớp 1 lớn hơn 0,5, tức khi z dương. Trên mười cột số, chia 75/25 có giữ tỉ lệ lớp:

python
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
hv = pd.read_csv("hoi_vien.csv")
y = hv.pop("roi_bo")
X = hv.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"]
X_tr, X_te, y_tr, y_te = train_test_split(
    X, y, test_size=0.25, random_state=0, stratify=y)
pipe = make_pipeline(StandardScaler(), LogisticRegression())
p = pipe.fit(X_tr, y_tr).predict_proba(X_te)[:, 1]
print((pipe.predict(X_te) == (p > 0.5)).all())
print("báo động ở 0,5 và 0,3:", (p > 0.5).sum(), (p > 0.3).sum())
print("rời bỏ thật:", y_te.sum(), "/", len(p))

KẾT QUẢ

True
báo động ở 0,5 và 0,3: 60 189
rời bỏ thật: 149 / 750

Dòng True xác nhận predict() chỉ là phép so với 0,5. Tập test có 149 người bỏ gói nhưng ngưỡng 0,5 chỉ báo động 60 người, vì phần lớn xác suất nằm dưới mức đó. Hạ xuống 0,3 thì báo 189 người. Con số 0,5 không biết gì về chi phí gọi điện hay giá trị một hội viên; cách chọn ngưỡng theo chi phí nằm ở bài ngưỡng quyết định.

C= là nghịch đảo của độ phạt

LogisticRegression mặc định có phạt độ lớn hệ số kiểu Ridge, và C= là nghịch đảo độ mạnh của khoản phạt: C nhỏ thì phạt nặng, hệ số co về 0; C lớn thì gần như không phạt. Cùng pipeline, bốn giá trị C, in tổng trị tuyệt đối hệ số và số khách bị báo động trên tập test:

python
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
hv = pd.read_csv("hoi_vien.csv")
y = hv.pop("roi_bo")
X = hv.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"]
X_tr, X_te, y_tr, y_te = train_test_split(
    X, y, test_size=0.25, random_state=0, stratify=y)
for C in [0.001, 0.01, 1, 100]:
    pipe = make_pipeline(StandardScaler(), LogisticRegression(C=C))
    pipe.fit(X_tr, y_tr)
    tong = abs(pipe[-1].coef_).sum()
    print(C, round(tong, 2), pipe.predict(X_te).sum())

KẾT QUẢ

0.001 0.85 0
0.01 2.21 36
1 2.95 60
100 2.97 60

Với C = 0,001, hệ số bị ép nhỏ tới mức mọi xác suất dồn về gần tỉ lệ chung 20%, nên không khách nào vượt 0,5. Từ C = 1 trở lên kết quả gần như đứng yên: 3.000 dòng và mười cột chưa đủ để model khớp nhiễu. Chọn C bằng điểm trên dữ liệu kiểm, như cross validation, không chọn trên tập test.

max_iter= và cột chưa scale

Model học hệ số bằng một vòng lặp tối ưu, và max_iter= (mặc định 100) là trần số vòng. Thuộc tính n_iter_ cho biết đã chạy bao nhiêu vòng. So model có scale với model trên cột gốc, nơi chi tiêu tính bằng nghìn đồng còn tỉ lệ giao trễ chỉ từ 0 đến 1:

python
import warnings
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
hv = pd.read_csv("hoi_vien.csv")
y = hv.pop("roi_bo")
X = hv.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"]
co_scale = make_pipeline(StandardScaler(), LogisticRegression())
print("có scale:", co_scale.fit(X, y)[-1].n_iter_)
with warnings.catch_warnings(record=True) as bat:
    warnings.simplefilter("always")
    tho = LogisticRegression(max_iter=100).fit(X, y)
print("chưa scale:", tho.n_iter_, bat[0].category.__name__)

KẾT QUẢ

có scale: [11]
chưa scale: [100] ConvergenceWarning

Có scale, 11 vòng là xong. Chưa scale, model chạm trần 100 vòng và scikit-learn in cảnh báo ConvergenceWarning: hệ số trả về là kết quả dở dang. Trên bảng này, nâng max_iter=1000 vẫn chưa đủ: model cột gốc cần 1.625 vòng mới dừng. Cách chữa gốc là đặt StandardScaler trong pipeline; max_iter= chỉ nên nâng khi đã scale mà vẫn chạm trần.

Kiểm tra nhanh

  1. Sau from scipy.special import expit, round(float(expit(-2.147 + 0.0163 * 60)), 3) cho kết quả gì?

    • 0.237
    • 0.763
    • -1.169
  2. Một khách có xác suất lớp 1 đúng bằng 0,5. predict() của LogisticRegression trả nhãn nào?

    • 1, vì xác suất đã chạm 0,5
    • 0, vì predict() chỉ báo 1 khi xác suất lớn hơn 0,5
    • Báo lỗi vì hai lớp bằng nhau
  3. Những câu nào đúng về C= của LogisticRegression?

    • C càng nhỏ thì hệ số càng bị co về 0
    • Với C rất nhỏ, có thể không khách nào được báo 1 ở ngưỡng 0,5
    • C càng lớn thì phạt càng nặng
    • Đổi C không đổi hệ số, chỉ đổi ngưỡng của predict()
  4. pipe gồm StandardScaler rồi LogisticRegression. Muốn tự tính xác suất cho bảng X từ pipe[-1].coef_, bước nào cần làm trước?

    • Không cần gì, nhân thẳng X với coef_[0]
    • Biến đổi X bằng pipe[0].transform(X)
    • Fit lại StandardScaler trên X
Đúng hết lần đầu +15 XP

Bài tập

Tự tính xác suất của một pipeline logistic

pipe là một pipeline đã fit gồm hai bước, StandardScaler rồi LogisticRegression. X là DataFrame có đúng các cột lúc fit. Viết thân hàm xac_suat_bang_tay(pipe, X) tính xác suất lớp 1 của từng dòng từ coef_ và intercept_ của bước cuối. Không dùng predict_proba(), decision_function() hay predict_log_proba(). Hàm không sửa X của nơi gọi.

Trả về: xác suất của từng dòng theo thứ tự dòng, một ndarray một chiều.

Ví dụ: với pipeline fit trên hai cột số ngày và số lần khiếu nại, bảng ba khách cho ba xác suất, khớp pipe.predict_proba(X)[:, 1].

python
import numpy as np
from scipy.special import expit

def xac_suat_bang_tay(pipe, X):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • LogisticRegression().fit(X, y) học coef_ và intercept_; cột thứ hai của predict_proba(X) cho khả năng bỏ gói.

  • Xác suất bằng sigmoid của z = intercept_[0] cộng tổng hệ số nhân giá trị; decision_function() trả z.

  • Model trong pipeline có scaler: biến đổi bảng bằng pipe[0].transform() trước khi nhân với hệ số.

  • predict() báo 1 khi xác suất lớn hơn 0,5; ngưỡng 0,5 chỉ là mặc định.

  • C= nhỏ thì phạt mạnh, hệ số co về 0; n_iter_ chạm max_iter= là dấu hiệu cột chưa scale.

Câu hỏi thường gặp

Vì sao hồi quy logistic mang tên hồi quy mà lại dùng để phân loại?

Tên có chữ hồi quy vì phần bên trong là một điểm tuyến tính như hồi quy, nhưng đầu ra là xác suất của một lớp nên nó dùng cho phân loại. Phần đổi điểm thành xác suất nằm ở bài hàm sigmoid.

Mô hình hồi quy logistic có cần scale dữ liệu không?

Nên scale. Trên cột chưa scale, bộ tối ưu chạm trần số vòng và trả hệ số dở dang, còn khoản phạt của C= thì đối xử không đều với các cột khác đơn vị. Đặt StandardScaler trong pipeline như bài pipeline để scaler chỉ học trên phần train.

Nhãn có ba lớp thì dùng logistic regression sklearn được không?

Được. Với ba lớp trở lên, LogisticRegression học một hàng hệ số cho mỗi lớp và đổi các điểm thành xác suất cộng lại bằng 1, nên coef_ có số hàng bằng số lớp. Cách đọc từng hệ số của bài toán hai lớp nằm ở bài hệ số và odds.

Vì sao điểm train của logistic regression gần bằng điểm test?

Model tuyến tính trên mười cột có ít hệ số để khớp nhiễu, nhất là khi có phạt C=. Khoảng cách lớn giữa hai điểm thường xuất hiện ở model linh hoạt hơn như KNN với K nhỏ; bài rò rỉ dữ liệu nói khi nào điểm test cao bất thường.

Chủ đề

logistic regression

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập