Logistic regression (hồi quy logistic): predict_proba
Bài 2/11 · Chương 5
Phân loại: logistic regression, KNN, SVM, Naive Bayes
- 8 phút
- Cơ bản
- Python 3.14
- Cập nhật
Trong bài này · 13
Logistic regression (hồi quy logistic) là model phân loại tính một điểm tuyến tính từ các cột rồi đưa điểm đó qua hàm sigmoid, nên trả về xác suất thuộc lớp 1 cho từng dòng. Trong scikit-learn, LogisticRegression học hệ số từ bảng dữ liệu, predict_proba() trả xác suất của từng khách và predict() đổi xác suất đó thành nhãn 0/1.
Cần biết trước: hàm sigmoid, pipeline và Ridge và Lasso.
LogisticRegression học w và b từ dữ liệu
Bài sigmoid dùng sẵn hai số w = 0,0163 và b = −2,147 cho cột số ngày từ lần mua cuối. Hai số đó đến từ đây: fit LogisticRegression trên bảng hội viên Sóc Vàng (số giả lập của AIDev) với đúng một cột:
import pandas as pd
from sklearn.linear_model import LogisticRegression
hv = pd.read_csv("hoi_vien.csv")
X = hv[["so_ngay_tu_lan_mua_cuoi"]]
model = LogisticRegression().fit(X, hv["roi_bo"])
print(model.coef_.round(4), model.intercept_.round(3))
moi = pd.DataFrame({"so_ngay_tu_lan_mua_cuoi": [0, 60, 180]})
print(model.predict_proba(moi).round(3))
print(model.predict(moi))KẾT QUẢ
[[0.0163]] [-2.147]
[[0.895 0.105]
[0.764 0.236]
[0.315 0.685]]
[0 0 1]coef_ là mảng hai chiều, một hàng cho mỗi bài toán hai lớp, một cột cho mỗi feature. predict_proba() trả hai cột: xác suất ở lại rồi xác suất bỏ gói, mỗi hàng cộng lại bằng 1. Khách 180 ngày chưa mua có xác suất bỏ gói 0,685 nên predict() báo 1. Đây là số đo trên chính bảng đã học; muốn biết model đoán khách mới tốt đến đâu thì chấm trên tập test như bài ROC-AUC.
Tự tính lại predict_proba từ coef_ và intercept_
Hai số vừa in đủ để dựng lại mọi xác suất của model. Tính điểm z = b + w · x bằng một phép nhân và một phép cộng, so với decision_function() (hàm scikit-learn trả đúng điểm z đó), rồi đưa z qua sigmoid và so với cột thứ hai của predict_proba():
import pandas as pd
from scipy.special import expit
from sklearn.linear_model import LogisticRegression
hv = pd.read_csv("hoi_vien.csv")
X = hv[["so_ngay_tu_lan_mua_cuoi"]]
model = LogisticRegression().fit(X, hv["roi_bo"])
moi = pd.DataFrame({"so_ngay_tu_lan_mua_cuoi": [0, 60, 180]})
z_tay = model.intercept_[0] + model.coef_[0, 0] * moi.iloc[:, 0]
print(z_tay.round(3).tolist())
print(model.decision_function(moi).round(3))
print(expit(z_tay).round(3).tolist())
print(model.predict_proba(moi)[:, 1].round(3))KẾT QUẢ
[-2.147, -1.172, 0.778]
[-2.147 -1.172 0.778]
[0.105, 0.236, 0.685]
[0.105 0.236 0.685]Dòng một và hai khớp nhau, dòng ba và bốn khớp nhau. Đổi 180 thành 365 rồi chạy lại: khách cuối có điểm z gấp gần năm lần trước, và dòng cuối in 0.978. Model có nhiều cột thì z cộng thêm một tích hệ số nhân giá trị cho mỗi cột, như một dòng dự đoán của hồi quy tuyến tính.
predict() so xác suất với 0,5
predict() báo 1 khi xác suất lớp 1 lớn hơn 0,5, tức khi z dương. Trên mười cột số, chia 75/25 có giữ tỉ lệ lớp:
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
hv = pd.read_csv("hoi_vien.csv")
y = hv.pop("roi_bo")
X = hv.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"]
X_tr, X_te, y_tr, y_te = train_test_split(
X, y, test_size=0.25, random_state=0, stratify=y)
pipe = make_pipeline(StandardScaler(), LogisticRegression())
p = pipe.fit(X_tr, y_tr).predict_proba(X_te)[:, 1]
print((pipe.predict(X_te) == (p > 0.5)).all())
print("báo động ở 0,5 và 0,3:", (p > 0.5).sum(), (p > 0.3).sum())
print("rời bỏ thật:", y_te.sum(), "/", len(p))KẾT QUẢ
True
báo động ở 0,5 và 0,3: 60 189
rời bỏ thật: 149 / 750Dòng True xác nhận predict() chỉ là phép so với 0,5. Tập test có 149 người bỏ gói nhưng ngưỡng 0,5 chỉ báo động 60 người, vì phần lớn xác suất nằm dưới mức đó. Hạ xuống 0,3 thì báo 189 người. Con số 0,5 không biết gì về chi phí gọi điện hay giá trị một hội viên; cách chọn ngưỡng theo chi phí nằm ở bài ngưỡng quyết định.
C= là nghịch đảo của độ phạt
LogisticRegression mặc định có phạt độ lớn hệ số kiểu Ridge, và C= là nghịch đảo độ mạnh của khoản phạt: C nhỏ thì phạt nặng, hệ số co về 0; C lớn thì gần như không phạt. Cùng pipeline, bốn giá trị C, in tổng trị tuyệt đối hệ số và số khách bị báo động trên tập test:
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
hv = pd.read_csv("hoi_vien.csv")
y = hv.pop("roi_bo")
X = hv.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"]
X_tr, X_te, y_tr, y_te = train_test_split(
X, y, test_size=0.25, random_state=0, stratify=y)
for C in [0.001, 0.01, 1, 100]:
pipe = make_pipeline(StandardScaler(), LogisticRegression(C=C))
pipe.fit(X_tr, y_tr)
tong = abs(pipe[-1].coef_).sum()
print(C, round(tong, 2), pipe.predict(X_te).sum())KẾT QUẢ
0.001 0.85 0
0.01 2.21 36
1 2.95 60
100 2.97 60Với C = 0,001, hệ số bị ép nhỏ tới mức mọi xác suất dồn về gần tỉ lệ chung 20%, nên không khách nào vượt 0,5. Từ C = 1 trở lên kết quả gần như đứng yên: 3.000 dòng và mười cột chưa đủ để model khớp nhiễu. Chọn C bằng điểm trên dữ liệu kiểm, như cross validation, không chọn trên tập test.
max_iter= và cột chưa scale
Model học hệ số bằng một vòng lặp tối ưu, và max_iter= (mặc định 100) là trần số vòng. Thuộc tính n_iter_ cho biết đã chạy bao nhiêu vòng. So model có scale với model trên cột gốc, nơi chi tiêu tính bằng nghìn đồng còn tỉ lệ giao trễ chỉ từ 0 đến 1:
import warnings
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
hv = pd.read_csv("hoi_vien.csv")
y = hv.pop("roi_bo")
X = hv.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"]
co_scale = make_pipeline(StandardScaler(), LogisticRegression())
print("có scale:", co_scale.fit(X, y)[-1].n_iter_)
with warnings.catch_warnings(record=True) as bat:
warnings.simplefilter("always")
tho = LogisticRegression(max_iter=100).fit(X, y)
print("chưa scale:", tho.n_iter_, bat[0].category.__name__)KẾT QUẢ
có scale: [11]
chưa scale: [100] ConvergenceWarningCó scale, 11 vòng là xong. Chưa scale, model chạm trần 100 vòng và scikit-learn in cảnh báo ConvergenceWarning: hệ số trả về là kết quả dở dang. Trên bảng này, nâng max_iter=1000 vẫn chưa đủ: model cột gốc cần 1.625 vòng mới dừng. Cách chữa gốc là đặt StandardScaler trong pipeline; max_iter= chỉ nên nâng khi đã scale mà vẫn chạm trần.
Kiểm tra nhanh
Sau
from scipy.special import expit,round(float(expit(-2.147 + 0.0163 * 60)), 3)cho kết quả gì?0.2370.763-1.169
Một khách có xác suất lớp
1đúng bằng 0,5.predict()củaLogisticRegressiontrả nhãn nào?1, vì xác suất đã chạm 0,50, vìpredict()chỉ báo1khi xác suất lớn hơn 0,5- Báo lỗi vì hai lớp bằng nhau
Những câu nào đúng về
C=củaLogisticRegression?- C càng nhỏ thì hệ số càng bị co về 0
- Với C rất nhỏ, có thể không khách nào được báo
1ở ngưỡng 0,5 - C càng lớn thì phạt càng nặng
- Đổi C không đổi hệ số, chỉ đổi ngưỡng của
predict()
pipegồmStandardScalerrồiLogisticRegression. Muốn tự tính xác suất cho bảngXtừpipe[-1].coef_, bước nào cần làm trước?- Không cần gì, nhân thẳng
Xvớicoef_[0] - Biến đổi
Xbằngpipe[0].transform(X) - Fit lại
StandardScalertrênX
- Không cần gì, nhân thẳng
Bài tập
Tự tính xác suất của một pipeline logistic
pipe là một pipeline đã fit gồm hai bước, StandardScaler rồi LogisticRegression. X là DataFrame có đúng các cột lúc fit. Viết thân hàm xac_suat_bang_tay(pipe, X) tính xác suất lớp 1 của từng dòng từ coef_ và intercept_ của bước cuối. Không dùng predict_proba(), decision_function() hay predict_log_proba(). Hàm không sửa X của nơi gọi.
Trả về: xác suất của từng dòng theo thứ tự dòng, một ndarray một chiều.
Ví dụ: với pipeline fit trên hai cột số ngày và số lần khiếu nại, bảng ba khách cho ba xác suất, khớp pipe.predict_proba(X)[:, 1].
import numpy as np
from scipy.special import expit
def xac_suat_bang_tay(pipe, X):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
LogisticRegression().fit(X, y)họccoef_vàintercept_; cột thứ hai củapredict_proba(X)cho khả năng bỏ gói.Xác suất bằng sigmoid của z =
intercept_[0]cộng tổng hệ số nhân giá trị;decision_function()trả z.Model trong pipeline có scaler: biến đổi bảng bằng
pipe[0].transform()trước khi nhân với hệ số.predict()báo1khi xác suất lớn hơn 0,5; ngưỡng 0,5 chỉ là mặc định.C=nhỏ thì phạt mạnh, hệ số co về 0;n_iter_chạmmax_iter=là dấu hiệu cột chưa scale.
Câu hỏi thường gặp
Vì sao hồi quy logistic mang tên hồi quy mà lại dùng để phân loại?
Tên có chữ hồi quy vì phần bên trong là một điểm tuyến tính như hồi quy, nhưng đầu ra là xác suất của một lớp nên nó dùng cho phân loại. Phần đổi điểm thành xác suất nằm ở bài hàm sigmoid.
Mô hình hồi quy logistic có cần scale dữ liệu không?
Nên scale. Trên cột chưa scale, bộ tối ưu chạm trần số vòng và trả hệ số dở dang, còn khoản phạt của C= thì đối xử không đều với các cột khác đơn vị. Đặt StandardScaler trong pipeline như bài pipeline để scaler chỉ học trên phần train.
Nhãn có ba lớp thì dùng logistic regression sklearn được không?
Được. Với ba lớp trở lên, LogisticRegression học một hàng hệ số cho mỗi lớp và đổi các điểm thành xác suất cộng lại bằng 1, nên coef_ có số hàng bằng số lớp. Cách đọc từng hệ số của bài toán hai lớp nằm ở bài hệ số và odds.
Vì sao điểm train của logistic regression gần bằng điểm test?
Model tuyến tính trên mười cột có ít hệ số để khớp nhiễu, nhất là khi có phạt C=. Khoảng cách lớn giữa hai điểm thường xuất hiện ở model linh hoạt hơn như KNN với K nhỏ; bài rò rỉ dữ liệu nói khi nào điểm test cao bất thường.
Chủ đề
Dữ liệu của bài
- Tải xuống
hoi_vien.csv
CSV · 207.25 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.