Hàm sigmoid: từ điểm số sang xác suất cho nhãn 0/1
Bài 1/11 · Chương 5
Phân loại: logistic regression, KNN, SVM, Naive Bayes
- 8 phút
- Cơ bản
- Python 3.14
- Cập nhật
Trong bài này · 12
Hàm sigmoid σ(z) = 1 / (1 + e⁻ᶻ) nhận một điểm số z bất kỳ, âm hay dương, và trả về một số nằm giữa 0 và 1, nên đọc được như một xác suất. Bạn cần nó khi muốn đoán khả năng một thành viên bỏ gói hội viên, thay cho một con số dự đoán có thể âm hay vượt quá 100%.
Cần biết trước: hồi quy tuyến tính, linear regression trong sklearn và ROC-AUC.
Hồi quy tuyến tính trên nhãn 0/1 gãy ở đâu
Cột roi_bo của bảng hội viên Sóc Vàng (số giả lập của AIDev) nhận 1 khi thành viên bỏ gói và 0 khi ở lại. Cách thử đầu tiên là fit LinearRegression lên cột đó, với feature là số lần đăng nhập trong 30 ngày (so_lan_dang_nhap_30_ngay), rồi coi số đoán ra là xác suất bỏ gói. Trước khi fit, xem tỉ lệ bỏ gói thật theo bốn nhóm số lần đăng nhập. pd.cut() chia cột theo các mốc cho sẵn; nhãn (2, 5] nghĩa là từ 3 đến 5 lần:
import pandas as pd
hv = pd.read_csv("hoi_vien.csv")
cot = "so_lan_dang_nhap_30_ngay"
nhom = pd.cut(hv[cot], [-1, 2, 5, 10, 40])
print(hv.groupby(nhom, observed=True)["roi_bo"].mean().round(2))KẾT QUẢ
so_lan_dang_nhap_30_ngay
(-1, 2] 0.42
(2, 5] 0.26
(5, 10] 0.16
(10, 40] 0.07
Name: roi_bo, dtype: float64Tỉ lệ giảm khi khách đăng nhập nhiều hơn, nhưng giảm chậm dần: nhóm chăm nhất còn 0,07 và một tỉ lệ không bao giờ xuống dưới 0. Một đường thẳng thì giảm đều mãi, nên đi qua 0 rồi tiếp tục xuống.
Công thức của hàm sigmoid
Hàm sigmoid lấy lũy thừa của −z, cộng 1, rồi lấy nghịch đảo:
Trong đó:
z (
z): điểm số đầu vào, một số thực bất kỳ.e (
math.e,np.exp(1)): hằng số Euler, khoảng 2,718.σ(z) (
1 / (1 + math.exp(-z))): kết quả, luôn lớn hơn 0 và nhỏ hơn 1.
Điểm z càng thấp thì e⁻ᶻ phình ra, mẫu số lớn dần và σ(z) tụt về gần 0. Điểm z càng cao thì e⁻ᶻ teo lại, mẫu số về gần 1 và σ(z) tiến tới 1. Hàm sigmoid giống một cái van: mở dần theo z, không bao giờ đóng hẳn hay mở quá mức.
Tính tay năm điểm z, mỗi dòng in z, e⁻ᶻ và σ(z):
import math
for z in [-4, -1.5, 0, 0.8, 2.5]:
mu = math.exp(-z)
print(z, round(mu, 4), round(1 / (1 + mu), 4))KẾT QUẢ
-4 54.5982 0.018
-1.5 4.4817 0.1824
0 1.0 0.5
0.8 0.4493 0.69
2.5 0.0821 0.9241z | e⁻ᶻ | 1 + e⁻ᶻ | σ(z) |
|---|---|---|---|
−4 | 54,5982 | 55,5982 | 0,018 |
0 | 1 | 2 | 0,5 |
2,5 | 0,0821 | 1,0821 | 0,9241 |
Đổi 0.8 thành -0.8 rồi chạy lại: dòng đó in 0.31, đúng bằng 1 − 0,69, vì σ(−z) = 1 − σ(z).
Sigmoid bằng NumPy và scipy.special.expit
Trên cả mảng, viết lại công thức với np.exp(), hay gọi expit của SciPy, hàm sigmoid viết sẵn:
import numpy as np
from scipy.special import expit
z = np.array([-4, -1.5, 0, 0.8, 2.5])
print((1 / (1 + np.exp(-z))).round(4))
print(expit(z).round(4))KẾT QUẢ
[0.018 0.1824 0.5 0.69 0.9241]
[0.018 0.1824 0.5 0.69 0.9241]Hai dòng khớp với bảng tính tay. Vẽ σ(z) trên dãy 200 điểm từ −8 đến 8 tạo bằng np.linspace() cho thấy hình chữ S:
import numpy as np
import matplotlib.pyplot as plt
from scipy.special import expit
z = np.linspace(-8, 8, 200)
fig, ax = plt.subplots(figsize=(6.4, 4), layout="constrained")
ax.plot(z, expit(z))
ax.axhline(0.5, color="gray", linestyle="--", label="σ(z) = 0,5")
ax.set_title("Hàm sigmoid nén mọi điểm z vào khoảng 0 đến 1")
ax.set(xlabel="Điểm z", ylabel="σ(z)")
ax.legend()
plt.show()Đường cong dốc nhất quanh z = 0 và gần như nằm ngang khi z ra ngoài khoảng −5 đến 5: thêm điểm cho một khách đã chắc chắn bỏ gói gần như không đổi xác suất.
Từ điểm số tuyến tính sang xác suất
Logistic regression tính điểm z giống hệt một model tuyến tính, hệ số chặn b cộng tổng từng hệ số nhân giá trị cột, và chỉ thêm một bước cuối: σ(z). Với một cột, giả sử model đã học được w = 0,0163 cho số ngày và b = −2,147:
import numpy as np
from scipy.special import expit
w, b = 0.0163, -2.147
ngay = np.array([0, 30, 60, 120, 365])
z = w * ngay + b
print(z.round(2))
print(expit(z).round(3))KẾT QUẢ
[-2.15 -1.66 -1.17 -0.19 3.8 ]
[0.105 0.16 0.237 0.452 0.978]Điểm z đi từ −2,15 tới 3,8 nhưng xác suất luôn trong khoảng 0 đến 1. Bài logistic regression học w và b từ dữ liệu; bài log-loss nói con số model làm nhỏ khi học, tính từ chính các xác suất này.
Xác suất 0,3 không nói khách nào bỏ gói. Nó nói trong nhiều khách cùng điểm, khoảng 30% bỏ gói. Mô phỏng 10.000 khách cho mỗi điểm z, rút nhãn theo đúng xác suất σ(z):
import numpy as np
from scipy.special import expit
rng = np.random.default_rng(7)
z = np.array([-2.0, -0.85, 0.85])
p = expit(z)
roi_bo = rng.random((10_000, 3)) < p
print("σ(z): ", p.round(3))
print("tỉ lệ thật:", roi_bo.mean(axis=0).round(3))KẾT QUẢ
σ(z): [0.119 0.299 0.701]
tỉ lệ thật: [0.114 0.299 0.699]Lần chạy này cho tỉ lệ lệch σ(z) không quá 0,005. Đổi hạt giống 7 thành số khác, các tỉ lệ đổi ở chữ số thứ ba. Đây cũng là lý do ROC-AUC chấm thứ hạng của các xác suất, không chấm từng nhãn.
Kiểm tra nhanh
Sau
import math,1 / (1 + math.exp(0))cho kết quả gì?0.00.51.0
Những câu nào đúng về
LinearRegressionfit trên nhãn 0/1?- Nó có thể đoán ra số âm hay lớn hơn 1 cho khách ở rìa dữ liệu
- Nó đoán theo một đường thẳng, không uốn theo tỉ lệ chững lại
- Nó báo lỗi vì nhãn chỉ có hai giá trị
- Số nó đoán luôn nằm giữa 0 và 1 vì nhãn nằm giữa 0 và 1
Sau
import math,1 / (1 + math.exp(1000))báo lỗi gì?- Báo lỗi
ZeroDivisionError - Báo lỗi
ValueError - Báo lỗi
OverflowError
- Báo lỗi
Model cho 2.000 khách cùng xác suất bỏ gói 0,3. Trong nhóm này nên chờ đợi điều gì?
- Mỗi khách bỏ 30% số ngày còn lại của gói
- Khoảng 600 khách bỏ gói
- Không khách nào bỏ gói vì 0,3 nhỏ hơn 0,5
Bài tập
Đổi điểm tuyến tính thành xác suất
Một model phân loại có he_so là list hệ số w₁…wₙ và chan là hệ số chặn b. hang là list giá trị x₁…xₙ của một khách, cùng độ dài với he_so. Viết thân hàm xac_suat(he_so, chan, hang): tính điểm z = b + w₁x₁ + … + wₙxₙ, rồi trả σ(z). Hàm phải chạy cả khi z rất âm hay rất dương (cỡ ±1000). Hàm không sửa hai list của nơi gọi.
Trả về: xác suất σ(z), một float.
Ví dụ: xac_suat([0.016], -2.15, [60]) cho khoảng 0.2333.
def xac_suat(he_so, chan, hang):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
LinearRegressiontrên nhãn 0/1 đoán theo đường thẳng, nên ra số âm hay lớn hơn 1 ở rìa dữ liệu.Hàm sigmoid σ(z) = 1 / (1 + e⁻ᶻ) trả số giữa 0 và 1; σ(0) = 0,5.
Tính bằng
1 / (1 + np.exp(-z))hayexpit(z);math.exptràn số khi z rất âm.Logistic regression lấy điểm tuyến tính z = b + Σ wᵢxᵢ làm đầu vào của sigmoid để ra xác suất.
Xác suất 0,3 nghĩa là khoảng 30% số khách cùng điểm bỏ gói.
Câu hỏi thường gặp
Khi nào dùng softmax thay cho sigmoid function?
Softmax dùng khi nhãn có ba lớp trở lên. Sigmoid nhận một điểm và trả xác suất của một lớp, hợp với nhãn hai giá trị. Softmax nhận một điểm cho mỗi lớp và trả các xác suất cộng lại bằng 1. Với hai lớp, softmax trên hai điểm cho đúng kết quả của sigmoid trên hiệu hai điểm.
Vì sao không cắt số đoán của hồi quy tuyến tính về khoảng 0 đến 1?
Cắt thì hết số âm, nhưng mọi khách ở rìa bị dồn về đúng 0 hay 1 và mất thứ hạng giữa họ. Đường thẳng vẫn khớp sai hình tỉ lệ chững lại. Sigmoid giữ thứ hạng và uốn cong theo dữ liệu; bài logistic regression học nó từ bảng hội viên.
Hàm sigmoid có đạo hàm bằng bao nhiêu?
Đạo hàm của σ(z) là σ(z) · (1 − σ(z)), lớn nhất bằng 0,25 tại z = 0. Model học hệ số bằng cách đi theo đạo hàm này, như bài gradient descent làm với hồi quy tuyến tính.
Trong mạng nơ-ron, hàm sigmoid có giống ở đây không?
Cùng một hàm. Trong mạng nơ-ron nó là hàm kích hoạt của từng nơ-ron; ở logistic regression nó chỉ đứng ở cuối để đổi điểm thành xác suất. Bài hồi quy tuyến tính có phần điểm tuyến tính mà sigmoid nhận vào.
Chủ đề
Dữ liệu của bài
- Tải xuống
hoi_vien.csv
CSV · 207.25 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.