SVM (support vector machine): SVC, kernel, vì sao scale
Bài 8/11 · Chương 5
Phân loại: logistic regression, KNN, SVM, Naive Bayes
- 9 phút
- Cơ bản
- Python 3.14
- Cập nhật
Trong bài này · 12
SVM (support vector machine) là model phân loại tìm ranh giới cách xa hai lớp nhất có thể: nó chọn đường có lề rộng nhất, và chỉ vài điểm sát lề, gọi là support vector, quyết định đường đó. Trong scikit-learn, SVC(kernel="linear") cho ranh giới thẳng, SVC(kernel="rbf") (mặc định) cho ranh giới cong; hai tham số chính là C= và gamma=, và cột phải được scale trước khi fit.
Cần biết trước: ranh giới quyết định, StandardScaler và cross-validation.
SVM là gì: lề rộng nhất giữa hai lớp
Hai nhóm điểm tách được bằng một đường thẳng thì thường có vô số đường làm được việc đó. SVM chọn đường có khoảng trống hai bên lớn nhất. Model tính một điểm số cho mỗi dòng và đặt hai mép lề ở f = −1 và f = +1:
Trong đó:
là các feature của một dòng, là hệ số (
coef_), là hệ số chặn (intercept_);ranh giới là chỗ ; dòng có được đoán lớp
1;là độ dài của vectơ hệ số, căn tổng bình phương các hệ số.
SVM tìm nhỏ nhất mà mọi điểm vẫn nằm ngoài lề, đúng phía của mình; nhỏ thì lề rộng. Sáu điểm hai lớp, với hệ số w = (0,4; 0,4), b = −2,2, tính tay điểm số và độ rộng lề:
import math
diem = [(1, 1), (2, 1), (1, 2), (4, 4), (5, 3), (4, 5)]
nhan = [0, 0, 0, 1, 1, 1]
w1, w2, b = 0.4, 0.4, -2.2
for (x1, x2), y in zip(diem, nhan):
f = b + w1 * x1 + w2 * x2
print((x1, x2), y, round(f, 2))
print("độ rộng lề:", round(2 / math.hypot(w1, w2), 3))KẾT QUẢ
(1, 1) 0 -1.4
(2, 1) 0 -1.0
(1, 2) 0 -1.0
(4, 4) 1 1.0
(5, 3) 1 1.0
(4, 5) 1 1.4
độ rộng lề: 3.536Bốn điểm có f đúng bằng −1 hay +1: chúng nằm trên mép lề. Hai điểm còn lại ở xa hơn, và xóa chúng đi thì đường vẫn y nguyên. Đổi (4, 5) thành (6, 6) rồi chạy lại: dòng của điểm đó in (6, 6) 1 2.6, còn bốn điểm trên mép không đổi.
SVC trong scikit-learn
SVC(kernel="linear") tìm đúng các hệ số trên. C=1000 gần như cấm điểm nào lấn vào lề, vì dữ liệu này tách được hoàn toàn:
import numpy as np
from sklearn.svm import SVC
X = np.array([[1, 1], [2, 1], [1, 2], [4, 4], [5, 3], [4, 5]])
y = np.array([0, 0, 0, 1, 1, 1])
svm = SVC(kernel="linear", C=1000).fit(X, y)
print(svm.coef_.round(3), svm.intercept_.round(3))
print("support vector:", svm.support_)
print(svm.decision_function(X).round(2))
print("độ rộng lề:", round(2 / np.linalg.norm(svm.coef_), 3))KẾT QUẢ
[[0.4 0.4]] [-2.2]
support vector: [1 2 3]
[-1.4 -1. -1. 1. 1. 1.4]
độ rộng lề: 3.536support_ trả vị trí các support vector: điểm 1, 2 và 3. Điểm 4, (5, 3), cũng nằm trên mép nhưng không cần thiết, vì ba điểm kia đã đủ giữ đường. decision_function() trả f(x) như phép tính tay.
Dữ liệu thật hiếm khi tách được hoàn toàn. C= quyết định giá của mỗi điểm lấn vào lề hay sai phía: C nhỏ thì chấp nhận nhiều điểm lấn để lề rộng, C lớn thì cố ép mọi điểm ra ngoài lề, dễ khớp cả nhiễu.
Kernel trick: ranh giới cong với kernel rbf
Kernel trick là cách SVM so độ giống nhau giữa hai điểm bằng một hàm khác tích vô hướng, nhờ đó ranh giới trên trục gốc có thể cong mà model không phải tạo thêm cột nào. Kernel "rbf" coi hai điểm là giống nhau khi chúng gần nhau, như một KNN có trọng số. Trên hai vầng trăng của make_moons, vòng tròn đen là support vector:
import matplotlib.pyplot as plt
from sklearn.datasets import make_moons
from sklearn.inspection import DecisionBoundaryDisplay
from sklearn.svm import SVC
X, y = make_moons(n_samples=300, noise=0.25, random_state=0)
ve = DecisionBoundaryDisplay.from_estimator
fig, axes = plt.subplots(1, 2, figsize=(9, 4), layout="constrained")
for ax, kernel in zip(axes, ["linear", "rbf"]):
svm = SVC(kernel=kernel).fit(X, y)
ve(svm, X, ax=ax, cmap="bwr", alpha=0.4)
ax.scatter(*X.T, c=y, s=12, cmap="coolwarm", edgecolor="k")
sv = svm.support_vectors_
ax.scatter(*sv.T, s=60, facecolor="none", edgecolor="k")
ax.set_title(f"kernel={kernel!r}, {len(sv)} support vector")
plt.show()Kernel thẳng cần 110 support vector vì rất nhiều điểm lấn vào lề của một đường không hợp dữ liệu. Kernel rbf ôm được hình vầng trăng và chỉ cần 76.
C= và gamma= của SVC
Với kernel rbf, gamma= đặt tầm ảnh hưởng của mỗi điểm: gamma nhỏ thì mỗi điểm ảnh hưởng xa, ranh giới mềm gần như thẳng; gamma lớn thì mỗi điểm chỉ ảnh hưởng quanh nó, ranh giới ôm sát từng điểm. Độ chính xác cross-validation 5 fold cho một lưới C × gamma:
import pandas as pd
from sklearn.datasets import make_moons
from sklearn.model_selection import cross_val_score
from sklearn.svm import SVC
X, y = make_moons(n_samples=300, noise=0.25, random_state=0)
bang = {}
for C in [0.1, 1, 100]:
bang[C] = [cross_val_score(SVC(C=C, gamma=g), X, y).mean()
for g in [0.1, 1, 10, 100]]
bang = pd.DataFrame(bang, index=[0.1, 1, 10, 100]).T.round(3)
print(bang.rename_axis(index="C", columns="gamma"))KẾT QUẢ
gamma 0.1 1.0 10.0 100.0
C
0.1 0.81 0.91 0.95 0.88
1.0 0.84 0.96 0.96 0.93
100.0 0.94 0.95 0.92 0.92Gamma 0,1 với C nhỏ gần như là ranh giới thẳng (0,81). Gamma 100 thì ranh giới ôm từng điểm và điểm tụt về 0,88–0,93. C và gamma bù trừ nhau: C = 100 cứu được gamma nhỏ, nhưng làm gamma lớn tệ hơn. Vì vậy hai tham số được chọn cùng nhau trên một lưới, bằng cross-validation, như bảng này. Mặc định C=1.0, gamma="scale" (một giá trị tính từ phương sai của dữ liệu) thường là điểm khởi đầu ổn.
Vì sao SVM phải scale
Cả lề lẫn kernel rbf đều tính bằng khoảng cách, nên cột có đơn vị lớn lấn át cột khác như ở KNN. Trên mẫu 1.000 hội viên Sóc Vàng (số giả lập của AIDev) với mười cột số, so SVC trước và sau khi scale, cạnh logistic regression, bằng cross-validation 3 fold:
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_val_score
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC
hv = pd.read_csv("hoi_vien.csv").sample(1000, random_state=0)
X, y = hv.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"], hv.roi_bo
sc = StandardScaler()
cach = {"SVC chưa scale": SVC(),
"SVC có scale": make_pipeline(sc, SVC()),
"Logistic": make_pipeline(sc, LogisticRegression())}
for ten, model in cach.items():
auc = cross_val_score(model, X, y, cv=3, scoring="roc_auc").mean()
print(f"{ten:15} {auc:.3f}")KẾT QUẢ
SVC chưa scale 0.569
SVC có scale 0.705
Logistic 0.773Không scale, ROC-AUC chỉ 0,569. Có scale lên 0,705, nhưng vẫn thua logistic regression với tham số mặc định. Bảng hội viên có ranh giới gần thẳng và nhiều nhiễu; ở đó một model đơn giản, cho xác suất, thường đủ tốt. SVM hợp hơn với bảng vừa phải mà ranh giới cong rõ. Muốn so công bằng thì chọn C và gamma bằng cross-validation trước; SVC cũng chậm dần khi số dòng lên hàng chục nghìn.
Kiểm tra nhanh
Sau
import math,round(2 / math.hypot(0.6, 0.8), 2)cho kết quả gì?2.01.431.0
Những câu nào đúng về support vector?
- Support vector luôn nằm trên mép lề hoặc lấn vào lề
- Xóa một điểm không phải support vector thì ranh giới không đổi
- Mọi điểm train đều là support vector
- Support vector là các điểm xa ranh giới nhất
Với
SVC(kernel="rbf"), tănggamma=rất lớn thường làm gì?- Ranh giới gần như thẳng
- Ranh giới ôm sát từng điểm train, dễ overfit
- Không đổi gì vì gamma chỉ dùng cho kernel linear
Vì sao SVC cần scale cột trước khi fit?
- Vì SVC chỉ nhận số từ 0 đến 1
- Vì lề và kernel rbf đều tính bằng khoảng cách, nên cột có đơn vị lớn lấn át cột khác
- Vì scale làm SVC trả được xác suất
Bài tập
Đếm điểm vi phạm lề
svm là một SVC đã fit (kernel bất kỳ) trên nhãn 0/1. X là mảng NumPy các dòng mới, y là list hay mảng nhãn 0/1 thật của chúng. Viết thân hàm dem_trong_le(svm, X, y) đếm số dòng vi phạm lề: đổi nhãn thành dấu s = −1 cho lớp 0 và +1 cho lớp 1, rồi đếm các dòng có s · f(x) < 1, với f(x) là svm.decision_function(). Các dòng này hoặc nằm giữa hai mép lề, hoặc ở sai phía ranh giới. Hàm không sửa X và y của nơi gọi.
Trả về: số dòng vi phạm, một int của Python.
Ví dụ: với SVC tuyến tính trên sáu điểm đầu bài, bốn dòng mới (3, 3), (2, 2), (6, 6), (1; 4,5) nhãn 1, 1, 1, 0 cho 3.
import numpy as np
def dem_trong_le(svm, X, y):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
SVM chọn ranh giới có lề rộng nhất; độ rộng lề là 2/‖w‖, và chỉ support vector quyết định ranh giới.
SVC(kernel="linear")cho ranh giới thẳng,SVC(kernel="rbf")(mặc định) cho ranh giới cong nhờ kernel trick.C=lớn ép ít điểm lấn lề hơn,gamma=lớn làm ranh giới ôm sát từng điểm; chọn hai tham số cùng nhau bằng cross-validation.SVC trả điểm số qua
decision_function(), không cópredict_proba()trừ khi bậtprobability=True.Luôn đặt scaler trong pipeline trước SVC.
Câu hỏi thường gặp
Khác nhau giữa SVM và logistic regression là gì?
Cả hai đều tính một điểm tuyến tính khi dùng kernel thẳng. Logistic regression dùng mọi điểm train và cho xác suất; SVM chỉ để các điểm sát lề quyết định và cho điểm số. Với kernel rbf, SVM vẽ được ranh giới cong mà logistic regression cần thêm feature mới làm.
Thuật toán SVM có dùng được cho hồi quy không?
Được, bằng SVR: nó tìm một ống quanh đường dự đoán và chỉ phạt các điểm nằm ngoài ống. Các tham số C=, gamma=, kernel= và yêu cầu scale giống SVC.
Vì sao SVC chạy chậm trên bảng lớn?
Kernel rbf phải so từng cặp dòng, nên thời gian fit tăng nhanh hơn số dòng. Với hàng chục nghìn dòng, LinearSVC hay logistic regression nhanh hơn nhiều; bài này dùng mẫu 1.000 dòng vì lý do đó.
Chủ đề
Dữ liệu của bài
- Tải xuống
hoi_vien.csv
CSV · 207.25 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.