Bỏ qua đến nội dung chính
Mục lục

SVM (support vector machine): SVC, kernel, vì sao scale

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 8/11 · Chương 5

Phân loại: logistic regression, KNN, SVM, Naive Bayes

  • 9 phút
  • Cơ bản
  • Python 3.14
  • Cập nhật

SVM (support vector machine) là model phân loại tìm ranh giới cách xa hai lớp nhất có thể: nó chọn đường có lề rộng nhất, và chỉ vài điểm sát lề, gọi là support vector, quyết định đường đó. Trong scikit-learn, SVC(kernel="linear") cho ranh giới thẳng, SVC(kernel="rbf") (mặc định) cho ranh giới cong; hai tham số chính là C= và gamma=, và cột phải được scale trước khi fit.

Cần biết trước: ranh giới quyết định, StandardScaler và cross-validation.

SVM là gì: lề rộng nhất giữa hai lớp

Hai nhóm điểm tách được bằng một đường thẳng thì thường có vô số đường làm được việc đó. SVM chọn đường có khoảng trống hai bên lớn nhất. Model tính một điểm số cho mỗi dòng và đặt hai mép lề ở f = −1 và f = +1:

f(x)=b+w⋅x,độ rộng leˆˋ=2∥w∥f(\mathbf{x}) = b + \mathbf{w} \cdot \mathbf{x}, \qquad \text{độ rộng lề} = \frac{2}{\lVert \mathbf{w} \rVert}

Trong đó:

  • x\mathbf{x} là các feature của một dòng, w\mathbf{w} là hệ số (coef_), bb là hệ số chặn (intercept_);

  • ranh giới là chỗ f=0f = 0; dòng có f>0f > 0 được đoán lớp 1;

  • ∥w∥\lVert \mathbf{w} \rVert là độ dài của vectơ hệ số, căn tổng bình phương các hệ số.

SVM tìm w\mathbf{w} nhỏ nhất mà mọi điểm vẫn nằm ngoài lề, đúng phía của mình; w\mathbf{w} nhỏ thì lề rộng. Sáu điểm hai lớp, với hệ số w = (0,4; 0,4), b = −2,2, tính tay điểm số và độ rộng lề:

python
import math
diem = [(1, 1), (2, 1), (1, 2), (4, 4), (5, 3), (4, 5)]
nhan = [0, 0, 0, 1, 1, 1]
w1, w2, b = 0.4, 0.4, -2.2
for (x1, x2), y in zip(diem, nhan):
    f = b + w1 * x1 + w2 * x2
    print((x1, x2), y, round(f, 2))
print("độ rộng lề:", round(2 / math.hypot(w1, w2), 3))

KẾT QUẢ

(1, 1) 0 -1.4
(2, 1) 0 -1.0
(1, 2) 0 -1.0
(4, 4) 1 1.0
(5, 3) 1 1.0
(4, 5) 1 1.4
độ rộng lề: 3.536

Bốn điểm có f đúng bằng −1 hay +1: chúng nằm trên mép lề. Hai điểm còn lại ở xa hơn, và xóa chúng đi thì đường vẫn y nguyên. Đổi (4, 5) thành (6, 6) rồi chạy lại: dòng của điểm đó in (6, 6) 1 2.6, còn bốn điểm trên mép không đổi.

SVC trong scikit-learn

SVC(kernel="linear") tìm đúng các hệ số trên. C=1000 gần như cấm điểm nào lấn vào lề, vì dữ liệu này tách được hoàn toàn:

python
import numpy as np
from sklearn.svm import SVC
X = np.array([[1, 1], [2, 1], [1, 2], [4, 4], [5, 3], [4, 5]])
y = np.array([0, 0, 0, 1, 1, 1])
svm = SVC(kernel="linear", C=1000).fit(X, y)
print(svm.coef_.round(3), svm.intercept_.round(3))
print("support vector:", svm.support_)
print(svm.decision_function(X).round(2))
print("độ rộng lề:", round(2 / np.linalg.norm(svm.coef_), 3))

KẾT QUẢ

[[0.4 0.4]] [-2.2]
support vector: [1 2 3]
[-1.4 -1.  -1.   1.   1.   1.4]
độ rộng lề: 3.536

support_ trả vị trí các support vector: điểm 1, 2 và 3. Điểm 4, (5, 3), cũng nằm trên mép nhưng không cần thiết, vì ba điểm kia đã đủ giữ đường. decision_function() trả f(x) như phép tính tay.

Dữ liệu thật hiếm khi tách được hoàn toàn. C= quyết định giá của mỗi điểm lấn vào lề hay sai phía: C nhỏ thì chấp nhận nhiều điểm lấn để lề rộng, C lớn thì cố ép mọi điểm ra ngoài lề, dễ khớp cả nhiễu.

Kernel trick: ranh giới cong với kernel rbf

Kernel trick là cách SVM so độ giống nhau giữa hai điểm bằng một hàm khác tích vô hướng, nhờ đó ranh giới trên trục gốc có thể cong mà model không phải tạo thêm cột nào. Kernel "rbf" coi hai điểm là giống nhau khi chúng gần nhau, như một KNN có trọng số. Trên hai vầng trăng của make_moons, vòng tròn đen là support vector:

python
import matplotlib.pyplot as plt
from sklearn.datasets import make_moons
from sklearn.inspection import DecisionBoundaryDisplay
from sklearn.svm import SVC
X, y = make_moons(n_samples=300, noise=0.25, random_state=0)
ve = DecisionBoundaryDisplay.from_estimator
fig, axes = plt.subplots(1, 2, figsize=(9, 4), layout="constrained")
for ax, kernel in zip(axes, ["linear", "rbf"]):
    svm = SVC(kernel=kernel).fit(X, y)
    ve(svm, X, ax=ax, cmap="bwr", alpha=0.4)
    ax.scatter(*X.T, c=y, s=12, cmap="coolwarm", edgecolor="k")
    sv = svm.support_vectors_
    ax.scatter(*sv.T, s=60, facecolor="none", edgecolor="k")
    ax.set_title(f"kernel={kernel!r}, {len(sv)} support vector")
plt.show()
Hai ô. Trái: SVC kernel linear tô dải màu song song, ranh giới thẳng, 110 support vector khoanh tròn dọc dải giữa. Phải: SVC kernel rbf có vùng xanh, đỏ uốn theo hai vầng trăng, 76 support vector.

Kernel thẳng cần 110 support vector vì rất nhiều điểm lấn vào lề của một đường không hợp dữ liệu. Kernel rbf ôm được hình vầng trăng và chỉ cần 76.

C= và gamma= của SVC

Với kernel rbf, gamma= đặt tầm ảnh hưởng của mỗi điểm: gamma nhỏ thì mỗi điểm ảnh hưởng xa, ranh giới mềm gần như thẳng; gamma lớn thì mỗi điểm chỉ ảnh hưởng quanh nó, ranh giới ôm sát từng điểm. Độ chính xác cross-validation 5 fold cho một lưới C × gamma:

python
import pandas as pd
from sklearn.datasets import make_moons
from sklearn.model_selection import cross_val_score
from sklearn.svm import SVC
X, y = make_moons(n_samples=300, noise=0.25, random_state=0)
bang = {}
for C in [0.1, 1, 100]:
    bang[C] = [cross_val_score(SVC(C=C, gamma=g), X, y).mean()
               for g in [0.1, 1, 10, 100]]
bang = pd.DataFrame(bang, index=[0.1, 1, 10, 100]).T.round(3)
print(bang.rename_axis(index="C", columns="gamma"))

KẾT QUẢ

gamma  0.1    1.0    10.0   100.0
C                                
0.1     0.81   0.91   0.95   0.88
1.0     0.84   0.96   0.96   0.93
100.0   0.94   0.95   0.92   0.92

Gamma 0,1 với C nhỏ gần như là ranh giới thẳng (0,81). Gamma 100 thì ranh giới ôm từng điểm và điểm tụt về 0,88–0,93. C và gamma bù trừ nhau: C = 100 cứu được gamma nhỏ, nhưng làm gamma lớn tệ hơn. Vì vậy hai tham số được chọn cùng nhau trên một lưới, bằng cross-validation, như bảng này. Mặc định C=1.0, gamma="scale" (một giá trị tính từ phương sai của dữ liệu) thường là điểm khởi đầu ổn.

Vì sao SVM phải scale

Cả lề lẫn kernel rbf đều tính bằng khoảng cách, nên cột có đơn vị lớn lấn át cột khác như ở KNN. Trên mẫu 1.000 hội viên Sóc Vàng (số giả lập của AIDev) với mười cột số, so SVC trước và sau khi scale, cạnh logistic regression, bằng cross-validation 3 fold:

python
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_val_score
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC
hv = pd.read_csv("hoi_vien.csv").sample(1000, random_state=0)
X, y = hv.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"], hv.roi_bo
sc = StandardScaler()
cach = {"SVC chưa scale": SVC(),
        "SVC có scale": make_pipeline(sc, SVC()),
        "Logistic": make_pipeline(sc, LogisticRegression())}
for ten, model in cach.items():
    auc = cross_val_score(model, X, y, cv=3, scoring="roc_auc").mean()
    print(f"{ten:15} {auc:.3f}")

KẾT QUẢ

SVC chưa scale  0.569
SVC có scale    0.705
Logistic        0.773

Không scale, ROC-AUC chỉ 0,569. Có scale lên 0,705, nhưng vẫn thua logistic regression với tham số mặc định. Bảng hội viên có ranh giới gần thẳng và nhiều nhiễu; ở đó một model đơn giản, cho xác suất, thường đủ tốt. SVM hợp hơn với bảng vừa phải mà ranh giới cong rõ. Muốn so công bằng thì chọn C và gamma bằng cross-validation trước; SVC cũng chậm dần khi số dòng lên hàng chục nghìn.

Kiểm tra nhanh

  1. Sau import math, round(2 / math.hypot(0.6, 0.8), 2) cho kết quả gì?

    • 2.0
    • 1.43
    • 1.0
  2. Những câu nào đúng về support vector?

    • Support vector luôn nằm trên mép lề hoặc lấn vào lề
    • Xóa một điểm không phải support vector thì ranh giới không đổi
    • Mọi điểm train đều là support vector
    • Support vector là các điểm xa ranh giới nhất
  3. Với SVC(kernel="rbf"), tăng gamma= rất lớn thường làm gì?

    • Ranh giới gần như thẳng
    • Ranh giới ôm sát từng điểm train, dễ overfit
    • Không đổi gì vì gamma chỉ dùng cho kernel linear
  4. Vì sao SVC cần scale cột trước khi fit?

    • Vì SVC chỉ nhận số từ 0 đến 1
    • Vì lề và kernel rbf đều tính bằng khoảng cách, nên cột có đơn vị lớn lấn át cột khác
    • Vì scale làm SVC trả được xác suất
Đúng hết lần đầu +15 XP

Bài tập

Đếm điểm vi phạm lề

svm là một SVC đã fit (kernel bất kỳ) trên nhãn 0/1. X là mảng NumPy các dòng mới, y là list hay mảng nhãn 0/1 thật của chúng. Viết thân hàm dem_trong_le(svm, X, y) đếm số dòng vi phạm lề: đổi nhãn thành dấu s = −1 cho lớp 0 và +1 cho lớp 1, rồi đếm các dòng có s · f(x) < 1, với f(x) là svm.decision_function(). Các dòng này hoặc nằm giữa hai mép lề, hoặc ở sai phía ranh giới. Hàm không sửa X và y của nơi gọi.

Trả về: số dòng vi phạm, một int của Python.

Ví dụ: với SVC tuyến tính trên sáu điểm đầu bài, bốn dòng mới (3, 3), (2, 2), (6, 6), (1; 4,5) nhãn 1, 1, 1, 0 cho 3.

python
import numpy as np

def dem_trong_le(svm, X, y):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • SVM chọn ranh giới có lề rộng nhất; độ rộng lề là 2/‖w‖, và chỉ support vector quyết định ranh giới.

  • SVC(kernel="linear") cho ranh giới thẳng, SVC(kernel="rbf") (mặc định) cho ranh giới cong nhờ kernel trick.

  • C= lớn ép ít điểm lấn lề hơn, gamma= lớn làm ranh giới ôm sát từng điểm; chọn hai tham số cùng nhau bằng cross-validation.

  • SVC trả điểm số qua decision_function(), không có predict_proba() trừ khi bật probability=True.

  • Luôn đặt scaler trong pipeline trước SVC.

Câu hỏi thường gặp

Khác nhau giữa SVM và logistic regression là gì?

Cả hai đều tính một điểm tuyến tính khi dùng kernel thẳng. Logistic regression dùng mọi điểm train và cho xác suất; SVM chỉ để các điểm sát lề quyết định và cho điểm số. Với kernel rbf, SVM vẽ được ranh giới cong mà logistic regression cần thêm feature mới làm.

Thuật toán SVM có dùng được cho hồi quy không?

Được, bằng SVR: nó tìm một ống quanh đường dự đoán và chỉ phạt các điểm nằm ngoài ống. Các tham số C=, gamma=, kernel= và yêu cầu scale giống SVC.

Vì sao SVC chạy chậm trên bảng lớn?

Kernel rbf phải so từng cặp dòng, nên thời gian fit tăng nhanh hơn số dòng. Với hàng chục nghìn dòng, LinearSVC hay logistic regression nhanh hơn nhiều; bài này dùng mẫu 1.000 dòng vì lý do đó.

Chủ đề

support vector machine

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập