Decision boundary: ranh giới quyết định trên hai feature
Bài 7/11 · Chương 5
Phân loại: logistic regression, KNN, SVM, Naive Bayes
- 8 phút
- Cơ bản
- Python 3.14
- Cập nhật
Trong bài này · 10
Decision boundary (ranh giới quyết định) là đường chia mặt phẳng feature thành vùng model đoán lớp 0 và vùng model đoán lớp 1. Với model trên đúng hai feature, DecisionBoundaryDisplay.from_estimator(model, X) của scikit-learn tô màu cả hai vùng để nhìn thấy ranh giới; với logistic regression, ranh giới là đường thẳng b + w₁x₁ + w₂x₂ = 0 và tính được bằng tay.
Cần biết trước: bộ dữ liệu có sẵn của scikit-learn, KNN và nhiều biểu đồ trên một hình.
Ranh giới của logistic regression là đường thẳng
Bài này dùng make_moons: 300 điểm giả lập thành hai vầng trăng lồng nhau, mỗi điểm có hai feature, nên vẽ được trên mặt phẳng. Logistic regression đoán lớp 1 khi xác suất vượt 0,5, tức khi điểm z vượt 0. Ranh giới là chỗ z đúng bằng 0:
Trong đó:
, là hai feature, trục ngang và trục dọc của hình;
, là hai số trong
coef_[0], làintercept_[0];vế phải cho của điểm nằm đúng trên ranh giới ứng với mỗi (cần ).
Phương trình bậc nhất của nên ranh giới là đường thẳng. Tính bốn điểm trên đường đó rồi hỏi model:
import numpy as np
from sklearn.datasets import make_moons
from sklearn.linear_model import LogisticRegression
X, y = make_moons(n_samples=300, noise=0.25, random_state=0)
model = LogisticRegression().fit(X, y)
(w1, w2), b = model.coef_[0], model.intercept_[0]
print(round(w1, 3), round(w2, 3), round(b, 3))
x1 = np.array([-1.0, 0.0, 1.0, 2.0])
x2 = -(b + w1 * x1) / w2
print(x2.round(3))
diem = np.column_stack([x1, x2])
print(model.predict_proba(diem)[:, 1].round(3))KẾT QUẢ
1.103 -3.26 0.228
[-0.268 0.07 0.408 0.747]
[0.5 0.5 0.5 0.5]Cả bốn điểm có xác suất đúng 0,5: chúng nằm trên ranh giới. Mỗi khi tăng 1, của ranh giới tăng ≈ 0,338, đó là độ dốc của đường. Đổi noise=0.25 thành noise=0.1 rồi chạy lại: hệ số đổi, nhưng dòng cuối vẫn in [0.5 0.5 0.5 0.5].
DecisionBoundaryDisplay: tô vùng của từng lớp
DecisionBoundaryDisplay.from_estimator() rải một lưới điểm phủ vùng dữ liệu, hỏi model từng điểm rồi tô màu theo câu trả lời. Đặt logistic regression cạnh KNN với K = 15 trên cùng dữ liệu:
import matplotlib.pyplot as plt
from sklearn.datasets import make_moons
from sklearn.inspection import DecisionBoundaryDisplay
from sklearn.linear_model import LogisticRegression
from sklearn.neighbors import KNeighborsClassifier
X, y = make_moons(n_samples=300, noise=0.25, random_state=0)
hai_model = [LogisticRegression(), KNeighborsClassifier(15)]
ve = DecisionBoundaryDisplay.from_estimator
fig, axes = plt.subplots(1, 2, figsize=(9, 4), layout="constrained")
for ax, model in zip(axes, hai_model):
ve(model.fit(X, y), X, ax=ax, cmap="bwr")
ax.scatter(*X.T, c=y, s=12, cmap="coolwarm", edgecolor="k")
ax.set_title(type(model).__name__)
plt.show()Màu xanh là vùng đoán lớp 0, đỏ là lớp 1; dải trắng ở giữa là nơi xác suất gần 0,5, tức ranh giới. Mặc định hàm tô theo mức tự tin của model (decision_function hay predict_proba), nên có nhiều sắc độ; truyền response_method="predict" để chỉ tô hai màu theo nhãn. Logistic regression chỉ vẽ được một đường thẳng, nên cắt ngang qua đầu cả hai vầng trăng. KNN không có phương trình nào; ranh giới của nó đi theo nơi hàng xóm đổi phe, nên uốn theo dữ liệu. Độ chính xác cross-validation 5 fold xác nhận điều hình cho thấy:
from sklearn.datasets import make_moons
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_val_score
from sklearn.neighbors import KNeighborsClassifier
X, y = make_moons(n_samples=300, noise=0.25, random_state=0)
for model in [LogisticRegression(), KNeighborsClassifier(15)]:
diem = cross_val_score(model, X, y, cv=5).mean()
print(type(model).__name__, round(diem, 3))KẾT QUẢ
LogisticRegression 0.83
KNeighborsClassifier 0.957Ranh giới thẳng không có nghĩa logistic regression luôn thua. Bài SVM đo trên bảng hội viên: ở đó logistic regression mặc định có ROC-AUC cao hơn SVM kernel RBF, vì một model đơn giản ít bị nhiễu kéo lệch hơn.
Scale đổi hình ranh giới
Giả sử feature thứ nhất được ghi theo đơn vị nhỏ hơn 100 lần, như đổi nghìn đồng sang chục đồng. Dữ liệu vẫn y nguyên về ý nghĩa, chỉ có trục ngang giãn ra. KNN trước và sau khi đặt StandardScaler vào pipeline:
import matplotlib.pyplot as plt
from sklearn.datasets import make_moons
from sklearn.inspection import DecisionBoundaryDisplay
from sklearn.neighbors import KNeighborsClassifier
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
X, y = make_moons(n_samples=300, noise=0.25, random_state=0)
X = X * [100, 1]
co_scale = make_pipeline(StandardScaler(), KNeighborsClassifier(15))
ve = DecisionBoundaryDisplay.from_estimator
fig, axes = plt.subplots(1, 2, figsize=(9, 4), layout="constrained")
for ax, model in zip(axes, [KNeighborsClassifier(15), co_scale]):
ve(model.fit(X, y), X, ax=ax, cmap="bwr")
ax.scatter(*X.T, c=y, s=12, cmap="coolwarm", edgecolor="k")
plt.show()Bên trái, hiệu trên trục ngang lớn gấp hàng trăm lần trục dọc, nên khoảng cách gần như chỉ tính theo x₁: ranh giới thành các sọc dọc. Bên phải, scaler đưa hai trục về cùng cỡ và hình vầng trăng quay lại. Pipeline vẫn nhận X gốc, nên hình vẫn vẽ theo đơn vị gốc. Con số đi kèm:
from sklearn.datasets import make_moons
from sklearn.model_selection import cross_val_score
from sklearn.neighbors import KNeighborsClassifier
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
X, y = make_moons(n_samples=300, noise=0.25, random_state=0)
X = X * [100, 1]
tho = KNeighborsClassifier(15)
co_scale = make_pipeline(StandardScaler(), KNeighborsClassifier(15))
print("chưa scale:", round(cross_val_score(tho, X, y).mean(), 3))
print("có scale:", round(cross_val_score(co_scale, X, y).mean(), 3))KẾT QUẢ
chưa scale: 0.707
có scale: 0.957Có scale, KNN lấy lại đúng 0,957 như trên dữ liệu gốc. Logistic regression thì ít bị ảnh hưởng hơn: hệ số tự co lại khoảng 100 lần để bù, nên đường thẳng gần như ở đúng chỗ. Chỉ khoản phạt làm nó lệch chút ít: khoản phạt mặc định gần như không còn đè lên nhỏ, nên độ dốc đổi từ 0,338 sang 0,353. Cách chọn giữa các scaler nằm ở bài chọn scaler.
Kiểm tra nhanh
Sau
w1, w2, b = 2.0, -4.0, 1.0,-(b + w1 * 1.5) / w2cho kết quả gì?1.0-1.00.625
Vì sao ranh giới quyết định của logistic regression hai feature luôn là đường thẳng?
- Vì sigmoid là đường thẳng
- Vì ranh giới là chỗ b + w₁x₁ + w₂x₂ = 0, một phương trình bậc nhất
- Vì
DecisionBoundaryDisplaychỉ vẽ được đường thẳng
Những câu nào đúng về
DecisionBoundaryDisplay.from_estimator()?- Model phải được fit trên đúng hai feature
- Truyền
ax=để vẽ vào một ô củaplt.subplots() - Nó tự fit model trên
Xđược đưa vào - Nó vẽ được ranh giới của model mười feature trên hai feature đầu
Nhân feature thứ nhất với 100. Ranh giới của KNN chưa scale đổi ra sao?
- Không đổi, vì dữ liệu vẫn y nguyên
- Thành các sọc dọc, vì khoảng cách gần như chỉ còn tính theo feature thứ nhất
- Thành một đường thẳng như logistic regression
Bài tập
Tìm điểm trên ranh giới
model là một LogisticRegression đã fit trên đúng hai feature, với hệ số thứ hai khác 0. Viết thân hàm x2_ranh_gioi(model, x1) trả giá trị x₂ sao cho điểm (x1, x₂) nằm đúng trên ranh giới quyết định, tức model.predict_proba([[x1, x2]]) cho xác suất lớp 1 bằng 0,5.
Trả về: x₂, một float.
Ví dụ: với model fit trên make_moons(n_samples=300, noise=0.25, random_state=0) như đầu bài, x2_ranh_gioi(model, 1.0) trả khoảng 0.408.
def x2_ranh_gioi(model, x1):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Ranh giới quyết định chia mặt phẳng feature thành vùng của từng lớp; trên đó model lưỡng lự, xác suất 0,5.
Logistic regression hai feature có ranh giới thẳng: x₂ = −(b + w₁x₁)/w₂.
DecisionBoundaryDisplay.from_estimator(model, X, ax=ax)tô màu vùng trên lưới điểm; model phải fit trên đúng hai feature.KNN có ranh giới uốn theo dữ liệu; khi một trục giãn ra mà không scale, ranh giới của KNN bị kéo thành sọc theo trục đó.
Câu hỏi thường gặp
Muốn xem ranh giới quyết định của model mười cột thì làm thế nào?
Không vẽ trực tiếp được. Cách thường dùng là fit một model phụ trên hai cột quan trọng để xem hình dạng, hoặc giảm số chiều về hai rồi vẽ. Cả hai chỉ là hình minh họa: model thật vẫn chia vùng trong không gian mười chiều.
Muốn ranh giới cong thì logistic regression có làm được không?
Được, nếu thêm feature mới như x₁² hay x₁·x₂ (ví dụ bằng PolynomialFeatures) trước khi fit. Ranh giới vẫn thẳng trong không gian feature mới, nhưng nhìn trên hai trục gốc thì cong.
Vì sao dải màu của logistic regression trên hình có nhiều sắc độ?
Mặc định DecisionBoundaryDisplay tô theo điểm của decision_function, tức điểm z, nên mỗi dải là một mức tự tin. Truyền response_method="predict" để chỉ còn hai màu.
Chủ đề
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.