Bỏ qua đến nội dung chính
Mục lục

Bài tập phân loại machine learning: logistic, KNN, scaler

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 10/11 · Chương 5

Phân loại: logistic regression, KNN, SVM, Naive Bayes

  • 6 phút
  • Cơ bản
  • Python 3.14
  • Cập nhật

Sáu bài tập phân loại machine learning dưới đây được chấm tự động ngay trên trang: mỗi bài bạn viết thân một hàm Python nhỏ, bấm Chạy, và từng dòng kiểm tra báo đạt hay chưa. Các bài dùng lại cả chương phân loại: sigmoid và odds, classification report, KNN với scaler, ranh giới quyết định, rồi so logistic regression, SVM và Naive Bayes trên bảng hội viên Sóc Vàng.

Cần biết trước: ranh giới quyết định, odds ratio và classification report.

Cách làm các bài tập

Mỗi bài cho sẵn các dòng import và dòng def với thân là pass. Bạn thay pass bằng thân hàm. Trình chấm không đọc những gì bạn in ra: nó gọi hàm với nhiều đầu vào khác nhau rồi so giá trị trả về, nên hàm phải return. Số thực được so gần đúng, nên đừng làm tròn.

Mỗi hàm có bốn đến sáu dòng kiểm tra. Có ví dụ trong đề, một trường hợp biên và một dòng kiểm hàm không sửa dữ liệu của nơi gọi. Dòng cuối thử trên dữ liệu ngẫu nhiên có hạt giống, thường lấy từ file hoi_vien.csv (3.000 hội viên giả lập của AIDev). Bí thì mở gợi ý theo thứ tự: gợi ý một chỉ chỗ cần nhìn, gợi ý hai nêu cách làm, gợi ý ba gần như là lời giải.

Mức dễ: sigmoid ngược và odds ratio

Hai bài đầu chỉ cần công thức, chưa cần fit model.

Từ xác suất ngược về điểm z

Hàm sigmoid đổi điểm z thành xác suất. Viết thân hàm diem_z(p) làm chiều ngược lại: nhận xác suất p (0 < p < 1) và trả điểm z sao cho σ(z) = p, tức log tự nhiên của odds p/(1 − p).

Trả về: điểm z, một float.

Ví dụ: diem_z(0.8) trả khoảng 1.386, vì odds là 4 và ln 4 ≈ 1,386. Ôn lại: hàm sigmoid.

python
import math

def diem_z(p):
    pass  # Viết thân hàm thay cho dòng này

Odds ratio của hai nhóm hội viên

bang là một DataFrame có cột nhãn roi_bo (1 là bỏ gói) và cột cot_nhom chỉ gồm 0 và 1. Viết thân hàm odds_ratio_nhom(bang, cot_nhom) trả odds ratio của nhóm 1 so với nhóm 0: odds của mỗi nhóm là số người bỏ gói chia số người ở lại trong nhóm đó. Mỗi nhóm có ít nhất một người bỏ gói và một người ở lại. Hàm không sửa bang của nơi gọi.

Trả về: odds ratio, một float.

Ví dụ: trên cả file hoi_vien.csv với cot_nhom="tu_dong_gia_han", kết quả khoảng 0.691. Ôn lại: odds ratio.

python
import pandas as pd

def odds_ratio_nhom(bang, cot_nhom):
    pass  # Viết thân hàm thay cho dòng này

Mức vừa: đọc báo cáo và chấm KNN

Hai bài này gọi các hàm đánh giá của scikit-learn: một bài đọc báo cáo, một bài chạy cross-validation.

Tìm lớp model bỏ quên

Một model "bỏ quên" một lớp khi nó không bắt được dòng nào thuộc lớp đó, tức recall của lớp bằng 0. Viết thân hàm lop_bi_bo_quen(y_that, y_doan) dùng classification_report(..., output_dict=True, zero_division=0) để tìm các lớp bị bỏ quên. Chỉ xét lớp có trong nhãn thật (support lớn hơn 0); lớp chỉ xuất hiện trong nhãn đoán thì bỏ qua. Hàm không sửa hai list của nơi gọi.

Trả về: tên các lớp bị bỏ quên dưới dạng chuỗi như khóa của báo cáo, theo thứ tự trong báo cáo, một list (rỗng khi không có lớp nào).

Ví dụ: lop_bi_bo_quen([0, 0, 1, 1, 2, 2], [0, 0, 0, 0, 2, 2]) trả ["1"]. Ôn lại: classification report.

python
from sklearn.metrics import classification_report

def lop_bi_bo_quen(y_that, y_doan):
    pass  # Viết thân hàm thay cho dòng này

ROC-AUC của KNN với một scaler

X là bảng feature (DataFrame), y là nhãn 0/1, k là số hàng xóm, scaler là một scaler chưa fit (StandardScaler(), MinMaxScaler(), RobustScaler()) hoặc chuỗi "passthrough". Viết thân hàm auc_knn(X, y, k, scaler) đặt scaler và KNeighborsClassifier(k) vào một pipeline, rồi trả ROC-AUC trung bình của cross-validation 3 fold (cv=3). Hàm không sửa X của nơi gọi.

Trả về: ROC-AUC trung bình, một float.

Ví dụ: trên 60 dòng hoi_vien.csv lấy bằng sample(60, random_state=0), mười cột số, k=15 và StandardScaler(), kết quả khoảng 0.558. Ôn lại: chọn scaler.

python
from sklearn.model_selection import cross_val_score
from sklearn.neighbors import KNeighborsClassifier
from sklearn.pipeline import make_pipeline

def auc_knn(X, y, k, scaler):
    pass  # Viết thân hàm thay cho dòng này

Mức khó: vùng của ranh giới và so ba model

Hai bài cuối làm việc với model đã fit hoặc tự fit nhiều model, nên cần nhớ cả cách gọi predict() trên mảng hai cột lẫn cách so điểm cross-validation.

Model dành bao nhiêu diện tích cho lớp 1

model là một model phân loại đã fit trên đúng hai feature, nhãn 0/1. gioi_han là tuple (x1_min, x1_max, x2_min, x2_max), n là số điểm trên mỗi trục. Viết thân hàm ti_le_vung_1(model, gioi_han, n): rải lưới n × n điểm đều nhau bằng np.linspace trên mỗi trục (kể cả hai đầu mút), gọi model.predict() trên mọi điểm của lưới, rồi trả tỉ lệ điểm được đoán lớp 1. Đây là cách DecisionBoundaryDisplay dựng hình, chỉ thay việc tô màu bằng việc đếm.

Trả về: tỉ lệ từ 0 đến 1, một float.

Ví dụ: với LogisticRegression fit trên make_moons(n_samples=200, noise=0.25, random_state=0), gioi_han=(-2, 3, -1.5, 2) và n=20, kết quả là 0.5. Ôn lại: ranh giới quyết định.

python
import numpy as np

def ti_le_vung_1(model, gioi_han, n):
    pass  # Viết thân hàm thay cho dòng này

Logistic, SVM hay Naive Bayes

X là bảng feature số (DataFrame hay mảng NumPy), y là nhãn 0/1. Viết thân hàm model_tot_nhat(X, y) so ba model bằng ROC-AUC trung bình của cross-validation 3 fold (cv=3): "logistic" là pipeline StandardScaler() rồi LogisticRegression(), "svm" là pipeline StandardScaler() rồi SVC(), "naive_bayes" là GaussianNB(), mọi tham số để mặc định. Trả tên model có điểm cao nhất; khi bằng nhau, lấy tên đứng trước trong thứ tự "logistic", "svm", "naive_bayes".

Trả về: tên model, một str.

Ví dụ: trên make_moons(n_samples=60, noise=0.3, random_state=5) với feature thứ nhất nhân 100, kết quả là "svm". Ôn lại: SVM và Naive Bayes.

python
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_val_score
from sklearn.naive_bayes import GaussianNB
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC

def model_tot_nhat(X, y):
    pass  # Viết thân hàm thay cho dòng này

Câu hỏi thường gặp

Bài tập phân loại machine learning có lời giải xem ở đâu?

Mỗi bài có lời giải mẫu, mở sau khi bạn đã chạy thử. Lời giải chỉ là một cách đúng: trình chấm so giá trị trả về, nên cách viết khác vẫn đạt nếu ra cùng kết quả trên mọi dòng kiểm tra.

Vì sao bài so ba model dùng ROC-AUC mà không dùng accuracy?

Trên bảng hội viên, gần 80% khách ở lại, nên accuracy thưởng cho model đoán gần như mọi người ở lại. ROC-AUC đo khả năng xếp người bỏ gói lên trên người ở lại, không phụ thuộc ngưỡng 0,5. Trên mẫu 60 hội viên thứ nhất của bài đó, hai thước đo chọn ra hai model khác nhau: ROC-AUC chọn Naive Bayes (0,856 so với 0,725 của logistic regression), còn accuracy chọn logistic regression.

Kết quả "model tốt nhất" trên 60 dòng có đáng tin không?

Chưa. Với 60 dòng và 3 fold, khoảng cách giữa ba model thường nhỏ hơn mức điểm nhảy từ fold này sang fold khác, nên hai mẫu khác nhau có thể chọn hai model khác nhau. Hai dòng chấm trên mẫu hội viên của bài cho thấy đúng điều đó: mẫu cố định chọn Naive Bayes, mẫu ở dòng chấm cuối (random_state=40) chọn SVM. Khi chọn model để dùng, hãy chấm trên nhiều dòng hơn và xem cả độ lệch chuẩn của điểm các fold trước khi chọn.

Chủ đề

bài tập phân loại machine learning

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập