Bỏ qua đến nội dung chính
Mục lục

Bài tập đánh giá mô hình: split, metric, cross validation

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 13/14 · Chương 3

Đánh giá model

  • 6 phút
  • Cơ bản
  • Python 3.14
  • Cập nhật

Sáu bài tập đánh giá mô hình dưới đây được chấm tự động ngay trên trang: mỗi bài bạn viết thân một hàm Python nhỏ, bấm Chạy, và từng dòng kiểm tra báo đạt hay chưa. Các bài dùng lại cả chương đánh giá: metric hồi quy và phân loại, tìm cột rò nhãn, pipeline, AUC và cross validation, trên bảng khách hàng Sóc Vàng và bảng giá nhà.

Cần biết trước: RMSE, MAE, R², ROC-AUC và cross validation.

Cách làm các bài tập

Mỗi bài cho sẵn các dòng import và dòng def với thân là pass. Bạn thay pass bằng thân hàm. Trình chấm không đọc những gì bạn in ra: nó gọi hàm với nhiều bảng khác nhau rồi so giá trị trả về, nên hàm phải return. Số thực được so gần đúng, nên đừng làm tròn.

Mỗi hàm có bốn hoặc năm dòng kiểm tra: ví dụ trong đề, một trường hợp biên, một dòng kiểm hàm không sửa dữ liệu của nơi gọi, và một dòng gọi hàm trên vài mẫu có hạt giống lấy từ hoi_vien.csv (3.000 thành viên giả lập) hay gia_nha.csv (2.500 căn nhà giả lập) rồi so với một cách tính khác. Bí thì mở gợi ý theo thứ tự: gợi ý một chỉ chỗ cần nhìn, gợi ý hai nêu cách làm, gợi ý ba gần như là lời giải.

Mức dễ: metric hồi quy và phân loại

Hai bài đầu chỉ cần nhãn thật và dự đoán, chưa cần model.

Tính MAE và RMSE

y_that và y_doan là hai list số cùng độ dài. Viết thân hàm mae_rmse(y_that, y_doan) tính MAE và RMSE của dự đoán. Hàm không sửa hai list của nơi gọi.

Trả về: MAE và RMSE theo thứ tự đó, mỗi số một float, gói trong một tuple.

Ví dụ giá thật [3, 5, 4, 8] và dự đoán [3.5, 4.5, 4, 6] cho MAE 0.75 và RMSE khoảng 1.061. Ôn lại: RMSE, MAE, R².

python
import numpy as np

def mae_rmse(y_that, y_doan):
    pass  # Viết thân hàm thay cho dòng này

Tính precision và recall

y_that và y_doan là hai list nhãn 0/1 cùng độ dài, lớp dương là 1. Viết thân hàm precision_recall(y_that, y_doan) tính precision và recall. Khi một mẫu số bằng 0, chỉ số đó là 0.0. Hàm không sửa hai list của nơi gọi.

Trả về: precision và recall theo thứ tự đó, mỗi số một float, gói trong một tuple.

Ví dụ nhãn thật [1, 0, 0, 1, 1, 0, 1, 0] và dự đoán [1, 1, 0, 0, 1, 0, 0, 0] cho precision khoảng 0.667 và recall 0.5. Ôn lại: precision, recall, F1.

python
from sklearn.metrics import precision_score, recall_score

def precision_recall(y_that, y_doan):
    pass  # Viết thân hàm thay cho dòng này

Mức vừa: cột rò nhãn và AUC trên tập test

Hai bài giữa làm việc với bảng: tìm cột đáng nghi trước khi học, rồi chấm một pipeline đúng cách.

Tìm cột nghi rò nhãn bằng tương quan

bang là một DataFrame có thể có cả cột chữ, cot_nhan là tên cột nhãn, nguong là một số từ 0 đến 1. Viết thân hàm cot_nghi_ro(bang, cot_nhan, nguong) tìm các cột số (khác cột nhãn) có trị tuyệt đối của hệ số tương quan với nhãn lớn hơn hẳn nguong, xếp theo trị tuyệt đối giảm dần. Hàm không sửa bang của nơi gọi.

Trả về: tên các cột tìm được, một list (rỗng khi không có cột nào).

Ví dụ với bảng có sau_moc (tương quan 0,88), dang_nhap (−0,96), tuoi (−0,26) và nhãn roi_bo, ngưỡng 0.5 cho ["dang_nhap", "sau_moc"]. Ôn lại: data leakage.

python
import pandas as pd

def cot_nghi_ro(bang, cot_nhan, nguong):
    pass  # Viết thân hàm thay cho dòng này

Chấm AUC của một pipeline trên tập test

X_train, X_test là hai DataFrame cột số, y_train, y_test là nhãn 0/1. Viết thân hàm auc_pipeline(X_train, X_test, y_train, y_test): fit make_pipeline(StandardScaler(), LogisticRegression()) trên tập train, lấy xác suất lớp 1 trên tập test, rồi tính roc_auc_score. Hàm không sửa các bảng của nơi gọi.

Trả về: AUC trên tập test, một float.

Ví dụ: train tám dòng có ti_le từ 0.001 tới 0.008 (nhãn bốn 0 rồi bốn 1) và so_don là [5, 3, 6, 2, 7, 1, 4, 8]; test năm dòng có ti_le [0.0015, 0.0075, 0.0035, 0.0065, 0.0055], so_don [9, 1, 2, 8, 3], nhãn [0, 1, 0, 1, 1]. Hàm trả 1.0: cột ti_le rất nhỏ nhưng quyết định nhãn, và chỉ đọc được nhờ bước chuẩn hóa. Ôn lại: ROC-AUC.

python
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_auc_score
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

def auc_pipeline(X_train, X_test, y_train, y_test):
    pass  # Viết thân hàm thay cho dòng này

Mức khó: cross validation

Hai bài cuối chạy cross validation và tự đọc kết quả: đổi dấu một metric sai số, và đo khoảng cách giữa điểm train và validation.

RMSE trung bình qua cross validation

bang là bảng giá nhà có cột gia_ty, cac_cot là list tên các cột feature. Viết thân hàm rmse_cv(bang, cac_cot, so_fold, hat_giong): chạy cross_val_score cho LinearRegression() với KFold(so_fold, shuffle=True, random_state=hat_giong) và scoring="neg_root_mean_squared_error", rồi trả RMSE trung bình dưới dạng số dương. Hàm không sửa bang của nơi gọi.

Trả về: RMSE trung bình các fold, tính bằng tỷ đồng, một float dương.

Ví dụ: mười căn có dien_tich_m2 là [40, 55, 70, 85, 60, 95, 50, 75, 65, 90] và gia_ty là [3.1, 3.9, 4.4, 6.0, 4.1, 6.3, 3.5, 4.9, 4.5, 6.6]; rmse_cv(nha, ["dien_tich_m2"], 5, 0) trả khoảng 0.296. Ôn lại: cross validation.

python
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import KFold, cross_val_score

def rmse_cv(bang, cac_cot, so_fold, hat_giong):
    pass  # Viết thân hàm thay cho dòng này

Khoảng cách giữa điểm train và validation

X là DataFrame cột số, y là nhãn 0/1. Viết thân hàm khoang_cach_train_val(X, y, so_fold, hat_giong): chạy cross_validate cho make_pipeline(StandardScaler(), LogisticRegression()) với StratifiedKFold(so_fold, shuffle=True, random_state=hat_giong), scoring="roc_auc" và return_train_score=True, rồi lấy AUC train trung bình trừ AUC validation trung bình. Hàm không sửa X của nơi gọi.

Trả về: khoảng cách đó, một float; số dương lớn là dấu hiệu overfitting.

Ví dụ: sau rng = np.random.default_rng(0), X = pd.DataFrame({"a": rng.normal(0, 1, 30), "b": rng.normal(0, 1, 30)}) và y = (X["a"] + rng.normal(0, 1, 30) > 0).astype(int), lời gọi khoang_cach_train_val(X, y, 3, 0) trả khoảng 0.0077. Ôn lại: overfitting và underfitting.

python
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import StratifiedKFold, cross_validate
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

def khoang_cach_train_val(X, y, so_fold, hat_giong):
    pass  # Viết thân hàm thay cho dòng này

Câu hỏi thường gặp

Bài tập đánh giá mô hình có lời giải xem ở đâu?

Mỗi bài có lời giải mẫu, mở sau khi bạn đã chạy thử. Lời giải chỉ là một cách đúng: trình chấm so giá trị trả về, nên cách viết khác vẫn đạt nếu ra cùng kết quả trên mọi dòng kiểm tra.

Vì sao bài RMSE phải đổi dấu?

scikit-learn quy ước điểm cao hơn là tốt hơn để mọi công cụ chọn model dùng chung một chiều. Metric sai số vì vậy được trả dưới dạng số âm, như neg_root_mean_squared_error; đổi dấu trung bình để báo RMSE như bài RMSE, MAE, R².

Một cột tương quan cao với nhãn có chắc là rò nhãn không?

Không chắc. Tương quan cao chỉ là lý do để hỏi cột đó được ghi lúc nào. Một cột ghi trước thời điểm dự đoán có thể tương quan mạnh mà hoàn toàn hợp lệ; bài data leakage chỉ cách phân biệt.

Chủ đề

bài tập đánh giá mô hình

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập