Bài tập đánh giá mô hình: split, metric, cross validation
Bài 13/14 · Chương 3
Đánh giá model
- 6 phút
- Cơ bản
- Python 3.14
- Cập nhật
Trong bài này · 8
Sáu bài tập đánh giá mô hình dưới đây được chấm tự động ngay trên trang: mỗi bài bạn viết thân một hàm Python nhỏ, bấm Chạy, và từng dòng kiểm tra báo đạt hay chưa. Các bài dùng lại cả chương đánh giá: metric hồi quy và phân loại, tìm cột rò nhãn, pipeline, AUC và cross validation, trên bảng khách hàng Sóc Vàng và bảng giá nhà.
Cần biết trước: RMSE, MAE, R², ROC-AUC và cross validation.
Cách làm các bài tập
Mỗi bài cho sẵn các dòng import và dòng def với thân là pass. Bạn thay pass bằng thân hàm. Trình chấm không đọc những gì bạn in ra: nó gọi hàm với nhiều bảng khác nhau rồi so giá trị trả về, nên hàm phải return. Số thực được so gần đúng, nên đừng làm tròn.
Mỗi hàm có bốn hoặc năm dòng kiểm tra: ví dụ trong đề, một trường hợp biên, một dòng kiểm hàm không sửa dữ liệu của nơi gọi, và một dòng gọi hàm trên vài mẫu có hạt giống lấy từ hoi_vien.csv (3.000 thành viên giả lập) hay gia_nha.csv (2.500 căn nhà giả lập) rồi so với một cách tính khác. Bí thì mở gợi ý theo thứ tự: gợi ý một chỉ chỗ cần nhìn, gợi ý hai nêu cách làm, gợi ý ba gần như là lời giải.
Mức dễ: metric hồi quy và phân loại
Hai bài đầu chỉ cần nhãn thật và dự đoán, chưa cần model.
Tính MAE và RMSE
y_that và y_doan là hai list số cùng độ dài. Viết thân hàm mae_rmse(y_that, y_doan) tính MAE và RMSE của dự đoán. Hàm không sửa hai list của nơi gọi.
Trả về: MAE và RMSE theo thứ tự đó, mỗi số một float, gói trong một tuple.
Ví dụ giá thật [3, 5, 4, 8] và dự đoán [3.5, 4.5, 4, 6] cho MAE 0.75 và RMSE khoảng 1.061. Ôn lại: RMSE, MAE, R².
import numpy as np
def mae_rmse(y_that, y_doan):
pass # Viết thân hàm thay cho dòng nàyTính precision và recall
y_that và y_doan là hai list nhãn 0/1 cùng độ dài, lớp dương là 1. Viết thân hàm precision_recall(y_that, y_doan) tính precision và recall. Khi một mẫu số bằng 0, chỉ số đó là 0.0. Hàm không sửa hai list của nơi gọi.
Trả về: precision và recall theo thứ tự đó, mỗi số một float, gói trong một tuple.
Ví dụ nhãn thật [1, 0, 0, 1, 1, 0, 1, 0] và dự đoán [1, 1, 0, 0, 1, 0, 0, 0] cho precision khoảng 0.667 và recall 0.5. Ôn lại: precision, recall, F1.
from sklearn.metrics import precision_score, recall_score
def precision_recall(y_that, y_doan):
pass # Viết thân hàm thay cho dòng nàyMức vừa: cột rò nhãn và AUC trên tập test
Hai bài giữa làm việc với bảng: tìm cột đáng nghi trước khi học, rồi chấm một pipeline đúng cách.
Tìm cột nghi rò nhãn bằng tương quan
bang là một DataFrame có thể có cả cột chữ, cot_nhan là tên cột nhãn, nguong là một số từ 0 đến 1. Viết thân hàm cot_nghi_ro(bang, cot_nhan, nguong) tìm các cột số (khác cột nhãn) có trị tuyệt đối của hệ số tương quan với nhãn lớn hơn hẳn nguong, xếp theo trị tuyệt đối giảm dần. Hàm không sửa bang của nơi gọi.
Trả về: tên các cột tìm được, một list (rỗng khi không có cột nào).
Ví dụ với bảng có sau_moc (tương quan 0,88), dang_nhap (−0,96), tuoi (−0,26) và nhãn roi_bo, ngưỡng 0.5 cho ["dang_nhap", "sau_moc"]. Ôn lại: data leakage.
import pandas as pd
def cot_nghi_ro(bang, cot_nhan, nguong):
pass # Viết thân hàm thay cho dòng nàyChấm AUC của một pipeline trên tập test
X_train, X_test là hai DataFrame cột số, y_train, y_test là nhãn 0/1. Viết thân hàm auc_pipeline(X_train, X_test, y_train, y_test): fit make_pipeline(StandardScaler(), LogisticRegression()) trên tập train, lấy xác suất lớp 1 trên tập test, rồi tính roc_auc_score. Hàm không sửa các bảng của nơi gọi.
Trả về: AUC trên tập test, một float.
Ví dụ: train tám dòng có ti_le từ 0.001 tới 0.008 (nhãn bốn 0 rồi bốn 1) và so_don là [5, 3, 6, 2, 7, 1, 4, 8]; test năm dòng có ti_le [0.0015, 0.0075, 0.0035, 0.0065, 0.0055], so_don [9, 1, 2, 8, 3], nhãn [0, 1, 0, 1, 1]. Hàm trả 1.0: cột ti_le rất nhỏ nhưng quyết định nhãn, và chỉ đọc được nhờ bước chuẩn hóa. Ôn lại: ROC-AUC.
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_auc_score
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
def auc_pipeline(X_train, X_test, y_train, y_test):
pass # Viết thân hàm thay cho dòng nàyMức khó: cross validation
Hai bài cuối chạy cross validation và tự đọc kết quả: đổi dấu một metric sai số, và đo khoảng cách giữa điểm train và validation.
RMSE trung bình qua cross validation
bang là bảng giá nhà có cột gia_ty, cac_cot là list tên các cột feature. Viết thân hàm rmse_cv(bang, cac_cot, so_fold, hat_giong): chạy cross_val_score cho LinearRegression() với KFold(so_fold, shuffle=True, random_state=hat_giong) và scoring="neg_root_mean_squared_error", rồi trả RMSE trung bình dưới dạng số dương. Hàm không sửa bang của nơi gọi.
Trả về: RMSE trung bình các fold, tính bằng tỷ đồng, một float dương.
Ví dụ: mười căn có dien_tich_m2 là [40, 55, 70, 85, 60, 95, 50, 75, 65, 90] và gia_ty là [3.1, 3.9, 4.4, 6.0, 4.1, 6.3, 3.5, 4.9, 4.5, 6.6]; rmse_cv(nha, ["dien_tich_m2"], 5, 0) trả khoảng 0.296. Ôn lại: cross validation.
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import KFold, cross_val_score
def rmse_cv(bang, cac_cot, so_fold, hat_giong):
pass # Viết thân hàm thay cho dòng nàyKhoảng cách giữa điểm train và validation
X là DataFrame cột số, y là nhãn 0/1. Viết thân hàm khoang_cach_train_val(X, y, so_fold, hat_giong): chạy cross_validate cho make_pipeline(StandardScaler(), LogisticRegression()) với StratifiedKFold(so_fold, shuffle=True, random_state=hat_giong), scoring="roc_auc" và return_train_score=True, rồi lấy AUC train trung bình trừ AUC validation trung bình. Hàm không sửa X của nơi gọi.
Trả về: khoảng cách đó, một float; số dương lớn là dấu hiệu overfitting.
Ví dụ: sau rng = np.random.default_rng(0), X = pd.DataFrame({"a": rng.normal(0, 1, 30), "b": rng.normal(0, 1, 30)}) và y = (X["a"] + rng.normal(0, 1, 30) > 0).astype(int), lời gọi khoang_cach_train_val(X, y, 3, 0) trả khoảng 0.0077. Ôn lại: overfitting và underfitting.
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import StratifiedKFold, cross_validate
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
def khoang_cach_train_val(X, y, so_fold, hat_giong):
pass # Viết thân hàm thay cho dòng nàyCâu hỏi thường gặp
Bài tập đánh giá mô hình có lời giải xem ở đâu?
Mỗi bài có lời giải mẫu, mở sau khi bạn đã chạy thử. Lời giải chỉ là một cách đúng: trình chấm so giá trị trả về, nên cách viết khác vẫn đạt nếu ra cùng kết quả trên mọi dòng kiểm tra.
Vì sao bài RMSE phải đổi dấu?
scikit-learn quy ước điểm cao hơn là tốt hơn để mọi công cụ chọn model dùng chung một chiều. Metric sai số vì vậy được trả dưới dạng số âm, như neg_root_mean_squared_error; đổi dấu trung bình để báo RMSE như bài RMSE, MAE, R².
Một cột tương quan cao với nhãn có chắc là rò nhãn không?
Không chắc. Tương quan cao chỉ là lý do để hỏi cột đó được ghi lúc nào. Một cột ghi trước thời điểm dự đoán có thể tương quan mạnh mà hoàn toàn hợp lệ; bài data leakage chỉ cách phân biệt.
Chủ đề
Dữ liệu của bài
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.