Bỏ qua đến nội dung chính
Mục lục

Bài tập sklearn pipeline: one-hot, ColumnTransformer

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 10/11 · Chương 9

Feature engineering và Pipeline

  • 8 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Tám bài tập sklearn pipeline dưới đây được chấm tự động ngay trên trang: mỗi bài bạn viết thân một hàm Python, bấm Chạy, và từng dòng kiểm tra báo đạt hay chưa. Các bài đi qua chương feature engineering và pipeline: one hot, feature tỉ lệ, feature từ ngày, tên cột của ColumnTransformer, FunctionTransformer cho hàm thêm cột, một pipeline đầy đủ cho bảng thô, lưu và nạp model bằng joblib, và phiên bản thư viện kèm model đã lưu.

Cần biết trước: OneHotEncoder, ColumnTransformer và machine learning pipeline đầy đủ.

Cách làm các bài tập

Mỗi bài cho sẵn các dòng import và dòng def với thân là pass. Bạn thay pass bằng thân hàm. Trình chấm không đọc những gì bạn in ra: nó gọi hàm với nhiều bảng khác nhau rồi so giá trị trả về, nên hàm phải return. Số thực được so gần đúng, nên đừng làm tròn.

Mỗi hàm có vài dòng kiểm tra: ví dụ trong đề, vài trường hợp dễ sai, và với hàm nhận bảng, một dòng kiểm hàm không sửa dữ liệu của nơi gọi. Dòng cuối gọi hàm trên vài mẫu ngẫu nhiên có hạt giống, phần lớn lấy từ hoi_vien.csv hoặc bảng thô hoi_vien_tho.csv của gói Sóc Vàng, rồi so với một cách tính khác. Bí thì mở gợi ý theo thứ tự: gợi ý một chỉ chỗ cần nhìn, gợi ý hai nêu cách làm, gợi ý ba gần như là lời giải.

Mức dễ: one hot và feature tỉ lệ

Hai bài đầu chỉ cần một bộ biến đổi hoặc một phép tính trên cột.

Đếm cột sau one hot

bang là một DataFrame, cot là list tên cột phân loại. Viết thân hàm dem_cot_one_hot(bang, cot): học OneHotEncoder(handle_unknown="ignore") trên các cột cot của bang và cho biết encoder tạo ra bao nhiêu cột. Ô trống cũng thành một nhóm riêng. Hàm không sửa bang.

Trả về: số cột sau mã hóa, một int.

Ví dụ với bảng bốn dòng có goi = Tháng, Năm, Tháng, Quý và kenh = Web, App, App, ô trống: dem_cot_one_hot(bang, ["goi", "kenh"]) là 6, gồm 3 cột gói và 3 cột kênh. Ôn lại: OneHotEncoder.

python
from sklearn.preprocessing import OneHotEncoder

def dem_cot_one_hot(bang, cot):
    pass  # Viết thân hàm thay cho dòng này

Feature chi tiêu mỗi đơn

hv là bảng hội viên có hai cột so_don_90_ngay và chi_tieu_90_ngay_nghin. Viết thân hàm them_chi_moi_don(hv): thêm vào cuối bảng cột chi_moi_don bằng chi tiêu chia số đơn; hội viên không có đơn nào nhận 0. Hàm không sửa hv.

Trả về: bảng mới có thêm cột chi_moi_don, một DataFrame.

Ví dụ với ba hội viên có số đơn 4, 0, 1 và chi tiêu 600, 0, 250: cột mới là 150, 0, 250. Ôn lại: feature engineering.

python
import numpy as np
import pandas as pd

def them_chi_moi_don(hv):
    pass  # Viết thân hàm thay cho dòng này

Mức vừa: cột ngày và tên cột ra

Ba bài này tạo cột mới từ ngày, đọc tên cột mà ColumnTransformer đặt cho đầu ra, và khai tên cột ra cho một FunctionTransformer.

Ba feature từ một cột ngày

ngay là một Series các ngày dạng chuỗi "YYYY-MM-DD", moc là một ngày cùng dạng. Viết thân hàm cot_tu_ngay(ngay, moc) tạo ba cột: thu (thứ trong tuần: thứ Hai ứng với 0, Chủ nhật ứng với 6), thang (1 đến 12) và so_ngay (số ngày từ moc tới ngày đó, âm nếu trước mốc). Bảng giữ index của ngay; hàm không sửa ngay.

Trả về: bảng ba cột thu, thang, so_ngay theo thứ tự đó, một DataFrame.

Ví dụ với các ngày "2026-03-02", "2026-03-08", "2026-04-01" và moc = "2026-03-01": thu là 0, 6, 2, thang là 3, 3, 4, so_ngay là 1, 7, 31. Ôn lại: feature từ ngày.

python
import pandas as pd

def cot_tu_ngay(ngay, moc):
    pass  # Viết thân hàm thay cho dòng này

Tên cột sau ColumnTransformer

bang là một DataFrame, so là list cột số, loai là list cột phân loại (một trong hai có thể rỗng). Viết thân hàm ten_cot_ra(bang, so, loai): dựng make_column_transformer với StandardScaler() cho so và OneHotEncoder() cho loai, học trên bang, rồi lấy tên các cột ra. Hàm không sửa bang.

Trả về: tên các cột ra theo thứ tự, một list các chuỗi.

Ví dụ với bảng có tuoi, goi = Tháng, Năm, Tháng, so = ["tuoi"], loai = ["goi"]: kết quả là ["standardscaler__tuoi", "onehotencoder__goi_Năm", "onehotencoder__goi_Tháng"]. Ôn lại: ColumnTransformer.

python
from sklearn.compose import make_column_transformer
from sklearn.preprocessing import OneHotEncoder, StandardScaler

def ten_cot_ra(bang, so, loai):
    pass  # Viết thân hàm thay cho dòng này

Bọc hàm thêm cột bằng FunctionTransformer

ham là một hàm nhận DataFrame và trả bảng có thêm đúng một cột tên ten_moi ở cuối. Viết thân hàm boc_ham(ham, ten_moi, bang): bọc ham bằng FunctionTransformer, khai feature_names_out sao cho tên ra là tên các cột vào rồi tới ten_moi, học và biến đổi bang, rồi lấy tên ra bằng get_feature_names_out(). Hàm không sửa bang.

Trả về: bảng đã biến đổi và list tên cột ra, một tuple hai phần.

Ví dụ với hàm thêm cột chi_moi_don (chi tiêu chia số đơn, 0 khi không có đơn) và bảng so_don_90_ngay = 4, 0, chi_tieu_90_ngay_nghin = 600, 120: cột mới là 150, 0, tên ra là ["so_don_90_ngay", "chi_tieu_90_ngay_nghin", "chi_moi_don"]. Ôn lại: FunctionTransformer.

python
from sklearn.preprocessing import FunctionTransformer

def boc_ham(ham, ten_moi, bang):
    pass  # Viết thân hàm thay cho dòng này

Mức khó: pipeline cho bảng thô, lưu model và phiên bản thư viện

Bài thứ sáu dựng cả khối từ bảng thô đến dự đoán; hai bài cuối là việc cần làm mỗi lần lưu và nạp một model.

AUC của cả pipeline trên phần test

train và test là hai phần của bảng hội viên thô, có cột roi_bo (0 hoặc 1), có ô trống ở cột số và cách viết gói lạ. Viết thân hàm auc_tren_test(train, test, so, loai): dựng pipeline gồm make_column_transformer (cột so qua SimpleImputer(strategy="median") rồi StandardScaler(); cột loai qua OneHotEncoder(handle_unknown="ignore")) và LogisticRegression(), học trên train, rồi tính ROC AUC của xác suất rời bỏ trên test. Hàm không sửa hai bảng.

Trả về: ROC AUC trên test, một float.

Ví dụ: học trên 350 dòng đầu của hoi_vien_tho.csv (đã bỏ 3 dòng trống roi_bo), chấm trên phần còn lại, với so = ["tuoi", "so_ngay_tu_lan_mua_cuoi"] và loai = ["goi"], kết quả khoảng 0.6589. Ôn lại: machine learning pipeline đầy đủ.

python
from sklearn.compose import make_column_transformer
from sklearn.impute import SimpleImputer
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_auc_score
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import OneHotEncoder, StandardScaler

def auc_tren_test(train, test, so, loai):
    pass  # Viết thân hàm thay cho dòng này

Lưu model kèm phiên bản rồi nạp lại

model là một model hay pipeline đã học. Viết thân hàm luu_roi_nap(model, duong_dan): dùng joblib lưu vào duong_dan một dict hai khóa, "model" là model và "scikit-learn" là sklearn.__version__ đọc lúc gọi hàm, rồi nạp lại chính file đó.

Trả về: dict vừa nạp lại từ file, một dict.

Ví dụ với m là LogisticRegression đã học trên hai cột tuoi, so_don_90_ngay của hoi_vien.csv: luu_roi_nap(m, "m.joblib") ghi file m.joblib và trả về dict có "scikit-learn" là "1.8.0" và "model" là bản nạp lại của m, dự đoán y hệt m. Ôn lại: lưu model bằng joblib.

python
import joblib
import sklearn

def luu_roi_nap(model, duong_dan):
    pass  # Viết thân hàm thay cho dòng này

Thư viện nào lệch phiên bản

File JSON ở duong_dan ghi phiên bản thư viện lúc lưu model, dạng {"scikit-learn": "1.6.1", "numpy": "2.4.6"}; khóa chỉ gồm một vài trong ba tên "scikit-learn", "numpy", "pandas". Viết thân hàm phien_ban_lech(duong_dan): đọc file, so từng thư viện trong file với phiên bản đang cài (sklearn.__version__, numpy.__version__, pandas.__version__), và liệt kê thư viện lệch.

Trả về: tên các thư viện lệch, xếp theo chữ cái, một list (rỗng nếu không lệch).

Ví dụ với file ghi scikit-learn "1.6.1", pandas "2.2.3" và numpy đúng bản đang cài: kết quả là ["pandas", "scikit-learn"]. Ôn lại: lưu model bằng joblib.

python
import json
import numpy
import pandas
import sklearn

def phien_ban_lech(duong_dan):
    pass  # Viết thân hàm thay cho dòng này

Câu hỏi thường gặp

Bài tập sklearn pipeline có lời giải xem ở đâu?

Mỗi bài có lời giải mẫu, mở sau khi bạn đã chạy thử. Lời giải chỉ là một cách đúng: trình chấm so giá trị trả về, nên cách viết khác vẫn đạt nếu ra cùng kết quả trên các dòng kiểm tra.

Vì sao bài AUC chỉ chia train và test một lần thay vì cross validation?

Để trình chấm chạy nhanh trên trình duyệt. Khi tự làm, hãy đưa cùng pipeline đó vào cross_val_score như bài pipeline đầy đủ: con số trung bình của nhiều fold ổn định hơn một lần chia.

Ở bài AUC, sao gói viết "Thang" không làm hàm báo lỗi?

handle_unknown="ignore" cho các cột gói của dòng đó bằng 0, nên pipeline vẫn dự đoán. Nhưng model coi "Thang" như một gói chưa từng gặp chứ không biết đó là gói Tháng. Dự án cuối chương gom các cách viết này trước khi mã hóa.

Muốn luyện thêm FunctionTransformer thì làm gì?

Thử bọc hàm của bài chi tiêu mỗi đơn bằng FunctionTransformer như bài bọc hàm, và đặt nó ở đầu pipeline của bài AUC, rồi thêm "chi_moi_don" vào so. Cách làm có trong bài FunctionTransformer.

Vì sao bài lưu model ghi rồi nạp file trong cùng một hàm?

Trên trang này, file chỉ sống trong lần chạy đó: lần chạy sau bắt đầu ở một thư mục trống. Trên máy, file nằm thật trong thư mục đang làm việc, nên một chương trình khác nạp được nó về sau.

Chủ đề

bài tập sklearn pipeline

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập