Dự án refactor notebook: viết lại thành một pipeline sạch
Bài 11/11 · Chương 9
Feature engineering và Pipeline
- 7 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 8
Dự án refactor notebook này viết lại một notebook rối thành một pipeline sạch. Notebook cũ của nhóm phân tích Sóc Vàng sửa bảng hội viên qua nhiều ô rời nhau. Nó sửa tên gói bằng tay, đổi cột chữ sang số, và điền ô trống bằng trung vị của toàn bảng trước khi chia train và test. Bạn sẽ gom các bước đó vào một đối tượng Pipeline, chấm nó bằng cross validation và lưu nó thành một file.
Chạy lại notebook theo thứ tự khác là ra số khác, và khi có hội viên mới thì không ai nhớ đủ các bước; một pipeline giải quyết cả hai việc.
Cần biết trước: SimpleImputer, ColumnTransformer và machine learning pipeline đầy đủ.
Chương trình sẽ làm gì
File hoi_vien_tho.csv là 500 hội viên giả lập của gói Sóc Vàng, xuất thẳng từ hệ thống cũ chưa qua làm sạch. Bảng có cùng các cột như hoi_vien.csv, nhưng tên gói viết nhiều kiểu, cột gia hạn tự động trộn chữ và số, chi tiêu và điểm đánh giá là chữ, và có vài ô trống. Chương trình trả lời ba câu:
Bảng thô bẩn ở những chỗ nào?
Pipeline làm sạch và dự đoán khả năng rời bỏ cho AUC bao nhiêu khi chấm bằng cross validation?
Cột nào trong notebook cũ làm điểm cao giả?
Thứ tự dựng: nhìn chỗ bẩn, gom cách viết, đổi cột chữ sang số, loại cột chỉ có sau mốc, rồi ghép thành một chương trình.
Bước 1: Nhìn chỗ bẩn
Đếm các giá trị khác nhau của từng cột chữ là cách nhanh để thấy chỗ bẩn:
import pandas as pd
tho = pd.read_csv("hoi_vien_tho.csv")
print(tho["goi"].value_counts().to_dict())
print(tho["tu_dong_gia_han"].value_counts().to_dict())
chi = tho["chi_tieu_90_ngay_nghin"]
print(chi[chi.str.endswith("k")].head(3).tolist())
diem = tho["diem_danh_gia_tb"]
print((diem == "chưa đánh giá").sum(), tho["roi_bo"].isna().sum())KẾT QUẢ
{'Tháng': 227, 'Quý': 95, 'Năm': 78, 'QUÝ': 25, 'tháng': 19, ' Năm': 18, '1 năm': 18, 'Thang': 12, 'Tháng ': 8}
{'Có': 92, '0': 90, '1': 85, 'no': 81, 'yes': 76, 'Không': 76}
['149k', '1.315k', '2.919k']
180 3Ba gói được viết thành chín kiểu, có kiểu chỉ khác nhau một dấu cách. Cột gia hạn tự động dùng sáu cách ghi cho hai giá trị có và không. Chi tiêu có đuôi k và dấu chấm ngăn hàng nghìn, nên "1.315k" là 1.315 nghìn đồng. 180 hội viên chưa đánh giá, và 3 dòng không có nhãn roi_bo.
Bước 2: Gom cách viết
Bỏ khoảng trắng hai đầu và đưa về chữ thường trước, rồi mới tra bảng tên chuẩn. Cột gia hạn thì chỉ cần hỏi giá trị có nằm trong nhóm "có" hay không:
import pandas as pd
GOI = {"tháng": "Tháng", "thang": "Tháng", "quý": "Quý",
"năm": "Năm", "1 năm": "Năm"}
CO = ["Có", "1", "yes"]
tho = pd.read_csv("hoi_vien_tho.csv")
goi = tho["goi"].str.strip().str.lower().map(GOI)
print(goi.value_counts(dropna=False).to_dict())
gh = tho["tu_dong_gia_han"].isin(CO).astype(int)
print(gh.value_counts().to_dict())KẾT QUẢ
{'Tháng': 266, 'Quý': 120, 'Năm': 114}
{1: 253, 0: 247}Không còn ô trống ở cột gói: cả chín kiểu viết đều được gom về ba tên.
Bước 3: Đổi cột chữ sang số
Chi tiêu bỏ dấu chấm và chữ k là ra số. Điểm đánh giá dùng pd.to_numeric(..., errors="coerce"): chữ "chưa đánh giá" thành ô trống, để bước điền ô trống trong pipeline xử lý:
import pandas as pd
tho = pd.read_csv("hoi_vien_tho.csv")
chi = tho["chi_tieu_90_ngay_nghin"]
so = chi.str.replace(r"[.k]", "", regex=True).astype(float)
print(chi[chi.str.endswith("k")].head(2).tolist(),
so[chi.str.endswith("k")].head(2).tolist())
diem = pd.to_numeric(tho["diem_danh_gia_tb"], errors="coerce")
print(diem.isna().sum(), diem.mean().round(2))KẾT QUẢ
['149k', '1.315k'] [149.0, 1315.0]
180 4.25Bước 4: Loại cột chỉ có sau mốc
Notebook cũ giữ cột hoi_cach_huy_sau_moc: hội viên có hỏi cách hủy gói trong tháng sau mốc dự đoán hay không. Ở thời điểm cần dự đoán, cột này chưa tồn tại. Khối dưới chấm trên bảng sạch hoi_vien.csv, có và không có cột đó:
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import StratifiedKFold, cross_val_score
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
hv = pd.read_csv("hoi_vien.csv")
X = hv.select_dtypes("number").drop(
columns=["roi_bo", "diem_danh_gia_tb"])
pipe = make_pipeline(StandardScaler(), LogisticRegression())
chia = StratifiedKFold(5, shuffle=True, random_state=0)
for bo in [["hoi_cach_huy_sau_moc"], []]:
auc = cross_val_score(pipe, X.drop(columns=bo), hv["roi_bo"],
cv=chia, scoring="roc_auc")
print(bo, auc.mean().round(3))KẾT QUẢ
['hoi_cach_huy_sau_moc'] 0.793
[] 0.94Giữ cột này, AUC nhảy từ 0,793 lên 0,94. Con số đó không lặp lại được khi dùng thật, vì lúc dự đoán chưa ai biết hội viên có hỏi cách hủy hay không. Bài data leakage nói kỹ hơn về loại lỗi này. Hàm làm sạch ở bước sau bỏ cột này cùng mã hội viên và nhãn.
Bước 5: Ghép thành chương trình hoàn chỉnh
lam_sach gom các bước 2 tới 4 vào một hàm không có trạng thái: nó chỉ sửa từng dòng, nên đặt được ở đầu pipeline qua FunctionTransformer. Phần cần học từ dữ liệu (trung vị để điền ô trống, trung bình để chuẩn hóa, danh sách nhóm của one hot) nằm trong ColumnTransformer, nên chỉ học trên phần train của từng fold:
import pandas as pd
from sklearn.compose import make_column_selector as chon
from sklearn.compose import make_column_transformer
from sklearn.impute import SimpleImputer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import StratifiedKFold, cross_val_score
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import FunctionTransformer
from sklearn.preprocessing import OneHotEncoder, StandardScaler
GOI = {"tháng": "Tháng", "thang": "Tháng", "quý": "Quý",
"năm": "Năm", "1 năm": "Năm"}
CO = ["Có", "1", "yes"]
BO = ["ma_kh", "hoi_cach_huy_sau_moc", "roi_bo"]
def lam_sach(X):
chi = X["chi_tieu_90_ngay_nghin"].str.replace(r"[.k]", "",
regex=True)
return X.drop(columns=BO).assign(
goi=X["goi"].str.strip().str.lower().map(GOI),
tu_dong_gia_han=X["tu_dong_gia_han"].isin(CO).astype(int),
chi_tieu_90_ngay_nghin=chi.astype(float),
diem_danh_gia_tb=pd.to_numeric(X["diem_danh_gia_tb"],
errors="coerce"))
so = make_pipeline(SimpleImputer(strategy="median"),
StandardScaler())
chu = make_pipeline(SimpleImputer(strategy="most_frequent"),
OneHotEncoder(handle_unknown="ignore"))
ct = make_column_transformer((so, chon(dtype_include="number")),
(chu, chon(dtype_include="str")))
pipe = make_pipeline(FunctionTransformer(lam_sach), ct,
LogisticRegression())
tho = pd.read_csv("hoi_vien_tho.csv").dropna(subset=["roi_bo"])
chia = StratifiedKFold(5, shuffle=True, random_state=0)
auc = cross_val_score(pipe, tho, tho["roi_bo"], cv=chia,
scoring="roc_auc")
print(auc.round(3), auc.mean().round(3))
pipe.fit(tho, tho["roi_bo"])
print(pipe.predict_proba(tho.head(3))[:, 1].round(2))KẾT QUẢ
[0.739 0.815 0.885 0.78 0.77 ] 0.798
[0.15 0.44 0.42]Cả notebook cũ giờ là một đối tượng: cross_val_score chấm nó từ bảng thô, ra AUC trung bình 0,798. Con số này ngang mức của model trên bảng sạch ở bước 4, dù chỉ có 500 dòng; độ lệch giữa các fold (0,74 tới 0,89) lớn hơn nhiều so với khoảng cách giữa hai con số. Hội viên mới chỉ cần đi qua pipe.predict_proba, với cùng cách gom tên gói và cùng trung vị đã học.
Bước cuối là lưu cả khối ra file. Khối dưới chỉ để đọc: trên máy, đặt nó ở cuối cùng file .py với khối trên rồi chạy:
import joblib
joblib.dump(pipe, "soc_vang_sach.joblib")
pickle chỉ ghi tên của hàm lam_sach, không ghi thân hàm, nên chương trình nạp file phải định nghĩa hoặc import được lam_sach trước khi gọi joblib.load, như bài lưu model bằng joblib nói. Trên trang này, dòng dump báo PicklingError: mỗi khối chạy trong một vùng tên riêng, còn pickle tìm hàm theo tên trong module __main__ thật, nơi không có lam_sach. Pipeline chỉ gồm các bước của scikit-learn thì lưu được trên trang, nhưng file chỉ sống trong lần chạy đó.
Bài tập
Gom các cách viết tên gói
goi là một Series tên gói viết lộn xộn. Viết thân hàm gom_goi(goi): bỏ khoảng trắng hai đầu, đưa về chữ thường, rồi đổi "tháng", "thang" thành "Tháng"; "quý", "quy" thành "Quý"; "năm", "nam", "1 năm", "1 nam" thành "Năm". Cách viết khác thành NaN. Hàm không sửa goi.
Trả về: tên gói chuẩn, cùng index với goi, một Series.
Ví dụ với "QUÝ", " Năm", "Tháng ", "1 năm", "Thang": kết quả là "Quý", "Năm", "Tháng", "Năm", "Tháng".
import pandas as pd
def gom_goi(goi):
pass # Viết thân hàm thay cho dòng nàyThử mở rộng
Các hướng dưới làm được ngay với chương trình trên:
Cột
tuoicó vài giá trị 0 và 199. Thêm vàolam_sachmột dòng đổi tuổi ngoài khoảng 15 tới 80 thành ô trống, chấm lại, và xem AUC có đổi không.Thêm
add_indicator=Truecho imputer của nhánh số, như bài SimpleImputer, để model biết hội viên nào chưa đánh giá.Thêm feature chi tiêu mỗi đơn vào
lam_sachnhư bài feature engineering và đo bằng cùng cách chia.Đặt
pipe.set_output(transform="pandas")rồi inpipe[:-1].transform(tho).head()để xem bảng mà model thật sự nhận.Dùng hàm
gom_goicủa bài tập thay cho dòng gom tên gói tronglam_sach.
Chủ đề
Dữ liệu của bài
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.