Bỏ qua đến nội dung chính
Mục lục

Dự án refactor notebook: viết lại thành một pipeline sạch

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 11/11 · Chương 9

Feature engineering và Pipeline

  • 7 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Dự án refactor notebook này viết lại một notebook rối thành một pipeline sạch. Notebook cũ của nhóm phân tích Sóc Vàng sửa bảng hội viên qua nhiều ô rời nhau. Nó sửa tên gói bằng tay, đổi cột chữ sang số, và điền ô trống bằng trung vị của toàn bảng trước khi chia train và test. Bạn sẽ gom các bước đó vào một đối tượng Pipeline, chấm nó bằng cross validation và lưu nó thành một file.

Chạy lại notebook theo thứ tự khác là ra số khác, và khi có hội viên mới thì không ai nhớ đủ các bước; một pipeline giải quyết cả hai việc.

Cần biết trước: SimpleImputer, ColumnTransformer và machine learning pipeline đầy đủ.

Chương trình sẽ làm gì

File hoi_vien_tho.csv là 500 hội viên giả lập của gói Sóc Vàng, xuất thẳng từ hệ thống cũ chưa qua làm sạch. Bảng có cùng các cột như hoi_vien.csv, nhưng tên gói viết nhiều kiểu, cột gia hạn tự động trộn chữ và số, chi tiêu và điểm đánh giá là chữ, và có vài ô trống. Chương trình trả lời ba câu:

  1. Bảng thô bẩn ở những chỗ nào?

  2. Pipeline làm sạch và dự đoán khả năng rời bỏ cho AUC bao nhiêu khi chấm bằng cross validation?

  3. Cột nào trong notebook cũ làm điểm cao giả?

Thứ tự dựng: nhìn chỗ bẩn, gom cách viết, đổi cột chữ sang số, loại cột chỉ có sau mốc, rồi ghép thành một chương trình.

Bước 1: Nhìn chỗ bẩn

Đếm các giá trị khác nhau của từng cột chữ là cách nhanh để thấy chỗ bẩn:

python
import pandas as pd
tho = pd.read_csv("hoi_vien_tho.csv")
print(tho["goi"].value_counts().to_dict())
print(tho["tu_dong_gia_han"].value_counts().to_dict())
chi = tho["chi_tieu_90_ngay_nghin"]
print(chi[chi.str.endswith("k")].head(3).tolist())
diem = tho["diem_danh_gia_tb"]
print((diem == "chưa đánh giá").sum(), tho["roi_bo"].isna().sum())

KẾT QUẢ

{'Tháng': 227, 'Quý': 95, 'Năm': 78, 'QUÝ': 25, 'tháng': 19, ' Năm': 18, '1 năm': 18, 'Thang': 12, 'Tháng ': 8}
{'Có': 92, '0': 90, '1': 85, 'no': 81, 'yes': 76, 'Không': 76}
['149k', '1.315k', '2.919k']
180 3

Ba gói được viết thành chín kiểu, có kiểu chỉ khác nhau một dấu cách. Cột gia hạn tự động dùng sáu cách ghi cho hai giá trị có và không. Chi tiêu có đuôi k và dấu chấm ngăn hàng nghìn, nên "1.315k" là 1.315 nghìn đồng. 180 hội viên chưa đánh giá, và 3 dòng không có nhãn roi_bo.

Bước 2: Gom cách viết

Bỏ khoảng trắng hai đầu và đưa về chữ thường trước, rồi mới tra bảng tên chuẩn. Cột gia hạn thì chỉ cần hỏi giá trị có nằm trong nhóm "có" hay không:

python
import pandas as pd
GOI = {"tháng": "Tháng", "thang": "Tháng", "quý": "Quý",
       "năm": "Năm", "1 năm": "Năm"}
CO = ["Có", "1", "yes"]
tho = pd.read_csv("hoi_vien_tho.csv")
goi = tho["goi"].str.strip().str.lower().map(GOI)
print(goi.value_counts(dropna=False).to_dict())
gh = tho["tu_dong_gia_han"].isin(CO).astype(int)
print(gh.value_counts().to_dict())

KẾT QUẢ

{'Tháng': 266, 'Quý': 120, 'Năm': 114}
{1: 253, 0: 247}

Không còn ô trống ở cột gói: cả chín kiểu viết đều được gom về ba tên.

Bước 3: Đổi cột chữ sang số

Chi tiêu bỏ dấu chấm và chữ k là ra số. Điểm đánh giá dùng pd.to_numeric(..., errors="coerce"): chữ "chưa đánh giá" thành ô trống, để bước điền ô trống trong pipeline xử lý:

python
import pandas as pd
tho = pd.read_csv("hoi_vien_tho.csv")
chi = tho["chi_tieu_90_ngay_nghin"]
so = chi.str.replace(r"[.k]", "", regex=True).astype(float)
print(chi[chi.str.endswith("k")].head(2).tolist(),
      so[chi.str.endswith("k")].head(2).tolist())
diem = pd.to_numeric(tho["diem_danh_gia_tb"], errors="coerce")
print(diem.isna().sum(), diem.mean().round(2))

KẾT QUẢ

['149k', '1.315k'] [149.0, 1315.0]
180 4.25

Bước 4: Loại cột chỉ có sau mốc

Notebook cũ giữ cột hoi_cach_huy_sau_moc: hội viên có hỏi cách hủy gói trong tháng sau mốc dự đoán hay không. Ở thời điểm cần dự đoán, cột này chưa tồn tại. Khối dưới chấm trên bảng sạch hoi_vien.csv, có và không có cột đó:

python
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import StratifiedKFold, cross_val_score
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
hv = pd.read_csv("hoi_vien.csv")
X = hv.select_dtypes("number").drop(
    columns=["roi_bo", "diem_danh_gia_tb"])
pipe = make_pipeline(StandardScaler(), LogisticRegression())
chia = StratifiedKFold(5, shuffle=True, random_state=0)
for bo in [["hoi_cach_huy_sau_moc"], []]:
    auc = cross_val_score(pipe, X.drop(columns=bo), hv["roi_bo"],
                          cv=chia, scoring="roc_auc")
    print(bo, auc.mean().round(3))

KẾT QUẢ

['hoi_cach_huy_sau_moc'] 0.793
[] 0.94

Giữ cột này, AUC nhảy từ 0,793 lên 0,94. Con số đó không lặp lại được khi dùng thật, vì lúc dự đoán chưa ai biết hội viên có hỏi cách hủy hay không. Bài data leakage nói kỹ hơn về loại lỗi này. Hàm làm sạch ở bước sau bỏ cột này cùng mã hội viên và nhãn.

Bước 5: Ghép thành chương trình hoàn chỉnh

lam_sach gom các bước 2 tới 4 vào một hàm không có trạng thái: nó chỉ sửa từng dòng, nên đặt được ở đầu pipeline qua FunctionTransformer. Phần cần học từ dữ liệu (trung vị để điền ô trống, trung bình để chuẩn hóa, danh sách nhóm của one hot) nằm trong ColumnTransformer, nên chỉ học trên phần train của từng fold:

python
import pandas as pd
from sklearn.compose import make_column_selector as chon
from sklearn.compose import make_column_transformer
from sklearn.impute import SimpleImputer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import StratifiedKFold, cross_val_score
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import FunctionTransformer
from sklearn.preprocessing import OneHotEncoder, StandardScaler

GOI = {"tháng": "Tháng", "thang": "Tháng", "quý": "Quý",
       "năm": "Năm", "1 năm": "Năm"}
CO = ["Có", "1", "yes"]
BO = ["ma_kh", "hoi_cach_huy_sau_moc", "roi_bo"]

def lam_sach(X):
    chi = X["chi_tieu_90_ngay_nghin"].str.replace(r"[.k]", "",
                                                  regex=True)
    return X.drop(columns=BO).assign(
        goi=X["goi"].str.strip().str.lower().map(GOI),
        tu_dong_gia_han=X["tu_dong_gia_han"].isin(CO).astype(int),
        chi_tieu_90_ngay_nghin=chi.astype(float),
        diem_danh_gia_tb=pd.to_numeric(X["diem_danh_gia_tb"],
                                       errors="coerce"))
so = make_pipeline(SimpleImputer(strategy="median"),
                   StandardScaler())
chu = make_pipeline(SimpleImputer(strategy="most_frequent"),
                    OneHotEncoder(handle_unknown="ignore"))
ct = make_column_transformer((so, chon(dtype_include="number")),
                             (chu, chon(dtype_include="str")))
pipe = make_pipeline(FunctionTransformer(lam_sach), ct,
                     LogisticRegression())
tho = pd.read_csv("hoi_vien_tho.csv").dropna(subset=["roi_bo"])
chia = StratifiedKFold(5, shuffle=True, random_state=0)
auc = cross_val_score(pipe, tho, tho["roi_bo"], cv=chia,
                      scoring="roc_auc")
print(auc.round(3), auc.mean().round(3))
pipe.fit(tho, tho["roi_bo"])
print(pipe.predict_proba(tho.head(3))[:, 1].round(2))

KẾT QUẢ

[0.739 0.815 0.885 0.78  0.77 ] 0.798
[0.15 0.44 0.42]

Cả notebook cũ giờ là một đối tượng: cross_val_score chấm nó từ bảng thô, ra AUC trung bình 0,798. Con số này ngang mức của model trên bảng sạch ở bước 4, dù chỉ có 500 dòng; độ lệch giữa các fold (0,74 tới 0,89) lớn hơn nhiều so với khoảng cách giữa hai con số. Hội viên mới chỉ cần đi qua pipe.predict_proba, với cùng cách gom tên gói và cùng trung vị đã học.

Bước cuối là lưu cả khối ra file. Khối dưới chỉ để đọc: trên máy, đặt nó ở cuối cùng file .py với khối trên rồi chạy:

python
import joblib
joblib.dump(pipe, "soc_vang_sach.joblib")

pickle chỉ ghi tên của hàm lam_sach, không ghi thân hàm, nên chương trình nạp file phải định nghĩa hoặc import được lam_sach trước khi gọi joblib.load, như bài lưu model bằng joblib nói. Trên trang này, dòng dump báo PicklingError: mỗi khối chạy trong một vùng tên riêng, còn pickle tìm hàm theo tên trong module __main__ thật, nơi không có lam_sach. Pipeline chỉ gồm các bước của scikit-learn thì lưu được trên trang, nhưng file chỉ sống trong lần chạy đó.

Bài tập

Gom các cách viết tên gói

goi là một Series tên gói viết lộn xộn. Viết thân hàm gom_goi(goi): bỏ khoảng trắng hai đầu, đưa về chữ thường, rồi đổi "tháng", "thang" thành "Tháng"; "quý", "quy" thành "Quý"; "năm", "nam", "1 năm", "1 nam" thành "Năm". Cách viết khác thành NaN. Hàm không sửa goi.

Trả về: tên gói chuẩn, cùng index với goi, một Series.

Ví dụ với "QUÝ", " Năm", "Tháng ", "1 năm", "Thang": kết quả là "Quý", "Năm", "Tháng", "Năm", "Tháng".

python
import pandas as pd

def gom_goi(goi):
    pass  # Viết thân hàm thay cho dòng này

Thử mở rộng

Các hướng dưới làm được ngay với chương trình trên:

  • Cột tuoi có vài giá trị 0 và 199. Thêm vào lam_sach một dòng đổi tuổi ngoài khoảng 15 tới 80 thành ô trống, chấm lại, và xem AUC có đổi không.

  • Thêm add_indicator=True cho imputer của nhánh số, như bài SimpleImputer, để model biết hội viên nào chưa đánh giá.

  • Thêm feature chi tiêu mỗi đơn vào lam_sach như bài feature engineering và đo bằng cùng cách chia.

  • Đặt pipe.set_output(transform="pandas") rồi in pipe[:-1].transform(tho).head() để xem bảng mà model thật sự nhận.

  • Dùng hàm gom_goi của bài tập thay cho dòng gom tên gói trong lam_sach.

Chủ đề

refactor notebook

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập