Machine learning pipeline đầy đủ: named_steps, set_output
Bài 7/11 · Chương 9
Feature engineering và Pipeline
- 9 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 13
Một machine learning pipeline đầy đủ gói các bước từ bảng thô tới dự đoán vào một đối tượng: ColumnTransformer xử lý từng nhóm cột, rồi model. Bài này dùng Pipeline với tên bước rõ ràng, để bạn lấy được từng bước ra xem, chỉnh tham số của bước nằm sâu bên trong, và đọc kết quả biến đổi dưới dạng bảng có tên cột.
Cần biết trước: ColumnTransformer, sklearn pipeline và cross validation.
Pipeline với tên cho từng bước
make_pipeline tự đặt tên bước theo tên lớp. Pipeline nhận danh sách cặp (tên, bước) do bạn đặt, nên tên ngắn và có nghĩa. Khối ColumnTransformer pipeline dưới đây gồm hai bước, bien_doi và lr, chạy trên bảng hội viên Sóc Vàng (số giả lập), và được chấm nguyên khối bằng cross validation:
import pandas as pd
from sklearn.compose import ColumnTransformer
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import OneHotEncoder, StandardScaler
from sklearn.model_selection import StratifiedKFold, cross_val_score
hv = pd.read_csv("hoi_vien.csv")
so = ["tuoi", "so_don_90_ngay", "so_ngay_tu_lan_mua_cuoi"]
ct = ColumnTransformer([("so_lieu", StandardScaler(), so),
("phan_loai", OneHotEncoder(), ["goi"])])
pipe = Pipeline([("bien_doi", ct), ("lr", LogisticRegression())])
chia = StratifiedKFold(5, shuffle=True, random_state=0)
auc = cross_val_score(pipe, hv, hv["roi_bo"], cv=chia,
scoring="roc_auc")
print(auc.round(3), auc.mean().round(3))KẾT QUẢ
[0.716 0.699 0.736 0.766 0.752] 0.734Bảng hv đi vào nguyên vẹn, kể cả cột roi_bo và ma_kh: ColumnTransformer chỉ lấy các cột được nêu tên và bỏ phần còn lại (remainder="drop"). Trong mỗi fold, scaler và encoder chỉ học trên phần train của fold đó, nên điểm 0,734 không bị rò từ phần chấm. Đó là lý do chấm cả pipeline thay vì biến đổi bảng trước rồi chỉ chấm model.
named_steps: lấy từng bước ra
Sau khi fit, pipe.named_steps["tên"] trả về bước đã học. Ghép tên cột đầu ra của bước biến đổi với hệ số của logistic regression cho bạn biết model dựa vào cột nào:
import pandas as pd
from sklearn.compose import ColumnTransformer
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import OneHotEncoder, StandardScaler
hv = pd.read_csv("hoi_vien.csv")
so = ["tuoi", "so_don_90_ngay", "so_ngay_tu_lan_mua_cuoi"]
ct = ColumnTransformer([("so_lieu", StandardScaler(), so),
("phan_loai", OneHotEncoder(), ["goi"])])
pipe = Pipeline([("bien_doi", ct), ("lr", LogisticRegression())])
train = hv.sample(frac=0.75, random_state=0)
pipe.fit(train, train["roi_bo"])
ten = pipe.named_steps["bien_doi"].get_feature_names_out()
he_so = pipe.named_steps["lr"].coef_[0]
print(pd.Series(he_so, index=ten).round(2))KẾT QUẢ
so_lieu__tuoi -0.03
so_lieu__so_don_90_ngay -0.38
so_lieu__so_ngay_tu_lan_mua_cuoi 0.55
phan_loai__goi_Năm -0.07
phan_loai__goi_Quý -0.19
phan_loai__goi_Tháng 0.27
dtype: float64Cột số đã chuẩn hóa nên hệ số so được với nhau: số ngày từ lần mua cuối tăng một độ lệch chuẩn thì đẩy khả năng rời bỏ lên mạnh hơn cả, còn tuổi gần như không đóng góp. Gói Tháng có hệ số dương so với hai gói dài. Khối này học trên 75% hội viên lấy bằng sample, phần còn lại để dành cho phép chấm. Pipeline cũng cắt được như list: pipe[0] là bước đầu, pipe[-1] là model, pipe[:-1] là các bước trừ model. Đổi named_steps["lr"] thành named_steps["bien_doi"] rồi chạy lại: Python báo lỗi 'ColumnTransformer' object has no attribute 'coef_', vì chỉ model mới có hệ số.
Tham số lồng: bước__tham_số
Mỗi tham số của mỗi bước có một tên đầy đủ: tên bước, hai dấu gạch dưới, tên tham số. Bước nằm trong ColumnTransformer thì thêm một tầng nữa. set_params đổi tham số qua tên đó mà không cần dựng lại pipeline, và đây là cách các công cụ dò tham số làm việc ở bài hyperparameter:
import pandas as pd
from sklearn.compose import ColumnTransformer
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import OneHotEncoder, StandardScaler
hv = pd.read_csv("hoi_vien.csv")
so = ["tuoi", "so_don_90_ngay", "so_ngay_tu_lan_mua_cuoi"]
ct = ColumnTransformer([("so_lieu", StandardScaler(), so),
("phan_loai", OneHotEncoder(), ["goi"])])
pipe = Pipeline([("bien_doi", ct), ("lr", LogisticRegression())])
pipe.set_params(lr__C=0.1, bien_doi__phan_loai__drop="first")
print(pipe.named_steps["lr"].C)
print(pipe.get_params()["bien_doi__phan_loai__drop"])
print([k for k in pipe.get_params() if k.startswith("lr__")][:3])KẾT QUẢ
0.1
first
['lr__C', 'lr__class_weight', 'lr__dual']bien_doi__phan_loai__drop đi qua ba tầng: bước bien_doi, nhánh phan_loai của nó, rồi tham số drop của encoder. get_params() liệt kê các tên hợp lệ, có ích khi bạn không nhớ cách viết.
set_output: kết quả biến đổi là bảng
Mặc định, các bước biến đổi trả về mảng numpy, mất tên cột. set_output(transform="pandas") đặt trên pipeline làm các bước biến đổi trả về DataFrame có tên cột đầu ra, tiện khi bạn muốn nhìn dữ liệu đúng như model thấy. Encoder one hot mặc định trả ma trận thưa, mà DataFrame không chứa được, nên phải đặt sparse_output=False:
import pandas as pd
from sklearn.compose import ColumnTransformer
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import OneHotEncoder, StandardScaler
hv = pd.read_csv("hoi_vien.csv")
so = ["tuoi", "so_don_90_ngay", "so_ngay_tu_lan_mua_cuoi"]
ma_hoa = OneHotEncoder(sparse_output=False)
ct = ColumnTransformer([("so_lieu", StandardScaler(), so),
("phan_loai", ma_hoa, ["goi"])])
pipe = Pipeline([("bien_doi", ct), ("lr", LogisticRegression())])
train = hv.sample(frac=0.75, random_state=0)
pipe.set_output(transform="pandas").fit(train, train["roi_bo"])
X_test = pipe[:-1].transform(hv.drop(train.index))
print(X_test.iloc[:3, [0, 3, 5]].round(2))KẾT QUẢ
so_lieu__tuoi phan_loai__goi_Năm phan_loai__goi_Tháng
0 -0.93 1.0 0.0
3 0.74 0.0 0.0
7 -1.57 0.0 1.0hv.drop(train.index) là 25% hội viên chưa dùng để học, và index của họ (0, 3, 7) được giữ lại. Bỏ sparse_output=False thì fit dừng với một ValueError nói rằng đầu ra pandas không nhận dữ liệu thưa, kèm gợi ý đặt đúng tham số đó.
Dữ liệu mới đi qua đúng các bước
Pipeline đã học áp lên bảng mới theo đúng các bước và các giá trị đã học: ô trống được điền, nhóm lạ được bỏ qua. Khối dưới đây học trên bảng sạch, rồi dự đoán cho ba dòng của bảng thô hoi_vien_tho.csv:
import pandas as pd
from sklearn.compose import ColumnTransformer
from sklearn.impute import SimpleImputer
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import Pipeline, make_pipeline
from sklearn.preprocessing import OneHotEncoder, StandardScaler
hv = pd.read_csv("hoi_vien.csv")
so = ["tuoi", "so_don_90_ngay", "so_ngay_tu_lan_mua_cuoi"]
dien = make_pipeline(SimpleImputer(), StandardScaler())
ma_hoa = OneHotEncoder(handle_unknown="ignore")
ct = ColumnTransformer([("so_lieu", dien, so),
("phan_loai", ma_hoa, ["goi"])])
pipe = Pipeline([("bien_doi", ct), ("lr", LogisticRegression())])
tho = pd.read_csv("hoi_vien_tho.csv").iloc[[1, 2, 32]]
print(pipe.fit(hv, hv["roi_bo"]).predict_proba(tho)[:, 1].round(2))KẾT QUẢ
[0.46 0.55 0.07]Dòng thứ hai ghi gói là "Thang", không dấu: encoder chưa gặp cách viết này nên cả ba cột gói của nó bằng 0, và dự đoán vẫn ra. Dòng thứ ba trống tuổi, nên nhận tuổi trung bình của bảng học. Pipeline không báo lỗi, nhưng cũng không biết "Thang" là gói Tháng; gom các cách viết là việc làm sạch, và dự án cuối chương đưa việc đó vào pipeline. Bảng thô được dựng từ các dòng đầu của bảng sạch, nên ba con số này chỉ minh họa cách dữ liệu chảy qua; phép chấm thật cần dữ liệu model chưa gặp.
Kiểm tra nhanh
Vì sao nên chấm cả pipeline bằng
cross_val_scorethay vì biến đổi cả bảng trước rồi chỉ chấm model?- Vì
cross_val_scorekhông nhận model đứng riêng - Vì trong mỗi fold, scaler và encoder chỉ học trên phần train của fold, nên phần chấm không rò vào bước biến đổi
- Vì pipeline cho điểm cao hơn trong mọi trường hợp
- Vì
Pipeline có bước
("bien_doi", ct)rồi("lr", LogisticRegression()). Cách nào lấy được tên cột đầu ra sau khifit?pipe.named_steps["bien_doi"].get_feature_names_out()pipe[:-1].get_feature_names_out()pipe.get_feature_names_out()pipe.named_steps["lr"].get_feature_names_out()
Tên đầy đủ của tham số
min_frequencycủa encoder trong nhánhphan_loai, thuộc bướcbien_doi, là gì?phan_loai__min_frequencybien_doi__phan_loai__min_frequencybien_doi.phan_loai.min_frequency
Bật
set_output(transform="pandas")trên pipeline có encoder one hot mặc định thì sao?- Kết quả vẫn là mảng numpy
fitbáo lỗi vì DataFrame không chứa được ma trận thưa; cầnsparse_output=False- Encoder tự bỏ các cột one hot
Bài tập
Hệ số của model theo tên cột
Viết thân hàm he_so_theo_ten(pipe): pipe là một pipeline phân loại hai lớp đã fit, bước cuối là LogisticRegression, các bước trước là bước biến đổi. Tên các bước có thể là bất cứ gì, nên hãy lấy bước theo vị trí.
Trả về: một dict từ tên cột đầu ra (theo thứ tự cột) tới hệ số tương ứng, mỗi hệ số là một float.
Ví dụ với pipeline StandardScaler() rồi LogisticRegression(C=0.5), học trên cột so_don = 0, 1, …, 7 với nhãn 1, 1, 1, 0, 0, 1, 0, 0: kết quả khoảng {"so_don": -0.6753}.
def he_so_theo_ten(pipe):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Pipeline([(tên, bước), ...])cho mỗi bước một tên do bạn đặt; chấm cả khối bằngcross_val_scoređể các bước biến đổi chỉ học trên phần train của từng fold.named_steps["tên"]lấy một bước đã học;pipe[-1]là model,pipe[:-1]là phần biến đổi.get_feature_names_out()gọi trên phần biến đổi, không gọi trên cả pipeline.Tham số lồng viết
bước__tham_số, thêm một tầng cho mỗi lớp bên trong;get_params()liệt kê tên hợp lệ.set_output(transform="pandas")cho kết quả biến đổi là DataFrame có tên cột; encoder one hot cầnsparse_output=False.
Câu hỏi thường gặp
Pipeline và make_pipeline khác nhau gì?
Chỉ khác tên bước. make_pipeline đặt tên theo lớp viết thường, như logisticregression, nên tên tham số dài: logisticregression__C. Pipeline để bạn đặt tên ngắn như lr, dễ đọc hơn khi dò tham số.
Có cần đưa cột nhãn ra khỏi bảng trước khi gọi pipeline không?
Với ColumnTransformer liệt kê cột rõ ràng và remainder="drop", cột nhãn không lọt vào feature, như khối đầu bài. Nếu dùng make_column_selector hay remainder="passthrough", hãy tách X và y trước, vì selector chọn theo kiểu dữ liệu và sẽ bắt cả nhãn.
Hệ số theo tên cột có cho biết cột nào quan trọng hơn không?
Với cột số đã chuẩn hóa, độ lớn hệ số so được trong cùng một model. Nhưng hai cột tương quan có thể chia nhau một tác động, và pipeline không đặt drop= nên mọi nhóm one hot đều có hệ số riêng và chỉ so được với nhau. Bài permutation importance đo tầm quan trọng theo cách không phụ thuộc loại model.
set_output có làm model chậm hơn không?
Có một chút, vì mỗi bước phải dựng DataFrame. Với bảng vài nghìn dòng thì không đáng kể. Bật nó khi cần xem dữ liệu; khi dò tham số trên bảng lớn có thể để mặc định.
Chủ đề
Dữ liệu của bài
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.