FunctionTransformer: feature tự viết trong pipeline
Bài 8/11 · Chương 9
Feature engineering và Pipeline
- 6 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 11
FunctionTransformer biến một hàm Python bình thường thành một bước của pipeline. Nhờ nó, feature tự viết như một tỉ lệ, một phép log hay một ngưỡng cắt chạy cùng các bước khác trong mỗi lần fit và predict, thay vì phải nhớ sửa bảng bằng tay trước mỗi lần dùng model.
Cần biết trước: định nghĩa hàm bằng def, machine learning pipeline đầy đủ và log transform.
Bọc một hàm numpy
Đưa np.log1p (log của 1 + x, chạy được với 0) vào FunctionTransformer là có một bước biến đổi. feature_names_out="one-to-one" báo rằng mỗi cột vào cho đúng một cột ra cùng tên:
import numpy as np
import pandas as pd
from sklearn.preprocessing import FunctionTransformer
hv = pd.read_csv("hoi_vien.csv")
X = hv[["chi_tieu_90_ngay_nghin", "so_lan_dang_nhap_30_ngay"]]
lg = FunctionTransformer(np.log1p, feature_names_out="one-to-one")
X_log = lg.fit_transform(X)
print(lg.get_feature_names_out())
print(X_log.head(3).round(2))
print(X.skew().round(2).tolist(), X_log.skew().round(2).tolist())KẾT QUẢ
['chi_tieu_90_ngay_nghin' 'so_lan_dang_nhap_30_ngay']
chi_tieu_90_ngay_nghin so_lan_dang_nhap_30_ngay
0 6.29 1.95
1 0.00 1.95
2 0.00 1.79
[2.16, 1.45] [-1.93, -0.49]Bảng vào là DataFrame thì bảng ra cũng là DataFrame, vì np.log1p giữ nguyên kiểu. Dòng cuối là độ lệch của hai cột trước và sau log. Số lần đăng nhập gần cân đối hơn (1,45 thành -0,49). Chi tiêu thì lệch sang phía bên kia (2,16 thành -1,93): nhiều hội viên chi 0 đồng trong 90 ngày, và log kéo những người chi ít ra xa nhóm 0 đó. Log không phải cách sửa chung cho các cột lệch; hãy nhìn phân phối trước khi dùng.
Hàm tự viết trong pipeline
Bài feature engineering tạo cột khoa_dai_han bằng assign trước khi chấm. Viết việc đó thành một hàm và bọc bằng FunctionTransformer thì cột được tạo ngay trong pipeline, cho cả train, test và dữ liệu mới:
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_val_score
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import FunctionTransformer, MinMaxScaler
BO = ["diem_danh_gia_tb", "hoi_cach_huy_sau_moc", "roi_bo"]
def them_cot(X):
dai = (X["goi"] != "Tháng") * X["tu_dong_gia_han"]
return X.assign(khoa_dai_han=dai).select_dtypes("number")
hv = pd.read_csv("hoi_vien.csv")
X, y = hv.drop(columns=BO), hv["roi_bo"]
ft = FunctionTransformer(them_cot)
pipe = make_pipeline(ft, MinMaxScaler(), LogisticRegression())
s = cross_val_score(pipe, X, y, cv=5, scoring="roc_auc")
print(s.round(3), s.mean().round(3))KẾT QUẢ
[0.828 0.755 0.817 0.815 0.764] 0.796Hàm nhận bảng thô có cột chữ goi, thêm cột mới rồi giữ lại cột số. MinMaxScaler đưa các cột về khoảng 0 đến 1 như bài chọn scaler. Đổi X.assign(khoa_dai_han=dai).select_dtypes thành X.select_dtypes rồi chạy lại: không còn cột mới, và AUC trung bình in 0.792.
Khi hàm thêm cột, "one-to-one" không còn đúng. Truyền cho feature_names_out một hàm nhận bước biến đổi và danh sách tên vào, trả về danh sách tên ra:
import pandas as pd
from sklearn.preprocessing import FunctionTransformer
def ti_le(X):
return X.assign(khieu_nai_moi_don=X["so_lan_khieu_nai"]
/ (X["so_don_90_ngay"] + 1))
def ten_ra(bo_bien_doi, ten_vao):
return [*ten_vao, "khieu_nai_moi_don"]
hv = pd.read_csv("hoi_vien.csv")
X = hv[["so_don_90_ngay", "so_lan_khieu_nai"]]
ft = FunctionTransformer(ti_le, feature_names_out=ten_ra).fit(X)
print(ft.get_feature_names_out())
print(ft.transform(X).head(3).round(2))KẾT QUẢ
['so_don_90_ngay' 'so_lan_khieu_nai' 'khieu_nai_moi_don']
so_don_90_ngay so_lan_khieu_nai khieu_nai_moi_don
0 2 1 0.33
1 0 0 0.00
2 0 0 0.00Hàm không được có trạng thái
FunctionTransformer không học gì lúc fit: nó chỉ gọi hàm của bạn trên bảng được đưa vào. Vì vậy hàm phải tính mỗi dòng chỉ từ chính dòng đó. Tỉ lệ, log, ngưỡng cắt cố định đều thỏa điều này. Một phép tính dùng trung bình hay độ lệch chuẩn thì không, vì con số đó sẽ được tính lại trên mỗi lô dữ liệu.
Kiểm tra nhanh
Sau
import numpy as np,import pandas as pd,from sklearn.preprocessing import FunctionTransformervàft = FunctionTransformer(np.log1p),ft.fit_transform(pd.DataFrame({"x": [0.0, 9.0]}))["x"].round(2).tolist()cho kết quả gì?[0.0, 2.2][0.0, 2.3][-inf, 2.2]
Hàm trong
FunctionTransformerthêm một cột mới.feature_names_outnên là gì?"one-to-one"- Một hàm trả về danh sách tên vào cộng tên cột mới
- Để trống, scikit-learn tự đọc tên từ DataFrame
Hàm nào an toàn để đặt trong
FunctionTransformer?X.clip(upper=100)np.log1p(X)X - X.mean()X.rank()
Trong khung bẫy thứ hai,
pipe.predict_proba(moi)[:2, 1]vàpipe.predict_proba(moi.head(2))[:, 1]cho số khác nhau. Vì sao?- Vì
LogisticRegressioncó yếu tố ngẫu nhiên - Vì
chuan_hoatính lại trung bình và độ lệch chuẩn trên mỗi lô dự đoán - Vì
predict_probacần ít nhất 750 dòng
- Vì
Bài tập
Cắt ngưỡng rồi lấy log
Viết thân hàm log_va_cat(X, nguong) để dùng trong FunctionTransformer(log_va_cat, kw_args={"nguong": ...}): đưa mọi giá trị của X vào khoảng từ 0 đến nguong (giá trị âm thành 0, giá trị lớn hơn ngưỡng thành ngưỡng), rồi lấy log(1 + x). Hàm không sửa X.
Trả về: bảng mới cùng tên cột và index với X, một DataFrame.
Ví dụ với cột chi_tieu = 0, 500, 7000 và nguong = 1000: cột kết quả là log(1), log(501), log(1001), tức khoảng 0, 6.217, 6.909.
import numpy as np
def log_va_cat(X, nguong):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
FunctionTransformer(ham)biến một hàm thành bước của pipeline; hàm chạy lại trên mỗi bảng đi qua, nên feature tự viết có cho cả train, test và dữ liệu mới.feature_names_out="one-to-one"khi số cột không đổi; một hàm(bước, tên vào)trả tên ra khi hàm thêm cột.kw_args={...}truyền tham số cố định cho hàm, như một ngưỡng cắt.Hàm phải tính mỗi dòng từ chính nó; trung bình, độ lệch chuẩn hay thứ hạng của lô làm dự đoán đổi theo lô.
Log không tự sửa được cột lệch nào cũng như nhau: cột có nhiều số 0 có thể lệch sang phía kia.
Câu hỏi thường gặp
FunctionTransformer khác viết một class transformer riêng thế nào?
Một class kế thừa BaseEstimator và TransformerMixin có fit riêng, nên học được thống kê từ train như StandardScaler. FunctionTransformer không học gì, hợp với phép tính trên từng dòng. Khi cần học, hãy viết class hoặc ghép các bước có sẵn.
Có dùng lambda trong FunctionTransformer được không?
Được, và nó chạy bình thường. Nhưng pipeline chứa lambda không lưu được bằng pickle, nên bài lưu model bằng joblib sẽ gặp lỗi. Hàm viết bằng def ở cấp module thì lưu được.
Đặt FunctionTransformer trước hay trong ColumnTransformer?
Hàm cần nhiều cột, như them_cot cần cả goi và tu_dong_gia_han, đặt trước ColumnTransformer để nó thấy cả bảng. Hàm chỉ áp lên vài cột, như log cho cột chi tiêu, đặt trong một nhánh của ColumnTransformer.
FunctionTransformer có làm rò dữ liệu không?
Không, khi hàm chỉ tính trên từng dòng: không có gì để rò, vì không có gì được học. Rò xảy ra khi hàm dùng thống kê của cả bảng, như khung bẫy thứ hai, hoặc dùng cột chỉ có sau mốc dự đoán như bài feature từ ngày.
Chủ đề
Dữ liệu của bài
- Tải xuống
hoi_vien.csv
CSV · 207.25 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.