SimpleImputer: điền ô trống trong pipeline, add_indicator
Bài 5/11 · Chương 9
Feature engineering và Pipeline
- 7 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 12
SimpleImputer điền các ô trống của bảng feature bằng một giá trị học từ dữ liệu: trung vị, trung bình, nhóm hay gặp hay một hằng số. Nó là một bước của pipeline như StandardScaler, nên giá trị điền được học trên train và dùng lại y nguyên cho test và dữ liệu mới.
Cần biết trước: dữ liệu thiếu trong pandas, fillna và sklearn pipeline.
Điền bằng trung vị hay trung bình
Bảng hoi_vien_tho.csv là 500 hội viên Sóc Vàng (số giả lập) ở dạng chưa làm sạch: cột tuoi có 21 ô trống và vài tuổi vô lý như 199, cột so_lan_dang_nhap_30_ngay có 29 ô trống. Phần lớn model của scikit-learn dừng với lỗi Input X contains NaN khi gặp ô trống. SimpleImputer học một giá trị cho mỗi cột lúc fit và lưu vào statistics_:
import pandas as pd
from sklearn.impute import SimpleImputer
hv = pd.read_csv("hoi_vien_tho.csv")
X = hv[["tuoi", "so_lan_dang_nhap_30_ngay"]]
for cach in ["mean", "median"]:
imp = SimpleImputer(strategy=cach).fit(X)
print(cach, imp.statistics_.round(2))
print(X.isna().sum().tolist(), "->",
imp.transform(X).shape, "không còn ô trống")KẾT QUẢ
mean [32.09 7.76]
median [31. 6.]
[21, 29] -> (500, 2) không còn ô trốngSố lần đăng nhập lệch phải: vài người vào app hàng chục lần kéo trung bình lên 7,76, trong khi người ở giữa vào 6 lần. Tuổi cũng bị bốn giá trị 199 kéo trung bình lên. Trung vị không bị vài giá trị cực đoan kéo đi, nên strategy="median" là lựa chọn an toàn cho cột số. Đổi "mean", "median" thành "mean", "most_frequent" rồi chạy lại: dòng hai in most_frequent [18. 5.]: tuổi hay gặp là 18, xa tuổi ở giữa bảng.
Cột chữ: most_frequent và constant
Cột tinh có 19 ô trống. Với cột chữ, chỉ có hai cách điền: nhóm gặp nhiều nhất, hoặc một nhãn riêng do bạn đặt:
import pandas as pd
from sklearn.impute import SimpleImputer
hv = pd.read_csv("hoi_vien_tho.csv")
imp = SimpleImputer(strategy="most_frequent")
print(imp.fit_transform(hv[["tinh"]])[:3, 0])
hang_so = SimpleImputer(strategy="constant", fill_value="Chưa rõ")
print(hang_so.fit_transform(hv[["tinh"]])[:3, 0])KẾT QUẢ
['TP. Hồ Chí Minh' 'TP. Hồ Chí Minh' 'HCM']
['Chưa rõ' 'TP. Hồ Chí Minh' 'HCM']Hội viên đầu không ghi tỉnh. most_frequent gán họ vào TP. Hồ Chí Minh, nơi có nhiều hội viên hơn cả; constant cho họ một nhóm riêng "Chưa rõ", để sau one hot model có một cột cho nhóm này. Nhãn riêng thường hợp hơn khi ô trống có lý do riêng, như khách bỏ qua ô địa chỉ. Dòng thứ ba ghi "HCM", một cách viết khác của cùng thành phố: imputer chỉ điền ô trống, không sửa chữ viết sai; việc đó thuộc bước làm sạch.
add_indicator: giữ dấu vết ô trống
Điền xong, model không còn biết ô nào từng trống. Đôi khi việc trống đó tự nó là thông tin: hội viên không có số lần đăng nhập có thể là người đã gỡ app. add_indicator=True thêm một cột 0 và 1 cho mỗi cột có ô trống lúc fit:
import pandas as pd
from sklearn.impute import SimpleImputer
hv = pd.read_csv("hoi_vien_tho.csv").dropna(subset=["roi_bo"])
X = hv[["so_thang_su_dung", "so_lan_dang_nhap_30_ngay"]]
imp = SimpleImputer(strategy="median", add_indicator=True).fit(X)
print(imp.get_feature_names_out())
print(imp.transform(X)[:3])
trong = X["so_lan_dang_nhap_30_ngay"].isna()
print(hv.groupby(trong)["roi_bo"].agg(["mean", "size"]).round(2))KẾT QUẢ
['so_thang_su_dung' 'so_lan_dang_nhap_30_ngay'
'missingindicator_so_lan_dang_nhap_30_ngay']
[[ 4. 6. 0.]
[25. 6. 0.]
[12. 5. 0.]]
mean size
so_lan_dang_nhap_30_ngay
False 0.21 468
True 0.34 29Cột so_thang_su_dung không có ô trống nên không có cột đánh dấu. Nhóm thiếu số đăng nhập rời bỏ 34%, nhóm còn lại 21%. Nhưng 34% đó chỉ dựa trên 29 hội viên, tức 10 người rời bỏ. Như với feature engineering, câu trả lời nằm ở phép đo trên cùng các fold:
import pandas as pd
from sklearn.impute import SimpleImputer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import StratifiedKFold, cross_val_score
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
hv = pd.read_csv("hoi_vien_tho.csv").dropna(subset=["roi_bo"])
y = hv.pop("roi_bo")
X = hv.select_dtypes("number").drop(columns="hoi_cach_huy_sau_moc")
chia = StratifiedKFold(5, shuffle=True, random_state=0)
for co in (False, True):
im = SimpleImputer(strategy="median", add_indicator=co)
pipe = make_pipeline(im, StandardScaler(), LogisticRegression())
auc = cross_val_score(pipe, X, y, cv=chia, scoring="roc_auc")
print(co, auc.round(3), auc.mean().round(3))KẾT QUẢ
False [0.735 0.851 0.868 0.779 0.786] 0.804
True [0.717 0.834 0.871 0.779 0.79 ] 0.798Trên bảng nhỏ này, hai cột đánh dấu (cho tuổi và số lần đăng nhập) không giúp: AUC trung bình giảm nhẹ, và ở 200 cách chia khác nhau, bản có cột đánh dấu chỉ thắng 6% số lần. Cột hoi_cach_huy_sau_moc bị bỏ vì nó ghi sau mốc dự đoán. Kết luận đúng là đo, không mặc định bật hay tắt: với bảng lớn hơn hoặc ô trống có lý do rõ hơn, cột đánh dấu thường đáng giữ.
Imputer học trên train
Giá trị điền là thứ học từ dữ liệu, giống trung bình và độ lệch chuẩn của StandardScaler. Nếu học trên cả bảng trước khi chia, phần test đã góp vào con số đó, một dạng rò dữ liệu. Học trên train, rồi điền test bằng đúng giá trị đã học:
import pandas as pd
from sklearn.impute import SimpleImputer
from sklearn.model_selection import train_test_split
hv = pd.read_csv("hoi_vien_tho.csv")
X = hv[["tuoi", "so_lan_dang_nhap_30_ngay"]]
X_train, X_test = train_test_split(X, test_size=0.3, random_state=0)
imp = SimpleImputer(strategy="median").fit(X_train)
print("Học trên train:", imp.statistics_)
print("Ô trống của test:", X_test.isna().sum().tolist())
print(imp.transform(X_test)[X_test["tuoi"].isna().to_numpy()][:2])KẾT QUẢ
Học trên train: [30. 6.]
Ô trống của test: [9, 8]
[[30. 10.]
[30. 2.]]Trung vị tuổi của train là 30, khác 31 của cả bảng. Hai hội viên test thiếu tuổi nhận 30. Đặt imputer làm bước đầu của pipeline thì việc này tự đúng trong mỗi fold của cross validation, như khối đo add_indicator ở trên.
Kiểm tra nhanh
Sau
import numpy as np,from sklearn.impute import SimpleImputervàimp = SimpleImputer(strategy="median").fit([[1.0], [np.nan], [3.0], [100.0]]),imp.statistics_.tolist()cho kết quả gì?[34.67][3.0][2.0]
Cột
tinhcó ô trống. Nhữngstrategynào dùng được?"most_frequent""constant"vớifill_value="Chưa rõ""median""mean"
Bảng có cột A không có ô trống và cột B có ô trống.
SimpleImputer(add_indicator=True)cho ra bao nhiêu cột?- 2
- 3
- 4
Vì sao học imputer trên cả bảng, trước bước chia train và test, là sai?
- Vì imputer không chạy được trên bảng lớn
- Vì giá trị điền đã nhìn thấy phần test, nên điểm test không còn là phép đo trên dữ liệu model chưa gặp
- Vì
statistics_chỉ lưu được một cột
Bài tập
Điền ô trống bằng giá trị học từ train
Viết thân hàm dien_bang_train(train, moi, cot, cach): học một SimpleImputer(strategy=cach) trên cột cot của train, rồi điền cột cot của moi. cach là "mean" hoặc "median". Hàm không sửa hai bảng.
Trả về: cột cot của moi đã điền, theo thứ tự dòng, một ndarray một chiều.
Ví dụ với tuoi của train là 20, 30, ô trống, 31, 199 và của moi là ô trống, 45, ô trống: dien_bang_train(train, moi, "tuoi", "median") là array([30.5, 45. , 30.5]).
from sklearn.impute import SimpleImputer
def dien_bang_train(train, moi, cot, cach):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
SimpleImputerhọc một giá trị điền cho mỗi cột lúcfitvà lưu trongstatistics_.Cột số:
"median"an toàn hơn"mean"khi có giá trị cực đoan. Cột chữ:"most_frequent"hoặc"constant"vớifill_value.add_indicator=Truethêm cộtmissingindicator_cho cột có ô trống; giữ nó khi cross validation cho thấy nó giúp.Imputer học trên train; đặt nó làm bước đầu của pipeline để mỗi fold tự học lại.
Imputer chỉ điền ô trống, không sửa giá trị sai như tuổi 199 hay tên tỉnh viết khác.
Câu hỏi thường gặp
SimpleImputer khác fillna của pandas thế nào?
fillna điền ngay trên bảng bằng giá trị bạn đưa vào, và không nhớ gì sau đó. SimpleImputer học giá trị trên train, nhớ nó, và dùng lại cho test và dữ liệu mới, nên đặt được trong pipeline.
Có model nào không cần điền ô trống không?
Có. HistGradientBoostingClassifier và HistGradientBoostingRegressor nhận ô trống và tự học nên đưa ô trống về nhánh nào. Với model tuyến tính, KNN hay SVM thì vẫn phải điền.
Có cách điền thông minh hơn trung vị không?
KNNImputer điền theo các dòng gần giống, và IterativeImputer dự đoán ô trống từ các cột khác. Chúng chậm hơn và không phải lúc nào cũng tốt hơn; hãy so với SimpleImputer bằng cross validation trước khi đổi.
Nhãn y có ô trống thì làm sao?
Bỏ các dòng đó bằng dropna(subset=["roi_bo"]) trước khi tách X và y, như các khối ở trên. Imputer chỉ dành cho feature; điền nhãn là dạy model bằng đáp án bịa.
Chủ đề
Dữ liệu của bài
- Tải xuống
hoi_vien_tho.csv
CSV · 38.09 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.