Bỏ qua đến nội dung chính
Mục lục

SimpleImputer: điền ô trống trong pipeline, add_indicator

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 5/11 · Chương 9

Feature engineering và Pipeline

  • 7 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

SimpleImputer điền các ô trống của bảng feature bằng một giá trị học từ dữ liệu: trung vị, trung bình, nhóm hay gặp hay một hằng số. Nó là một bước của pipeline như StandardScaler, nên giá trị điền được học trên train và dùng lại y nguyên cho test và dữ liệu mới.

Cần biết trước: dữ liệu thiếu trong pandas, fillna và sklearn pipeline.

Điền bằng trung vị hay trung bình

Bảng hoi_vien_tho.csv là 500 hội viên Sóc Vàng (số giả lập) ở dạng chưa làm sạch: cột tuoi có 21 ô trống và vài tuổi vô lý như 199, cột so_lan_dang_nhap_30_ngay có 29 ô trống. Phần lớn model của scikit-learn dừng với lỗi Input X contains NaN khi gặp ô trống. SimpleImputer học một giá trị cho mỗi cột lúc fit và lưu vào statistics_:

python
import pandas as pd
from sklearn.impute import SimpleImputer

hv = pd.read_csv("hoi_vien_tho.csv")
X = hv[["tuoi", "so_lan_dang_nhap_30_ngay"]]
for cach in ["mean", "median"]:
    imp = SimpleImputer(strategy=cach).fit(X)
    print(cach, imp.statistics_.round(2))
print(X.isna().sum().tolist(), "->",
      imp.transform(X).shape, "không còn ô trống")

KẾT QUẢ

mean [32.09  7.76]
median [31.  6.]
[21, 29] -> (500, 2) không còn ô trống

Số lần đăng nhập lệch phải: vài người vào app hàng chục lần kéo trung bình lên 7,76, trong khi người ở giữa vào 6 lần. Tuổi cũng bị bốn giá trị 199 kéo trung bình lên. Trung vị không bị vài giá trị cực đoan kéo đi, nên strategy="median" là lựa chọn an toàn cho cột số. Đổi "mean", "median" thành "mean", "most_frequent" rồi chạy lại: dòng hai in most_frequent [18. 5.]: tuổi hay gặp là 18, xa tuổi ở giữa bảng.

Cột chữ: most_frequent và constant

Cột tinh có 19 ô trống. Với cột chữ, chỉ có hai cách điền: nhóm gặp nhiều nhất, hoặc một nhãn riêng do bạn đặt:

python
import pandas as pd
from sklearn.impute import SimpleImputer

hv = pd.read_csv("hoi_vien_tho.csv")
imp = SimpleImputer(strategy="most_frequent")
print(imp.fit_transform(hv[["tinh"]])[:3, 0])
hang_so = SimpleImputer(strategy="constant", fill_value="Chưa rõ")
print(hang_so.fit_transform(hv[["tinh"]])[:3, 0])

KẾT QUẢ

['TP. Hồ Chí Minh' 'TP. Hồ Chí Minh' 'HCM']
['Chưa rõ' 'TP. Hồ Chí Minh' 'HCM']

Hội viên đầu không ghi tỉnh. most_frequent gán họ vào TP. Hồ Chí Minh, nơi có nhiều hội viên hơn cả; constant cho họ một nhóm riêng "Chưa rõ", để sau one hot model có một cột cho nhóm này. Nhãn riêng thường hợp hơn khi ô trống có lý do riêng, như khách bỏ qua ô địa chỉ. Dòng thứ ba ghi "HCM", một cách viết khác của cùng thành phố: imputer chỉ điền ô trống, không sửa chữ viết sai; việc đó thuộc bước làm sạch.

add_indicator: giữ dấu vết ô trống

Điền xong, model không còn biết ô nào từng trống. Đôi khi việc trống đó tự nó là thông tin: hội viên không có số lần đăng nhập có thể là người đã gỡ app. add_indicator=True thêm một cột 0 và 1 cho mỗi cột có ô trống lúc fit:

python
import pandas as pd
from sklearn.impute import SimpleImputer

hv = pd.read_csv("hoi_vien_tho.csv").dropna(subset=["roi_bo"])
X = hv[["so_thang_su_dung", "so_lan_dang_nhap_30_ngay"]]
imp = SimpleImputer(strategy="median", add_indicator=True).fit(X)
print(imp.get_feature_names_out())
print(imp.transform(X)[:3])
trong = X["so_lan_dang_nhap_30_ngay"].isna()
print(hv.groupby(trong)["roi_bo"].agg(["mean", "size"]).round(2))

KẾT QUẢ

['so_thang_su_dung' 'so_lan_dang_nhap_30_ngay'
 'missingindicator_so_lan_dang_nhap_30_ngay']
[[ 4.  6.  0.]
 [25.  6.  0.]
 [12.  5.  0.]]
                          mean  size
so_lan_dang_nhap_30_ngay            
False                     0.21   468
True                      0.34    29

Cột so_thang_su_dung không có ô trống nên không có cột đánh dấu. Nhóm thiếu số đăng nhập rời bỏ 34%, nhóm còn lại 21%. Nhưng 34% đó chỉ dựa trên 29 hội viên, tức 10 người rời bỏ. Như với feature engineering, câu trả lời nằm ở phép đo trên cùng các fold:

python
import pandas as pd
from sklearn.impute import SimpleImputer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import StratifiedKFold, cross_val_score
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
hv = pd.read_csv("hoi_vien_tho.csv").dropna(subset=["roi_bo"])
y = hv.pop("roi_bo")
X = hv.select_dtypes("number").drop(columns="hoi_cach_huy_sau_moc")
chia = StratifiedKFold(5, shuffle=True, random_state=0)
for co in (False, True):
    im = SimpleImputer(strategy="median", add_indicator=co)
    pipe = make_pipeline(im, StandardScaler(), LogisticRegression())
    auc = cross_val_score(pipe, X, y, cv=chia, scoring="roc_auc")
    print(co, auc.round(3), auc.mean().round(3))

KẾT QUẢ

False [0.735 0.851 0.868 0.779 0.786] 0.804
True [0.717 0.834 0.871 0.779 0.79 ] 0.798

Trên bảng nhỏ này, hai cột đánh dấu (cho tuổi và số lần đăng nhập) không giúp: AUC trung bình giảm nhẹ, và ở 200 cách chia khác nhau, bản có cột đánh dấu chỉ thắng 6% số lần. Cột hoi_cach_huy_sau_moc bị bỏ vì nó ghi sau mốc dự đoán. Kết luận đúng là đo, không mặc định bật hay tắt: với bảng lớn hơn hoặc ô trống có lý do rõ hơn, cột đánh dấu thường đáng giữ.

Imputer học trên train

Giá trị điền là thứ học từ dữ liệu, giống trung bình và độ lệch chuẩn của StandardScaler. Nếu học trên cả bảng trước khi chia, phần test đã góp vào con số đó, một dạng rò dữ liệu. Học trên train, rồi điền test bằng đúng giá trị đã học:

python
import pandas as pd
from sklearn.impute import SimpleImputer
from sklearn.model_selection import train_test_split

hv = pd.read_csv("hoi_vien_tho.csv")
X = hv[["tuoi", "so_lan_dang_nhap_30_ngay"]]
X_train, X_test = train_test_split(X, test_size=0.3, random_state=0)
imp = SimpleImputer(strategy="median").fit(X_train)
print("Học trên train:", imp.statistics_)
print("Ô trống của test:", X_test.isna().sum().tolist())
print(imp.transform(X_test)[X_test["tuoi"].isna().to_numpy()][:2])

KẾT QUẢ

Học trên train: [30.  6.]
Ô trống của test: [9, 8]
[[30. 10.]
 [30.  2.]]

Trung vị tuổi của train là 30, khác 31 của cả bảng. Hai hội viên test thiếu tuổi nhận 30. Đặt imputer làm bước đầu của pipeline thì việc này tự đúng trong mỗi fold của cross validation, như khối đo add_indicator ở trên.

Kiểm tra nhanh

  1. Sau import numpy as np, from sklearn.impute import SimpleImputer và imp = SimpleImputer(strategy="median").fit([[1.0], [np.nan], [3.0], [100.0]]), imp.statistics_.tolist() cho kết quả gì?

    • [34.67]
    • [3.0]
    • [2.0]
  2. Cột tinh có ô trống. Những strategy nào dùng được?

    • "most_frequent"
    • "constant" với fill_value="Chưa rõ"
    • "median"
    • "mean"
  3. Bảng có cột A không có ô trống và cột B có ô trống. SimpleImputer(add_indicator=True) cho ra bao nhiêu cột?

    • 2
    • 3
    • 4
  4. Vì sao học imputer trên cả bảng, trước bước chia train và test, là sai?

    • Vì imputer không chạy được trên bảng lớn
    • Vì giá trị điền đã nhìn thấy phần test, nên điểm test không còn là phép đo trên dữ liệu model chưa gặp
    • Vì statistics_ chỉ lưu được một cột
Đúng hết lần đầu +15 XP

Bài tập

Điền ô trống bằng giá trị học từ train

Viết thân hàm dien_bang_train(train, moi, cot, cach): học một SimpleImputer(strategy=cach) trên cột cot của train, rồi điền cột cot của moi. cach là "mean" hoặc "median". Hàm không sửa hai bảng.

Trả về: cột cot của moi đã điền, theo thứ tự dòng, một ndarray một chiều.

Ví dụ với tuoi của train là 20, 30, ô trống, 31, 199 và của moi là ô trống, 45, ô trống: dien_bang_train(train, moi, "tuoi", "median") là array([30.5, 45. , 30.5]).

python
from sklearn.impute import SimpleImputer

def dien_bang_train(train, moi, cot, cach):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • SimpleImputer học một giá trị điền cho mỗi cột lúc fit và lưu trong statistics_.

  • Cột số: "median" an toàn hơn "mean" khi có giá trị cực đoan. Cột chữ: "most_frequent" hoặc "constant" với fill_value.

  • add_indicator=True thêm cột missingindicator_ cho cột có ô trống; giữ nó khi cross validation cho thấy nó giúp.

  • Imputer học trên train; đặt nó làm bước đầu của pipeline để mỗi fold tự học lại.

  • Imputer chỉ điền ô trống, không sửa giá trị sai như tuổi 199 hay tên tỉnh viết khác.

Câu hỏi thường gặp

SimpleImputer khác fillna của pandas thế nào?

fillna điền ngay trên bảng bằng giá trị bạn đưa vào, và không nhớ gì sau đó. SimpleImputer học giá trị trên train, nhớ nó, và dùng lại cho test và dữ liệu mới, nên đặt được trong pipeline.

Có model nào không cần điền ô trống không?

Có. HistGradientBoostingClassifier và HistGradientBoostingRegressor nhận ô trống và tự học nên đưa ô trống về nhánh nào. Với model tuyến tính, KNN hay SVM thì vẫn phải điền.

Có cách điền thông minh hơn trung vị không?

KNNImputer điền theo các dòng gần giống, và IterativeImputer dự đoán ô trống từ các cột khác. Chúng chậm hơn và không phải lúc nào cũng tốt hơn; hãy so với SimpleImputer bằng cross validation trước khi đổi.

Nhãn y có ô trống thì làm sao?

Bỏ các dòng đó bằng dropna(subset=["roi_bo"]) trước khi tách X và y, như các khối ở trên. Imputer chỉ dành cho feature; điền nhãn là dạy model bằng đáp án bịa.

Chủ đề

simpleimputer

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập