Bỏ qua đến nội dung chính
Mục lục

ColumnTransformer: cột số, cột chữ, cột thiếu một khối

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 6/11 · Chương 9

Feature engineering và Pipeline

  • 7 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

ColumnTransformer gửi mỗi nhóm cột của bảng tới một bước xử lý riêng, rồi ghép kết quả lại thành một bảng số: cột số đi qua imputer và scaler, cột chữ đi qua one hot. Nó là một bước của pipeline, nên cả khối học trên train và áp lên dữ liệu mới theo đúng một cách.

Cần biết trước: SimpleImputer, one hot encoding và kiểu dữ liệu trong pandas.

Mỗi nhóm cột một cách xử lý

Bảng hoi_vien_tho.csv (500 hội viên Sóc Vàng giả lập, chưa làm sạch) có cột số còn ô trống và cột chữ. ColumnTransformer nhận một danh sách bộ ba: tên nhánh, bước xử lý, các cột của nhánh. Bước xử lý có thể là một pipeline nhỏ, như imputer rồi StandardScaler cho cột số:

python
import pandas as pd
from sklearn.compose import ColumnTransformer
from sklearn.impute import SimpleImputer
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import OneHotEncoder, StandardScaler
hv = pd.read_csv("hoi_vien_tho.csv")
so = ["tuoi", "so_lan_dang_nhap_30_ngay", "so_don_90_ngay"]
chu = ["kenh_dang_ky", "goi"]
xu_ly_so = make_pipeline(SimpleImputer(strategy="median"),
                         StandardScaler())
ct = ColumnTransformer([("so_lieu", xu_ly_so, so),
                        ("phan_loai", OneHotEncoder(), chu)])
print(ct.fit_transform(hv).shape)
print(ct.get_feature_names_out()[[0, 3, 9]])

KẾT QUẢ

(500, 18)
['so_lieu__tuoi' 'phan_loai__kenh_dang_ky_App'
 'phan_loai__goi_ Năm']

Ba cột số giữ nguyên số cột; hai cột chữ thành 15 cột one hot. Tên đầu ra có dạng tên nhánh__tên cột, nên bạn biết ngay một cột đến từ nhánh nào. Cột cuối in ra là goi_ Năm, có dấu cách ở đầu: cột goi của bảng thô có 9 cách viết cho 3 gói. ColumnTransformer chỉ chia việc; gom các cách viết về một là việc làm sạch, và dự án cuối chương xử lý nó.

make_column_transformer và make_column_selector

make_column_transformer dựng cùng khối đó mà không cần đặt tên nhánh; nó tự đặt tên theo tên lớp, như simpleimputer. make_column_selector(dtype_include=...) chọn cột theo kiểu dữ liệu lúc fit, thay cho việc gõ danh sách cột: "number" cho cột số, "str" cho cột chữ của pandas 3. Áp thẳng lên bảng thô:

python
import pandas as pd
from sklearn.compose import make_column_selector
from sklearn.compose import make_column_transformer
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import OneHotEncoder
hv = pd.read_csv("hoi_vien_tho.csv")
so = make_column_selector(dtype_include="number")
chu = make_column_selector(dtype_include="str")
ct = make_column_transformer(
    (SimpleImputer(strategy="median"), so),
    (OneHotEncoder(handle_unknown="ignore"), chu))
print(ct.fit_transform(hv).shape)
for ten, _, cot in ct.transformers_:
    print(ten, cot)

KẾT QUẢ

(500, 983)
simpleimputer ['tuoi', 'so_thang_su_dung', 'so_lan_dang_nhap_30_ngay', 'so_don_90_ngay', 'so_ngay_tu_lan_mua_cuoi', 'so_lan_khieu_nai', 'ti_le_giao_tre', 'ti_le_dung_ma_giam', 'hoi_cach_huy_sau_moc', 'roi_bo']
onehotencoder ['ma_kh', 'tinh', 'kenh_dang_ky', 'goi', 'tu_dong_gia_han', 'chi_tieu_90_ngay_nghin', 'diem_danh_gia_tb']

Khối chạy không lỗi, và đó là vấn đề. transformers_ cho biết mỗi nhánh đã nhận cột nào, và danh sách này có ba loại cột không nên có.

Còn 71 cột, phần lớn từ tinh và các cách viết khác nhau của cột chữ. Đổi "ma_kh", "diem_danh_gia_tb" thành "diem_danh_gia_tb" rồi chạy lại: mã hội viên quay lại nhánh one hot và dòng kết quả in (500, 559).

remainder: cột không thuộc nhánh nào

Cột không có trong nhánh nào được xử lý theo remainder. Mặc định là "drop": bỏ đi, không báo. "passthrough" giữ nguyên chúng và đặt ở cuối, tiện cho các cột số đã sạch không cần biến đổi:

python
import pandas as pd
from sklearn.compose import ColumnTransformer
from sklearn.impute import SimpleImputer

hv = pd.read_csv("hoi_vien_tho.csv")
X = hv[["tuoi", "so_don_90_ngay", "so_lan_khieu_nai", "ma_kh"]]
dien = SimpleImputer(strategy="median")
for phan_con in ["drop", "passthrough"]:
    ct = ColumnTransformer([("dien", dien, ["tuoi"])],
                           remainder=phan_con).fit(X)
    print(phan_con, ct.get_feature_names_out())

KẾT QUẢ

drop ['dien__tuoi']
passthrough ['dien__tuoi' 'remainder__so_don_90_ngay'
 'remainder__so_lan_khieu_nai' 'remainder__ma_kh']

Với "drop", hai cột số sạch bị mất mà không có thông báo nào. Với "passthrough", chúng được giữ, nhưng ma_kh cũng đi theo.

Kiểm tra nhanh

  1. Một ColumnTransformer có nhánh ("so_lieu", SimpleImputer(), ["tuoi"]). Tên đầu ra của cột tuổi là gì?

    • tuoi
    • so_lieu__tuoi
    • simpleimputer__tuoi
  2. Bảng có cột roi_bo kiểu số. make_column_selector(dtype_include="number") có chọn nó không?

    • Có, vì selector chỉ nhìn kiểu dữ liệu
    • Không, vì scikit-learn tự nhận ra cột nhãn
    • Chỉ khi bảng có ô trống
  3. Những cột nào bị bỏ khi dùng remainder mặc định?

    • Cột không có trong nhánh nào
    • Cột có ô trống
    • Cột chữ
    • Không cột nào, mặc định là giữ lại
  4. remainder="passthrough" hợp với loại cột nào?

    • Cột số đã sạch, không cần biến đổi
    • Cột mã khách hàng
    • Cột chữ chưa mã hóa
Đúng hết lần đầu +15 XP

Bài tập

Khối chuẩn bị chọn cột theo kiểu

Viết thân hàm chuan_bi(train, moi): dựng bằng make_column_transformer một khối gồm hai nhánh. Cột số (chọn bằng make_column_selector(dtype_include="number")) đi qua SimpleImputer(strategy="median"). Cột chữ (dtype_include="str") đi qua một pipeline gồm SimpleImputer(strategy="most_frequent") rồi OneHotEncoder(handle_unknown="ignore", sparse_output=False). Cho khối học trên train, rồi biến đổi moi. Hàm không sửa hai bảng.

Trả về: bảng số của moi, các cột số trước rồi tới cột one hot, một ndarray hai chiều.

Ví dụ với train có tuoi = 20, ô trống, 40, 24 và goi = Tháng, Năm, ô trống, Tháng, và moi có tuoi = ô trống, 25 và goi = ô trống, Tuần: kết quả là [[24, 0, 1], [25, 0, 0]].

python
from sklearn.compose import make_column_selector
from sklearn.compose import make_column_transformer
from sklearn.impute import SimpleImputer
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import OneHotEncoder

def chuan_bi(train, moi):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • ColumnTransformer([(tên, bước, cột), ...]) gửi mỗi nhóm cột tới một bước và ghép kết quả; tên đầu ra là tên nhánh__tên cột.

  • Bước của một nhánh có thể là pipeline nhỏ, như imputer rồi scaler, hay imputer rồi one hot.

  • make_column_transformer tự đặt tên nhánh; make_column_selector(dtype_include=) chọn cột theo kiểu lúc fit.

  • Selector không biết ý nghĩa cột: bỏ mã định danh, nhãn và cột rò trước, đổi số lưu dạng chữ về số, và in transformers_ để kiểm.

  • remainder="drop" (mặc định) bỏ cột còn lại không báo; "passthrough" giữ chúng nguyên dạng.

Câu hỏi thường gặp

ColumnTransformer và make_column_transformer khác nhau gì?

Chỉ khác cách đặt tên nhánh. ColumnTransformer bắt bạn đặt tên, có ích khi cần chỉnh tham số của nhánh qua tên như bài machine learning pipeline đầy đủ. make_column_transformer đặt tên theo lớp, gọn hơn khi không cần.

Thứ tự cột đầu ra của ColumnTransformer là gì?

Theo thứ tự các nhánh, trong mỗi nhánh theo thứ tự cột được chọn, rồi tới cột của remainder nếu là "passthrough". get_feature_names_out() cho đúng thứ tự này.

Vì sao kết quả đôi khi là ma trận thưa?

Khi nhánh one hot trả ma trận thưa và tỉ lệ ô khác 0 của cả khối dưới sparse_threshold (mặc định 0,3), khối trả ma trận thưa. Đặt sparse_output=False cho encoder, hoặc sparse_threshold=0, để nhận mảng thường.

Một cột có thể đi vào hai nhánh không?

Được: liệt kê nó ở cả hai nhánh, chẳng hạn một nhánh giữ số gốc, một nhánh chia nhóm bằng KBinsDiscretizer như bài feature từ ngày và binning. Đầu ra có hai cột khác tên nhánh.

Chủ đề

columntransformer

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập