One hot encoding với OneHotEncoder: handle_unknown
Bài 2/11 · Chương 9
Feature engineering và Pipeline
- 9 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 12
One hot encoding biến một cột chữ như gói hội viên thành nhiều cột 0 và 1, mỗi cột trả lời một câu hỏi có hoặc không: hội viên này có dùng gói Năm không. Trong scikit-learn, việc này do OneHotEncoder làm; encoder ghi lại danh sách nhóm khi fit, nên mã hóa dữ liệu mới theo đúng các cột cũ.
Cần biết trước: get_dummies trong pandas, StandardScaler và value_counts.
Vì sao không đánh số 0, 1, 2 cho nhóm
Cách đơn giản để biến chữ thành số là đánh số thứ tự: App là 0, Facebook là 1, cứ thế đến Zalo là 4. OrdinalEncoder làm đúng việc đó. Vấn đề nằm ở model: logistic regression nhân con số này với chỉ một hệ số, nên xác suất rời bỏ chỉ có thể tăng đều hoặc giảm đều theo thứ tự chữ cái của tên kênh. So hai cách trên cột kenh_dang_ky của bảng hội viên Sóc Vàng (số giả lập):
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import OneHotEncoder, OrdinalEncoder
hv = pd.read_csv("hoi_vien.csv")
X, y = hv[["kenh_dang_ky"]], hv["roi_bo"]
ds = sorted(X["kenh_dang_ky"].unique())
kenh = pd.DataFrame({"kenh_dang_ky": ds})
bang = kenh.assign(ti_le_that=hv.groupby("kenh_dang_ky")["roi_bo"]
.mean().to_numpy())
for ten, enc in [("so_thu_tu", OrdinalEncoder()),
("one_hot", OneHotEncoder())]:
pipe = make_pipeline(enc, LogisticRegression()).fit(X, y)
bang[ten] = pipe.predict_proba(kenh)[:, 1]
print(bang.round(2))KẾT QUẢ
kenh_dang_ky ti_le_that so_thu_tu one_hot
0 App 0.19 0.18 0.19
1 Facebook 0.16 0.19 0.16
2 TikTok 0.20 0.20 0.20
3 Website 0.22 0.22 0.22
4 Zalo 0.23 0.23 0.23Kênh Facebook có tỉ lệ rời bỏ thấp hơn bốn kênh còn lại (16%), nhưng nằm thứ hai trong bảng chữ cái, nên cột so_thu_tu buộc nó lên 19%. Với one hot, mỗi kênh có hệ số riêng và model khớp đúng tỉ lệ của từng kênh. Bảng này chấm trên chính dữ liệu đã học, nên chỉ cho thấy model diễn tả được gì, chưa phải điểm của model.
OneHotEncoder: fit, transform và tên cột
fit đọc các nhóm có trong từng cột và lưu vào categories_. transform dựng các cột 0 và 1 theo đúng danh sách đó. get_feature_names_out() cho tên của từng cột mới:
import pandas as pd
from sklearn.preprocessing import OneHotEncoder
hv = pd.read_csv("hoi_vien.csv")
enc = OneHotEncoder(sparse_output=False)
enc.fit(hv[["goi", "kenh_dang_ky"]])
print([c.tolist() for c in enc.categories_])
print(enc.get_feature_names_out())
print(enc.transform(hv[["goi", "kenh_dang_ky"]].head(3)))KẾT QUẢ
[['Năm', 'Quý', 'Tháng'], ['App', 'Facebook', 'TikTok', 'Website', 'Zalo']]
['goi_Năm' 'goi_Quý' 'goi_Tháng' 'kenh_dang_ky_App'
'kenh_dang_ky_Facebook' 'kenh_dang_ky_TikTok'
'kenh_dang_ky_Website' 'kenh_dang_ky_Zalo']
[[1. 0. 0. 0. 1. 0. 0. 0.]
[0. 0. 1. 1. 0. 0. 0. 0.]
[0. 1. 0. 1. 0. 0. 0. 0.]]Hai cột chữ thành 8 cột số. Mỗi dòng có đúng một số 1 trong ba cột gói và một số 1 trong năm cột kênh. Khác với get_dummies, encoder nhớ danh sách nhóm của lúc fit, nên bảng mới có ít nhóm hơn vẫn ra đủ 8 cột cùng thứ tự.
sparse_output=False cho ra mảng numpy thường để in được. Bỏ tham số này đi thì transform trả về csr_matrix, một ma trận thưa chỉ lưu vị trí các số 1; với cột có hàng nghìn nhóm, cách lưu này tiết kiệm phần lớn bộ nhớ. Trang OneHotEncoder sparse nói về lỗi sparse= của code cũ.
Nhóm chưa gặp: handle_unknown
Sóc Vàng thử bán thêm gói Tuần. Model đã học trên dữ liệu chỉ có Tháng, Quý, Năm, và encoder mặc định dừng lại khi gặp nhóm lạ:
import pandas as pd
from sklearn.preprocessing import OneHotEncoder
hv = pd.read_csv("hoi_vien.csv")
enc = OneHotEncoder(sparse_output=False).fit(hv[["goi"]])
moi = pd.DataFrame({"goi": ["Năm", "Tuần"]})
enc.transform(moi)
ValueError: Found unknown categories ['Tuần'] in column 0 during transform
Lỗi này có ích lúc thử nghiệm, vì nó báo cho bạn biết dữ liệu đã đổi. Khi model chạy thật mỗi ngày, bạn thường muốn nó vẫn dự đoán. handle_unknown="ignore" mã hóa nhóm lạ thành một dòng toàn số 0:
import pandas as pd
from sklearn.preprocessing import OneHotEncoder
hv = pd.read_csv("hoi_vien.csv")
moi = pd.DataFrame({"goi": ["Năm", "Tuần"]})
enc = OneHotEncoder(handle_unknown="ignore", sparse_output=False)
print(enc.fit(hv[["goi"]]).transform(moi))KẾT QUẢ
[[1. 0. 0.]
[0. 0. 0.]]Dòng gói Tuần không thuộc cột nào, nên model dự đoán cho nó như một hội viên "không thuộc gói nào". Đó là một dự đoán tạm, đủ để hệ thống không dừng: nếu nhóm lạ chiếm nhiều dòng, đã đến lúc học lại model. Bài tập cuối trang đo đúng tỉ lệ này. Trang found unknown categories gom các tình huống khác gây ra lỗi trên.
Gộp nhóm hiếm bằng min_frequency
Cột tinh có 34 tỉnh, nhưng vài tỉnh chỉ có dăm hội viên. Một cột riêng cho tỉnh có 7 người thì hệ số của nó gần như học từ nhiễu. min_frequency gộp các nhóm hiếm vào một cột chung; số thực như 0.01 nghĩa là nhóm có ít hơn 1% số dòng của lúc fit:
import pandas as pd
from sklearn.preprocessing import OneHotEncoder
hv = pd.read_csv("hoi_vien.csv")
enc = OneHotEncoder(min_frequency=0.01, sparse_output=False,
handle_unknown="infrequent_if_exist")
enc.fit(hv[["tinh"]])
so_cot = len(enc.get_feature_names_out())
print(hv["tinh"].nunique(), "tỉnh ->", so_cot, "cột")
print(enc.infrequent_categories_[0])
moi = pd.DataFrame({"tinh": ["Lai Châu", "Hà Giang"]})
print(enc.transform(moi)[:, -3:])
print(enc.get_feature_names_out()[-3:])KẾT QUẢ
34 tỉnh -> 26 cột
['Cao Bằng' 'Lai Châu' 'Lào Cai' 'Lạng Sơn' 'Quảng Ngãi'
'Quảng Trị' 'Sơn La' 'Tuyên Quang' 'Điện Biên']
[[0. 0. 1.]
[0. 0. 1.]]
['tinh_Đồng Nai' 'tinh_Đồng Tháp' 'tinh_infrequent_sklearn']Chín tỉnh dưới 30 hội viên gộp vào cột tinh_infrequent_sklearn, còn 26 cột. handle_unknown="infrequent_if_exist" đưa tên tỉnh lạ vào chính cột gộp đó: "Hà Giang", tên tỉnh cũ trước khi sáp nhập vào Tuyên Quang, nhận số 1 ở cột cuối giống Lai Châu. Đổi 0.01 thành 0.02 rồi chạy lại: ngưỡng thành 60 hội viên và dòng đầu in 34 tỉnh -> 12 cột.
Kiểm tra nhanh
Sau
import pandas as pd,from sklearn.preprocessing import OneHotEncodervàenc = OneHotEncoder(sparse_output=False).fit(pd.DataFrame({"goi": ["Quý", "Năm", "Quý"]})),enc.get_feature_names_out().tolist()cho kết quả gì?['goi_Quý', 'goi_Năm']['goi_Năm', 'goi_Quý']['goi_Quý', 'goi_Năm', 'goi_Quý']
Encoder học trên ba gói Tháng, Quý, Năm với
handle_unknown="ignore". Một hội viên gói Tuần được mã hóa thành gì?- Một lỗi
ValueError - Một dòng toàn số 0 trên ba cột gói
- Số 1 ở cột của gói Tháng, gói đông hội viên hơn cả
- Một lỗi
Những cách nào giúp model vẫn dự đoán được khi dữ liệu mới có tỉnh chưa gặp?
OneHotEncoder(handle_unknown="ignore")OneHotEncoder(min_frequency=0.01, handle_unknown="infrequent_if_exist")OneHotEncoder(sparse_output=False)- Gọi
fitlại encoder trên bảng dữ liệu mới rồitransform
Bảng có 3.000 dòng. Với
min_frequency=0.01, tỉnh nào bị gộp vào cột nhóm hiếm?- Tỉnh có từ 30 hội viên trở lên
- Tỉnh có ít hơn 30 hội viên
- Tỉnh có ít hơn 1 hội viên
Bài tập
Bao nhiêu dòng mới rơi vào nhóm lạ
Trước khi cho model chạy trên dữ liệu tháng mới, đội dữ liệu Sóc Vàng muốn biết bao nhiêu dòng sẽ bị mã hóa thành toàn số 0. Viết thân hàm ti_le_nhom_moi(train, moi, cot): học một OneHotEncoder(handle_unknown="ignore") trên cột cot của train, mã hóa cột đó của moi, rồi tính tỉ lệ dòng của moi không có số 1 nào. Hàm không sửa hai bảng.
Trả về: tỉ lệ dòng toàn số 0, từ 0.0 đến 1.0, một float.
Ví dụ với goi của train là Tháng, Quý, Năm, Tháng và của moi là Tuần, Năm, Tuần, Ngày: ti_le_nhom_moi(train, moi, "goi") là 0.75.
from sklearn.preprocessing import OneHotEncoder
def ti_le_nhom_moi(train, moi, cot):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
One hot encoding tạo một cột 0 và 1 cho mỗi nhóm, để model tuyến tính có hệ số riêng cho từng nhóm thay vì một độ dốc theo thứ tự chữ cái.
fitlưu các nhóm vàocategories_;get_feature_names_out()cho tên cột; bảng mới ra đúng bộ cột cũ.Encoder cần bảng hai chiều: viết
hv[["goi"]]với hai cặp ngoặc vuông.Mặc định nhóm lạ gây
ValueError;handle_unknown="ignore"cho dòng toàn số 0.min_frequencygộp nhóm hiếm vào một cột; kèmhandle_unknown="infrequent_if_exist"thì nhóm lạ cũng vào cột đó.sparse_output=Falsecho mảng thường; mặc định là ma trận thưacsr_matrix.
Câu hỏi thường gặp
One hot encoding là gì, khác get_dummies thế nào?
Cả hai tạo một cột 0 và 1 cho mỗi nhóm. get_dummies nhìn bảng nào thì tạo cột theo bảng đó, nên bảng mới thiếu một nhóm sẽ thiếu một cột. OneHotEncoder nhớ nhóm của lúc fit và nằm được trong pipeline, nên dùng nó khi dữ liệu mới còn đến sau này.
Có cần bỏ một cột để tránh trùng thông tin không?
Tham số drop="first" bỏ cột của nhóm đầu tiên, vì cột đó suy ra được từ các cột còn lại. Model có phạt hệ số như LogisticRegression mặc định không cần bỏ. Bỏ cột còn làm khó handle_unknown="ignore", vì một dòng toàn số 0 lúc đó trùng với nhóm đã bị bỏ.
Cột có hàng trăm nhóm thì có nên one hot không?
Được, miễn là gộp nhóm hiếm bằng min_frequency hoặc giới hạn số cột bằng max_categories, và giữ kết quả ở dạng ma trận thưa. Với cột có hàng trăm nhóm, bài sau về OrdinalEncoder và TargetEncoder cho một cách khác.
Có cần StandardScaler cho các cột one hot không?
Không bắt buộc. Các cột đã nằm trong khoảng 0 đến 1. Khi bảng có cả cột số và cột chữ, cột số đi qua scaler còn cột chữ đi qua encoder, mỗi loại một nhánh; bài ColumnTransformer dạy cách ghép hai nhánh đó.
Chủ đề
Dữ liệu của bài
- Tải xuống
hoi_vien.csv
CSV · 207.25 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.