Bỏ qua đến nội dung chính
Mục lục

One hot encoding với OneHotEncoder: handle_unknown

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 2/11 · Chương 9

Feature engineering và Pipeline

  • 9 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

One hot encoding biến một cột chữ như gói hội viên thành nhiều cột 0 và 1, mỗi cột trả lời một câu hỏi có hoặc không: hội viên này có dùng gói Năm không. Trong scikit-learn, việc này do OneHotEncoder làm; encoder ghi lại danh sách nhóm khi fit, nên mã hóa dữ liệu mới theo đúng các cột cũ.

Cần biết trước: get_dummies trong pandas, StandardScaler và value_counts.

Vì sao không đánh số 0, 1, 2 cho nhóm

Cách đơn giản để biến chữ thành số là đánh số thứ tự: App là 0, Facebook là 1, cứ thế đến Zalo là 4. OrdinalEncoder làm đúng việc đó. Vấn đề nằm ở model: logistic regression nhân con số này với chỉ một hệ số, nên xác suất rời bỏ chỉ có thể tăng đều hoặc giảm đều theo thứ tự chữ cái của tên kênh. So hai cách trên cột kenh_dang_ky của bảng hội viên Sóc Vàng (số giả lập):

python
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import OneHotEncoder, OrdinalEncoder
hv = pd.read_csv("hoi_vien.csv")
X, y = hv[["kenh_dang_ky"]], hv["roi_bo"]
ds = sorted(X["kenh_dang_ky"].unique())
kenh = pd.DataFrame({"kenh_dang_ky": ds})
bang = kenh.assign(ti_le_that=hv.groupby("kenh_dang_ky")["roi_bo"]
                   .mean().to_numpy())
for ten, enc in [("so_thu_tu", OrdinalEncoder()),
                 ("one_hot", OneHotEncoder())]:
    pipe = make_pipeline(enc, LogisticRegression()).fit(X, y)
    bang[ten] = pipe.predict_proba(kenh)[:, 1]
print(bang.round(2))

KẾT QUẢ

  kenh_dang_ky  ti_le_that  so_thu_tu  one_hot
0          App        0.19       0.18     0.19
1     Facebook        0.16       0.19     0.16
2       TikTok        0.20       0.20     0.20
3      Website        0.22       0.22     0.22
4         Zalo        0.23       0.23     0.23

Kênh Facebook có tỉ lệ rời bỏ thấp hơn bốn kênh còn lại (16%), nhưng nằm thứ hai trong bảng chữ cái, nên cột so_thu_tu buộc nó lên 19%. Với one hot, mỗi kênh có hệ số riêng và model khớp đúng tỉ lệ của từng kênh. Bảng này chấm trên chính dữ liệu đã học, nên chỉ cho thấy model diễn tả được gì, chưa phải điểm của model.

OneHotEncoder: fit, transform và tên cột

fit đọc các nhóm có trong từng cột và lưu vào categories_. transform dựng các cột 0 và 1 theo đúng danh sách đó. get_feature_names_out() cho tên của từng cột mới:

python
import pandas as pd
from sklearn.preprocessing import OneHotEncoder

hv = pd.read_csv("hoi_vien.csv")
enc = OneHotEncoder(sparse_output=False)
enc.fit(hv[["goi", "kenh_dang_ky"]])
print([c.tolist() for c in enc.categories_])
print(enc.get_feature_names_out())
print(enc.transform(hv[["goi", "kenh_dang_ky"]].head(3)))

KẾT QUẢ

[['Năm', 'Quý', 'Tháng'], ['App', 'Facebook', 'TikTok', 'Website', 'Zalo']]
['goi_Năm' 'goi_Quý' 'goi_Tháng' 'kenh_dang_ky_App'
 'kenh_dang_ky_Facebook' 'kenh_dang_ky_TikTok'
 'kenh_dang_ky_Website' 'kenh_dang_ky_Zalo']
[[1. 0. 0. 0. 1. 0. 0. 0.]
 [0. 0. 1. 1. 0. 0. 0. 0.]
 [0. 1. 0. 1. 0. 0. 0. 0.]]

Hai cột chữ thành 8 cột số. Mỗi dòng có đúng một số 1 trong ba cột gói và một số 1 trong năm cột kênh. Khác với get_dummies, encoder nhớ danh sách nhóm của lúc fit, nên bảng mới có ít nhóm hơn vẫn ra đủ 8 cột cùng thứ tự.

sparse_output=False cho ra mảng numpy thường để in được. Bỏ tham số này đi thì transform trả về csr_matrix, một ma trận thưa chỉ lưu vị trí các số 1; với cột có hàng nghìn nhóm, cách lưu này tiết kiệm phần lớn bộ nhớ. Trang OneHotEncoder sparse nói về lỗi sparse= của code cũ.

Nhóm chưa gặp: handle_unknown

Sóc Vàng thử bán thêm gói Tuần. Model đã học trên dữ liệu chỉ có Tháng, Quý, Năm, và encoder mặc định dừng lại khi gặp nhóm lạ:

python
import pandas as pd
from sklearn.preprocessing import OneHotEncoder

hv = pd.read_csv("hoi_vien.csv")
enc = OneHotEncoder(sparse_output=False).fit(hv[["goi"]])
moi = pd.DataFrame({"goi": ["Năm", "Tuần"]})
enc.transform(moi)
text
ValueError: Found unknown categories ['Tuần'] in column 0 during transform

Lỗi này có ích lúc thử nghiệm, vì nó báo cho bạn biết dữ liệu đã đổi. Khi model chạy thật mỗi ngày, bạn thường muốn nó vẫn dự đoán. handle_unknown="ignore" mã hóa nhóm lạ thành một dòng toàn số 0:

python
import pandas as pd
from sklearn.preprocessing import OneHotEncoder

hv = pd.read_csv("hoi_vien.csv")
moi = pd.DataFrame({"goi": ["Năm", "Tuần"]})
enc = OneHotEncoder(handle_unknown="ignore", sparse_output=False)
print(enc.fit(hv[["goi"]]).transform(moi))

KẾT QUẢ

[[1. 0. 0.]
 [0. 0. 0.]]

Dòng gói Tuần không thuộc cột nào, nên model dự đoán cho nó như một hội viên "không thuộc gói nào". Đó là một dự đoán tạm, đủ để hệ thống không dừng: nếu nhóm lạ chiếm nhiều dòng, đã đến lúc học lại model. Bài tập cuối trang đo đúng tỉ lệ này. Trang found unknown categories gom các tình huống khác gây ra lỗi trên.

Gộp nhóm hiếm bằng min_frequency

Cột tinh có 34 tỉnh, nhưng vài tỉnh chỉ có dăm hội viên. Một cột riêng cho tỉnh có 7 người thì hệ số của nó gần như học từ nhiễu. min_frequency gộp các nhóm hiếm vào một cột chung; số thực như 0.01 nghĩa là nhóm có ít hơn 1% số dòng của lúc fit:

python
import pandas as pd
from sklearn.preprocessing import OneHotEncoder

hv = pd.read_csv("hoi_vien.csv")
enc = OneHotEncoder(min_frequency=0.01, sparse_output=False,
                    handle_unknown="infrequent_if_exist")
enc.fit(hv[["tinh"]])
so_cot = len(enc.get_feature_names_out())
print(hv["tinh"].nunique(), "tỉnh ->", so_cot, "cột")
print(enc.infrequent_categories_[0])
moi = pd.DataFrame({"tinh": ["Lai Châu", "Hà Giang"]})
print(enc.transform(moi)[:, -3:])
print(enc.get_feature_names_out()[-3:])

KẾT QUẢ

34 tỉnh -> 26 cột
['Cao Bằng' 'Lai Châu' 'Lào Cai' 'Lạng Sơn' 'Quảng Ngãi'
 'Quảng Trị' 'Sơn La' 'Tuyên Quang' 'Điện Biên']
[[0. 0. 1.]
 [0. 0. 1.]]
['tinh_Đồng Nai' 'tinh_Đồng Tháp' 'tinh_infrequent_sklearn']

Chín tỉnh dưới 30 hội viên gộp vào cột tinh_infrequent_sklearn, còn 26 cột. handle_unknown="infrequent_if_exist" đưa tên tỉnh lạ vào chính cột gộp đó: "Hà Giang", tên tỉnh cũ trước khi sáp nhập vào Tuyên Quang, nhận số 1 ở cột cuối giống Lai Châu. Đổi 0.01 thành 0.02 rồi chạy lại: ngưỡng thành 60 hội viên và dòng đầu in 34 tỉnh -> 12 cột.

Kiểm tra nhanh

  1. Sau import pandas as pd, from sklearn.preprocessing import OneHotEncoder và enc = OneHotEncoder(sparse_output=False).fit(pd.DataFrame({"goi": ["Quý", "Năm", "Quý"]})), enc.get_feature_names_out().tolist() cho kết quả gì?

    • ['goi_Quý', 'goi_Năm']
    • ['goi_Năm', 'goi_Quý']
    • ['goi_Quý', 'goi_Năm', 'goi_Quý']
  2. Encoder học trên ba gói Tháng, Quý, Năm với handle_unknown="ignore". Một hội viên gói Tuần được mã hóa thành gì?

    • Một lỗi ValueError
    • Một dòng toàn số 0 trên ba cột gói
    • Số 1 ở cột của gói Tháng, gói đông hội viên hơn cả
  3. Những cách nào giúp model vẫn dự đoán được khi dữ liệu mới có tỉnh chưa gặp?

    • OneHotEncoder(handle_unknown="ignore")
    • OneHotEncoder(min_frequency=0.01, handle_unknown="infrequent_if_exist")
    • OneHotEncoder(sparse_output=False)
    • Gọi fit lại encoder trên bảng dữ liệu mới rồi transform
  4. Bảng có 3.000 dòng. Với min_frequency=0.01, tỉnh nào bị gộp vào cột nhóm hiếm?

    • Tỉnh có từ 30 hội viên trở lên
    • Tỉnh có ít hơn 30 hội viên
    • Tỉnh có ít hơn 1 hội viên
Đúng hết lần đầu +15 XP

Bài tập

Bao nhiêu dòng mới rơi vào nhóm lạ

Trước khi cho model chạy trên dữ liệu tháng mới, đội dữ liệu Sóc Vàng muốn biết bao nhiêu dòng sẽ bị mã hóa thành toàn số 0. Viết thân hàm ti_le_nhom_moi(train, moi, cot): học một OneHotEncoder(handle_unknown="ignore") trên cột cot của train, mã hóa cột đó của moi, rồi tính tỉ lệ dòng của moi không có số 1 nào. Hàm không sửa hai bảng.

Trả về: tỉ lệ dòng toàn số 0, từ 0.0 đến 1.0, một float.

Ví dụ với goi của train là Tháng, Quý, Năm, Tháng và của moi là Tuần, Năm, Tuần, Ngày: ti_le_nhom_moi(train, moi, "goi") là 0.75.

python
from sklearn.preprocessing import OneHotEncoder

def ti_le_nhom_moi(train, moi, cot):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • One hot encoding tạo một cột 0 và 1 cho mỗi nhóm, để model tuyến tính có hệ số riêng cho từng nhóm thay vì một độ dốc theo thứ tự chữ cái.

  • fit lưu các nhóm vào categories_; get_feature_names_out() cho tên cột; bảng mới ra đúng bộ cột cũ.

  • Encoder cần bảng hai chiều: viết hv[["goi"]] với hai cặp ngoặc vuông.

  • Mặc định nhóm lạ gây ValueError; handle_unknown="ignore" cho dòng toàn số 0.

  • min_frequency gộp nhóm hiếm vào một cột; kèm handle_unknown="infrequent_if_exist" thì nhóm lạ cũng vào cột đó.

  • sparse_output=False cho mảng thường; mặc định là ma trận thưa csr_matrix.

Câu hỏi thường gặp

One hot encoding là gì, khác get_dummies thế nào?

Cả hai tạo một cột 0 và 1 cho mỗi nhóm. get_dummies nhìn bảng nào thì tạo cột theo bảng đó, nên bảng mới thiếu một nhóm sẽ thiếu một cột. OneHotEncoder nhớ nhóm của lúc fit và nằm được trong pipeline, nên dùng nó khi dữ liệu mới còn đến sau này.

Có cần bỏ một cột để tránh trùng thông tin không?

Tham số drop="first" bỏ cột của nhóm đầu tiên, vì cột đó suy ra được từ các cột còn lại. Model có phạt hệ số như LogisticRegression mặc định không cần bỏ. Bỏ cột còn làm khó handle_unknown="ignore", vì một dòng toàn số 0 lúc đó trùng với nhóm đã bị bỏ.

Cột có hàng trăm nhóm thì có nên one hot không?

Được, miễn là gộp nhóm hiếm bằng min_frequency hoặc giới hạn số cột bằng max_categories, và giữ kết quả ở dạng ma trận thưa. Với cột có hàng trăm nhóm, bài sau về OrdinalEncoder và TargetEncoder cho một cách khác.

Có cần StandardScaler cho các cột one hot không?

Không bắt buộc. Các cột đã nằm trong khoảng 0 đến 1. Khi bảng có cả cột số và cột chữ, cột số đi qua scaler còn cột chữ đi qua encoder, mỗi loại một nhánh; bài ColumnTransformer dạy cách ghép hai nhánh đó.

Chủ đề

one hot encoding

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập