Bỏ qua đến nội dung chính
Mục lục

Label encoding, OrdinalEncoder và TargetEncoder

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 3/11 · Chương 9

Feature engineering và Pipeline

  • 9 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Label encoding là việc thay mỗi nhóm của một cột chữ bằng một con số nguyên: 0, 1, 2. Trong scikit-learn có ba công cụ gần nhau mà dùng cho ba việc khác nhau: OrdinalEncoder cho cột có thứ tự, TargetEncoder cho cột có hàng trăm nhóm, và LabelEncoder chỉ cho cột nhãn y.

Cần biết trước: one hot encoding, các loại dữ liệu và rò dữ liệu.

OrdinalEncoder cho cột có thứ tự

Một cột như mức hài lòng ("Kém", "Trung bình", "Tốt", "Rất tốt") có thứ tự sẵn, nên đánh số 0, 1, 2, 3 giữ được thông tin đó trong một cột thay vì bốn. Theo loại dữ liệu, đây là cột thứ bậc. OrdinalEncoder làm việc này, nhưng nếu không được dặn, nó xếp các nhóm theo thứ tự chữ cái:

python
import pandas as pd
from sklearn.preprocessing import OrdinalEncoder

muc = pd.DataFrame(
    {"hai_long": ["Tốt", "Kém", "Rất tốt", "Trung bình"]})
mac_dinh = OrdinalEncoder().fit(muc)
print(mac_dinh.categories_[0])
thu_tu = ["Kém", "Trung bình", "Tốt", "Rất tốt"]
dung = OrdinalEncoder(categories=[thu_tu]).fit(muc)
muc["mac_dinh"] = mac_dinh.transform(muc[["hai_long"]])[:, 0]
muc["theo_thu_tu"] = dung.transform(muc[["hai_long"]])[:, 0]
print(muc)

KẾT QUẢ

['Kém' 'Rất tốt' 'Trung bình' 'Tốt']
     hai_long  mac_dinh  theo_thu_tu
0         Tốt       3.0          2.0
1         Kém       0.0          0.0
2     Rất tốt       1.0          3.0
3  Trung bình       2.0          1.0

Theo chữ cái, "Rất tốt" đứng thứ hai và nhận mã 1, thấp hơn cả "Trung bình". Model đọc mã này sẽ hiểu "Rất tốt" gần "Kém" hơn "Tốt". Truyền categories=[thu_tu], một danh sách cho mỗi cột, thì mã đi đúng thứ tự nghiệp vụ. Đổi "Tốt", "Rất tốt"] thành "Rất tốt", "Tốt"] rồi chạy lại: dòng của "Tốt" in 3.0 3.0.

Cột không có thứ tự, như kênh đăng ký, không nên đi qua OrdinalEncoder khi model là tuyến tính: con số sẽ áp một thứ tự không có thật. Với model cây thì khác, vì cây chia cột theo ngưỡng và vẫn tách được từng nhóm sau vài lần chia.

Cột nhiều nhóm và TargetEncoder

Giả sử hội viên Sóc Vàng đăng ký tại một trong 300 cửa hàng. One hot cho 300 cột, mỗi cột chỉ khoảng 10 hội viên. Một cách gọn là thay mã cửa hàng bằng tỉ lệ rời bỏ của cửa hàng đó, gọi là target encoding. Làm theo cách thẳng, tính trung bình nhãn trên train rồi dùng ngay trên train, có một lỗ hổng. Khối dưới đây gán cửa hàng ngẫu nhiên, nên cột này không mang chút thông tin nào; AUC đúng của nó là khoảng 0,5:

python
import numpy as np
import pandas as pd
from sklearn.metrics import roc_auc_score
from sklearn.model_selection import train_test_split
hv = pd.read_csv("hoi_vien.csv")
rng = np.random.default_rng(0)
cua_hang = pd.Series(rng.integers(0, 300, 3000).astype(str))
c_tr, c_te, y_tr, y_te = train_test_split(cua_hang, hv["roi_bo"],
    test_size=0.3, stratify=hv["roi_bo"], random_state=0)
tb = y_tr.groupby(c_tr).mean()
ma_tr, ma_te = c_tr.map(tb), c_te.map(tb).fillna(y_tr.mean())
print("Điểm train:", round(roc_auc_score(y_tr, ma_tr), 3))
print("Điểm test: ", round(roc_auc_score(y_te, ma_te), 3))

KẾT QUẢ

Điểm train: 0.761
Điểm test:  0.538

Điểm train 0,761 cho một cột vô nghĩa. Lý do: mỗi hội viên train góp nhãn của chính mình vào trung bình của cửa hàng mình, nên cột mã hóa đã chứa một phần nhãn. Với khoảng 7 hội viên train mỗi cửa hàng, phần đó đủ lớn. Một model học trên cột này sẽ tin nó quá mức. Ở 200 cách gán và chia khác nhau, điểm train trung bình 0,76 còn điểm test trung bình 0,50.

TargetEncoder sửa lỗ hổng bằng cross-fitting: lúc fit_transform, nó chia train thành 5 phần, và mã của mỗi hội viên được tính từ 4 phần còn lại, không có nhãn của chính người đó. Nó cũng kéo trung bình của nhóm ít người về gần tỉ lệ chung:

python
import numpy as np
import pandas as pd
from sklearn.metrics import roc_auc_score
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import TargetEncoder
hv = pd.read_csv("hoi_vien.csv")
ma = np.random.default_rng(0).integers(0, 300, 3000)
X = pd.DataFrame({"cua_hang": ma.astype(str)})
X_tr, X_te, y_tr, y_te = train_test_split(X, hv["roi_bo"],
    test_size=0.3, stratify=hv["roi_bo"], random_state=0)
te = TargetEncoder(random_state=0)
ma_tr = te.fit_transform(X_tr, y_tr)[:, 0]
print("Điểm train:", round(roc_auc_score(y_tr, ma_tr), 3))
ma_te = te.transform(X_te)[:, 0]
print("Điểm test: ", round(roc_auc_score(y_te, ma_te), 3))

KẾT QUẢ

Điểm train: 0.489
Điểm test:  0.539

Điểm train giờ quanh 0,5, đúng với một cột ngẫu nhiên, nên model phía sau không bị lừa. Trong pipeline, fit của pipeline gọi đúng fit_transform này, nên bạn chỉ cần đặt TargetEncoder làm một bước.

Chọn cách mã hóa theo loại cột

Loại cột

Ví dụ

Cách mã hóa

Không thứ tự, ít nhóm

kênh đăng ký, gói

OneHotEncoder

Có thứ tự

mức hài lòng

OrdinalEncoder(categories=...)

Không thứ tự, rất nhiều nhóm

mã cửa hàng

TargetEncoder, hoặc one hot với min_frequency

Nhãn y của bài phân loại

"ở lại", "rời bỏ"

LabelEncoder, hoặc không cần

Dòng cuối cần nói thêm. LabelEncoder nhận một cột y một chiều và trả về số nguyên; các model phân loại của scikit-learn nhận y dạng chữ nên thường không cần nó. Nó không phải một bước xử lý cột X.

Với chính cột y, LabelEncoder chạy được, nhưng thứ tự mã của nó cũng cần đọc kỹ.

Kiểm tra nhanh

  1. Sau from sklearn.preprocessing import OrdinalEncoder, import pandas as pd và enc = OrdinalEncoder().fit(pd.DataFrame({"goi": ["Tháng", "Năm", "Quý"]})), enc.categories_[0].tolist() cho kết quả gì?

    • ['Tháng', 'Năm', 'Quý']
    • ['Tháng', 'Quý', 'Năm']
    • ['Năm', 'Quý', 'Tháng']
  2. Vì sao mã hóa cột cửa hàng bằng tỉ lệ rời bỏ tính thẳng trên train cho điểm train 0,761 dù cột là ngẫu nhiên?

    • Vì 300 cửa hàng là quá nhiều cho AUC
    • Vì nhãn của mỗi hội viên đã nằm trong trung bình của cửa hàng mình, nên cột mã hóa chứa một phần nhãn
    • Vì train_test_split chia không đều
  3. Cột nào nên dùng OrdinalEncoder với categories=?

    • Mức hài lòng: Kém, Trung bình, Tốt, Rất tốt
    • Size áo: S, M, L, XL
    • Kênh đăng ký: App, Website, Zalo, Facebook, TikTok
    • Tỉnh của hội viên
  4. Trong khung bẫy thứ hai, le.classes_ là ['rời bỏ' 'ở lại']. Mã 1 ứng với nhãn nào?

    • "rời bỏ"
    • "ở lại"
    • Tùy vào dòng đầu tiên của bảng
Đúng hết lần đầu +15 XP

Bài tập

Mã hóa một cột theo thứ tự cho trước

Đội khảo sát Sóc Vàng gửi bảng có một cột chữ có thứ tự. Viết thân hàm ma_hoa_thu_tu(bang, cot, thu_tu): mã hóa cột cot của bang bằng OrdinalEncoder sao cho nhóm thứ nhất của danh sách thu_tu là 0, nhóm thứ hai là 1, cứ thế tiếp. Hàm không sửa bang hay thu_tu.

Trả về: mã của từng dòng theo thứ tự dòng của bảng, một ndarray một chiều.

Ví dụ với cột hai_long = Tốt, Kém, Rất tốt và thu_tu = ["Kém", "Trung bình", "Tốt", "Rất tốt"]: kết quả là [2., 0., 3.].

python
from sklearn.preprocessing import OrdinalEncoder

def ma_hoa_thu_tu(bang, cot, thu_tu):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • OrdinalEncoder mặc định xếp nhóm theo chữ cái; với cột có thứ tự, hãy truyền categories=[thu_tu].

  • Cột không thứ tự đi qua one hot khi model là tuyến tính; mã số nguyên áp một thứ tự giả.

  • Target encoding tính thẳng trên train làm điểm train đẹp giả, vì nhãn của mỗi dòng nằm trong mã của nó.

  • TargetEncoder dùng cross-fitting lúc fit_transform và kéo nhóm ít người về tỉ lệ chung.

  • LabelEncoder chỉ dành cho y, xếp nhãn theo thứ tự ký tự; đọc classes_ trước khi diễn giải mã.

Câu hỏi thường gặp

Label encoding và ordinal encoding khác nhau thế nào?

Cả hai đổi nhóm thành số nguyên. Trong scikit-learn, LabelEncoder làm việc với một cột y một chiều, còn OrdinalEncoder làm việc với bảng X nhiều cột, nhận categories= để đặt thứ tự và nằm được trong pipeline.

TargetEncoder có dùng cho bài hồi quy không?

Có. Với y là số, mã của nhóm là trung bình y của nhóm (đã kéo về trung bình chung). Với phân loại nhiều lớp, nó tạo một cột cho mỗi lớp. Tham số target_type đặt loại bài toán khi cần.

Có thể dùng category của pandas thay cho encoder không?

Kiểu category giữ danh sách nhóm và thứ tự của chúng ngay trong bảng, rất tiện để khám phá. Khi huấn luyện model, encoder của scikit-learn vẫn nên làm việc mã hóa, vì nó nhớ nhóm của lúc fit và xử lý nhóm lạ theo handle_unknown.

Có nên đánh giá TargetEncoder bằng cross validation không?

Nên, và phải đặt nó trong pipeline để mỗi fold của cross validation học mã từ phần train của fold đó. Tính mã trên cả bảng rồi mới chia fold là rò dữ liệu: mã của các dòng trong fold dùng để chấm đã được học từ chính nhãn của chúng, nên điểm của fold đó cao giả.

Chủ đề

label encoding

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập