Label encoding, OrdinalEncoder và TargetEncoder
Bài 3/11 · Chương 9
Feature engineering và Pipeline
- 9 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 11
Label encoding là việc thay mỗi nhóm của một cột chữ bằng một con số nguyên: 0, 1, 2. Trong scikit-learn có ba công cụ gần nhau mà dùng cho ba việc khác nhau: OrdinalEncoder cho cột có thứ tự, TargetEncoder cho cột có hàng trăm nhóm, và LabelEncoder chỉ cho cột nhãn y.
Cần biết trước: one hot encoding, các loại dữ liệu và rò dữ liệu.
OrdinalEncoder cho cột có thứ tự
Một cột như mức hài lòng ("Kém", "Trung bình", "Tốt", "Rất tốt") có thứ tự sẵn, nên đánh số 0, 1, 2, 3 giữ được thông tin đó trong một cột thay vì bốn. Theo loại dữ liệu, đây là cột thứ bậc. OrdinalEncoder làm việc này, nhưng nếu không được dặn, nó xếp các nhóm theo thứ tự chữ cái:
import pandas as pd
from sklearn.preprocessing import OrdinalEncoder
muc = pd.DataFrame(
{"hai_long": ["Tốt", "Kém", "Rất tốt", "Trung bình"]})
mac_dinh = OrdinalEncoder().fit(muc)
print(mac_dinh.categories_[0])
thu_tu = ["Kém", "Trung bình", "Tốt", "Rất tốt"]
dung = OrdinalEncoder(categories=[thu_tu]).fit(muc)
muc["mac_dinh"] = mac_dinh.transform(muc[["hai_long"]])[:, 0]
muc["theo_thu_tu"] = dung.transform(muc[["hai_long"]])[:, 0]
print(muc)KẾT QUẢ
['Kém' 'Rất tốt' 'Trung bình' 'Tốt']
hai_long mac_dinh theo_thu_tu
0 Tốt 3.0 2.0
1 Kém 0.0 0.0
2 Rất tốt 1.0 3.0
3 Trung bình 2.0 1.0Theo chữ cái, "Rất tốt" đứng thứ hai và nhận mã 1, thấp hơn cả "Trung bình". Model đọc mã này sẽ hiểu "Rất tốt" gần "Kém" hơn "Tốt". Truyền categories=[thu_tu], một danh sách cho mỗi cột, thì mã đi đúng thứ tự nghiệp vụ. Đổi "Tốt", "Rất tốt"] thành "Rất tốt", "Tốt"] rồi chạy lại: dòng của "Tốt" in 3.0 3.0.
Cột không có thứ tự, như kênh đăng ký, không nên đi qua OrdinalEncoder khi model là tuyến tính: con số sẽ áp một thứ tự không có thật. Với model cây thì khác, vì cây chia cột theo ngưỡng và vẫn tách được từng nhóm sau vài lần chia.
Cột nhiều nhóm và TargetEncoder
Giả sử hội viên Sóc Vàng đăng ký tại một trong 300 cửa hàng. One hot cho 300 cột, mỗi cột chỉ khoảng 10 hội viên. Một cách gọn là thay mã cửa hàng bằng tỉ lệ rời bỏ của cửa hàng đó, gọi là target encoding. Làm theo cách thẳng, tính trung bình nhãn trên train rồi dùng ngay trên train, có một lỗ hổng. Khối dưới đây gán cửa hàng ngẫu nhiên, nên cột này không mang chút thông tin nào; AUC đúng của nó là khoảng 0,5:
import numpy as np
import pandas as pd
from sklearn.metrics import roc_auc_score
from sklearn.model_selection import train_test_split
hv = pd.read_csv("hoi_vien.csv")
rng = np.random.default_rng(0)
cua_hang = pd.Series(rng.integers(0, 300, 3000).astype(str))
c_tr, c_te, y_tr, y_te = train_test_split(cua_hang, hv["roi_bo"],
test_size=0.3, stratify=hv["roi_bo"], random_state=0)
tb = y_tr.groupby(c_tr).mean()
ma_tr, ma_te = c_tr.map(tb), c_te.map(tb).fillna(y_tr.mean())
print("Điểm train:", round(roc_auc_score(y_tr, ma_tr), 3))
print("Điểm test: ", round(roc_auc_score(y_te, ma_te), 3))KẾT QUẢ
Điểm train: 0.761
Điểm test: 0.538Điểm train 0,761 cho một cột vô nghĩa. Lý do: mỗi hội viên train góp nhãn của chính mình vào trung bình của cửa hàng mình, nên cột mã hóa đã chứa một phần nhãn. Với khoảng 7 hội viên train mỗi cửa hàng, phần đó đủ lớn. Một model học trên cột này sẽ tin nó quá mức. Ở 200 cách gán và chia khác nhau, điểm train trung bình 0,76 còn điểm test trung bình 0,50.
TargetEncoder sửa lỗ hổng bằng cross-fitting: lúc fit_transform, nó chia train thành 5 phần, và mã của mỗi hội viên được tính từ 4 phần còn lại, không có nhãn của chính người đó. Nó cũng kéo trung bình của nhóm ít người về gần tỉ lệ chung:
import numpy as np
import pandas as pd
from sklearn.metrics import roc_auc_score
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import TargetEncoder
hv = pd.read_csv("hoi_vien.csv")
ma = np.random.default_rng(0).integers(0, 300, 3000)
X = pd.DataFrame({"cua_hang": ma.astype(str)})
X_tr, X_te, y_tr, y_te = train_test_split(X, hv["roi_bo"],
test_size=0.3, stratify=hv["roi_bo"], random_state=0)
te = TargetEncoder(random_state=0)
ma_tr = te.fit_transform(X_tr, y_tr)[:, 0]
print("Điểm train:", round(roc_auc_score(y_tr, ma_tr), 3))
ma_te = te.transform(X_te)[:, 0]
print("Điểm test: ", round(roc_auc_score(y_te, ma_te), 3))KẾT QUẢ
Điểm train: 0.489
Điểm test: 0.539Điểm train giờ quanh 0,5, đúng với một cột ngẫu nhiên, nên model phía sau không bị lừa. Trong pipeline, fit của pipeline gọi đúng fit_transform này, nên bạn chỉ cần đặt TargetEncoder làm một bước.
Chọn cách mã hóa theo loại cột
Loại cột | Ví dụ | Cách mã hóa |
|---|---|---|
Không thứ tự, ít nhóm | kênh đăng ký, gói |
|
Có thứ tự | mức hài lòng |
|
Không thứ tự, rất nhiều nhóm | mã cửa hàng |
|
Nhãn y của bài phân loại | "ở lại", "rời bỏ" |
|
Dòng cuối cần nói thêm. LabelEncoder nhận một cột y một chiều và trả về số nguyên; các model phân loại của scikit-learn nhận y dạng chữ nên thường không cần nó. Nó không phải một bước xử lý cột X.
Với chính cột y, LabelEncoder chạy được, nhưng thứ tự mã của nó cũng cần đọc kỹ.
Kiểm tra nhanh
Sau
from sklearn.preprocessing import OrdinalEncoder,import pandas as pdvàenc = OrdinalEncoder().fit(pd.DataFrame({"goi": ["Tháng", "Năm", "Quý"]})),enc.categories_[0].tolist()cho kết quả gì?['Tháng', 'Năm', 'Quý']['Tháng', 'Quý', 'Năm']['Năm', 'Quý', 'Tháng']
Vì sao mã hóa cột cửa hàng bằng tỉ lệ rời bỏ tính thẳng trên train cho điểm train 0,761 dù cột là ngẫu nhiên?
- Vì 300 cửa hàng là quá nhiều cho AUC
- Vì nhãn của mỗi hội viên đã nằm trong trung bình của cửa hàng mình, nên cột mã hóa chứa một phần nhãn
- Vì
train_test_splitchia không đều
Cột nào nên dùng
OrdinalEncodervớicategories=?- Mức hài lòng: Kém, Trung bình, Tốt, Rất tốt
- Size áo: S, M, L, XL
- Kênh đăng ký: App, Website, Zalo, Facebook, TikTok
- Tỉnh của hội viên
Trong khung bẫy thứ hai,
le.classes_là['rời bỏ' 'ở lại']. Mã 1 ứng với nhãn nào?- "rời bỏ"
- "ở lại"
- Tùy vào dòng đầu tiên của bảng
Bài tập
Mã hóa một cột theo thứ tự cho trước
Đội khảo sát Sóc Vàng gửi bảng có một cột chữ có thứ tự. Viết thân hàm ma_hoa_thu_tu(bang, cot, thu_tu): mã hóa cột cot của bang bằng OrdinalEncoder sao cho nhóm thứ nhất của danh sách thu_tu là 0, nhóm thứ hai là 1, cứ thế tiếp. Hàm không sửa bang hay thu_tu.
Trả về: mã của từng dòng theo thứ tự dòng của bảng, một ndarray một chiều.
Ví dụ với cột hai_long = Tốt, Kém, Rất tốt và thu_tu = ["Kém", "Trung bình", "Tốt", "Rất tốt"]: kết quả là [2., 0., 3.].
from sklearn.preprocessing import OrdinalEncoder
def ma_hoa_thu_tu(bang, cot, thu_tu):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
OrdinalEncodermặc định xếp nhóm theo chữ cái; với cột có thứ tự, hãy truyềncategories=[thu_tu].Cột không thứ tự đi qua one hot khi model là tuyến tính; mã số nguyên áp một thứ tự giả.
Target encoding tính thẳng trên train làm điểm train đẹp giả, vì nhãn của mỗi dòng nằm trong mã của nó.
TargetEncoderdùng cross-fitting lúcfit_transformvà kéo nhóm ít người về tỉ lệ chung.LabelEncoderchỉ dành cho y, xếp nhãn theo thứ tự ký tự; đọcclasses_trước khi diễn giải mã.
Câu hỏi thường gặp
Label encoding và ordinal encoding khác nhau thế nào?
Cả hai đổi nhóm thành số nguyên. Trong scikit-learn, LabelEncoder làm việc với một cột y một chiều, còn OrdinalEncoder làm việc với bảng X nhiều cột, nhận categories= để đặt thứ tự và nằm được trong pipeline.
TargetEncoder có dùng cho bài hồi quy không?
Có. Với y là số, mã của nhóm là trung bình y của nhóm (đã kéo về trung bình chung). Với phân loại nhiều lớp, nó tạo một cột cho mỗi lớp. Tham số target_type đặt loại bài toán khi cần.
Có thể dùng category của pandas thay cho encoder không?
Kiểu category giữ danh sách nhóm và thứ tự của chúng ngay trong bảng, rất tiện để khám phá. Khi huấn luyện model, encoder của scikit-learn vẫn nên làm việc mã hóa, vì nó nhớ nhóm của lúc fit và xử lý nhóm lạ theo handle_unknown.
Có nên đánh giá TargetEncoder bằng cross validation không?
Nên, và phải đặt nó trong pipeline để mỗi fold của cross validation học mã từ phần train của fold đó. Tính mã trên cả bảng rồi mới chia fold là rò dữ liệu: mã của các dòng trong fold dùng để chấm đã được học từ chính nhãn của chúng, nên điểm của fold đó cao giả.
Chủ đề
Dữ liệu của bài
- Tải xuống
hoi_vien.csv
CSV · 207.25 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.