Found unknown categories khi transform dữ liệu mới
Bài 9/18 · Chương 13
Giải nghĩa lỗi và cảnh báo
- 5 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 10
Lỗi Found unknown categories báo khi một OneHotEncoder hay OrdinalEncoder đã fit trên dữ liệu train gặp một nhóm chưa từng thấy lúc transform() dữ liệu mới, như kênh đăng ký "Shopee" xuất hiện sau khi model đã học xong. Bộ mã hóa mặc định dừng lại thay vì đoán, vì nó không có cột nào cho nhóm đó; bạn chọn cách xử lý tùy nhóm lạ là nhóm mới thật hay chỉ là một cách gõ khác.
Cần biết trước: OneHotEncoder trong sklearn.
Bảng tra nhanh: cách cấu hình và điều xảy ra với nhóm lạ
Python gọi lỗi này là ValueError. Cả bảng nói về một dòng có kênh "Shopee", khi bộ mã hóa chỉ học năm kênh App, Facebook, TikTok, Website, Zalo:
Bộ mã hóa | Dòng "Shopee" khi transform |
|---|---|
| báo |
| mọi cột bằng 0 |
| 1 ở cột nhóm hiếm |
| báo cùng lỗi |
| số |
Thuộc tính categories_ giữ danh sách nhóm đã học, mỗi cột một mảng. So nó với dữ liệu mới là thấy nhóm sẽ gây lỗi trước khi gọi transform():
import pandas as pd
from sklearn.preprocessing import OneHotEncoder
kh = pd.read_csv("hoi_vien.csv")
tho = pd.read_csv("hoi_vien_tho.csv")
enc = OneHotEncoder().fit(kh[["kenh_dang_ky"]])
print(enc.categories_[0].tolist())
la = ~tho["kenh_dang_ky"].isin(enc.categories_[0])
print(la.sum(), sorted(set(tho.loc[la, "kenh_dang_ky"])))KẾT QUẢ
['App', 'Facebook', 'TikTok', 'Website', 'Zalo']
20 ['Shopee']Đổi "kenh_dang_ky" thành "goi" ở cả ba chỗ rồi chạy lại: dòng cuối in 100 cùng sáu cách viết lạ của tên gói.
Hai mươi hội viên của file thô đăng ký qua Shopee, một kênh không có trong 3.000 dòng train.
Nhóm mới thật: handle_unknown
Gọi transform() của bộ mã hóa mặc định trên file thô:
import pandas as pd
from sklearn.preprocessing import OneHotEncoder
kh = pd.read_csv("hoi_vien.csv")
tho = pd.read_csv("hoi_vien_tho.csv")
enc = OneHotEncoder().fit(kh[["kenh_dang_ky"]])
enc.transform(tho[["kenh_dang_ky"]])
Dòng cuối của thông báo lỗi:
ValueError: Found unknown categories ['Shopee'] in column 0 during transform
column 0 là vị trí cột trong bảng đưa vào bộ mã hóa, đếm từ 0. Shopee là một kênh mới có thật, nên dữ liệu thật sẽ còn gặp nó. Hai cách cho bộ mã hóa đi tiếp:
import pandas as pd
from sklearn.preprocessing import OneHotEncoder
kh = pd.read_csv("hoi_vien.csv")
moi = pd.DataFrame({"kenh_dang_ky": ["Shopee", "TikTok", "App"]})
bo_qua = OneHotEncoder(handle_unknown="ignore", sparse_output=False)
print(bo_qua.fit(kh[["kenh_dang_ky"]]).transform(moi)[0])
hiem = OneHotEncoder(handle_unknown="infrequent_if_exist",
min_frequency=0.1, sparse_output=False)
print(hiem.fit(kh[["kenh_dang_ky"]]).transform(moi))KẾT QUẢ
[0. 0. 0. 0. 0.]
[[0. 0. 0. 0. 1.]
[0. 0. 0. 0. 1.]
[1. 0. 0. 0. 0.]]Với "ignore", dòng Shopee thành toàn số 0: model coi nó như không thuộc kênh nào. Với "infrequent_if_exist" và min_frequency=0.1, các kênh chiếm dưới 10 % lúc train (ở đây TikTok, 8 %) gộp vào cột infrequent_sklearn, và nhóm lạ cũng rơi vào cột đó: Shopee được đối xử như một kênh nhỏ đã biết. Thiếu min_frequency thì không có nhóm hiếm nào, và "infrequent_if_exist" cư xử như "ignore".
Nhóm lạ do cách gõ: dọn chữ trước
Cột goi của file thô cũng làm bộ mã hóa dừng, nhưng vì lý do khác hẳn: chín cách viết cho ba gói.
Thứ tự các nhóm lạ trong câu thông báo có thể đổi giữa các lần chạy, vì thư viện gom chúng bằng một tập hợp; đừng viết code so nguyên câu.
Kiểm tra nhanh
Bộ mã hóa fit trên
kh[["goi", "kenh_dang_ky"]]báoFound unknown categories ['Shopee'] in column 1. Cột nào gây lỗi?goi, vì nó đứng đầukenh_dang_ky, cột ở vị trí 1 tính từ 0- Cả hai cột
Dữ liệu mới có ô
goilà"QUÝ"trong khi bộ mã hóa học"Quý". Cách sửa nào đúng?handle_unknown="ignore"- Chuẩn hóa chữ hoa, chữ thường và khoảng trắng trước khi mã hóa
- Fit lại bộ mã hóa trên dữ liệu mới
Những câu nào đúng với
OneHotEncoder(handle_unknown="ignore")?- Dòng có nhóm lạ thành toàn số 0
- Số cột đầu ra giữ nguyên như lúc fit
- Nhóm lạ được thêm thành một cột mới
- Bộ mã hóa in ra tên nhóm lạ rồi dừng
Bài tập
Đếm dòng sẽ thành toàn số 0
enc là một OneHotEncoder(handle_unknown="ignore") đã fit trên một cột chữ. X_moi là DataFrame một cột cùng tên, dữ liệu mới không có ô trống. Viết thân hàm dem_dong_toan_0(enc, X_moi) trả số dòng của X_moi có nhóm mà enc chưa học, tức các dòng sẽ thành toàn số 0 khi transform. So đúng từng chữ, phân biệt chữ hoa.
Ví dụ: enc học App, Zalo; X_moi có ["Shopee", "app", "App", "Shopee"] cho 3. Hàm không sửa X_moi của nơi gọi.
Trả về: số dòng có nhóm lạ, một int.
import pandas as pd
from sklearn.preprocessing import OneHotEncoder
def dem_dong_toan_0(enc, X_moi):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Found unknown categoriesbáo khi bộ mã hóa gặp nhóm không có trongcategories_lúc fit.So
categories_với dữ liệu mới bằngisin()để thấy nhóm lạ trước khi transform.Nhóm mới thật:
handle_unknown="ignore"cho toàn số 0,"infrequent_if_exist"kèmmin_frequencyđưa vào cột nhóm hiếm.Nhóm lạ do gõ khác: dọn chữ trước khi mã hóa, đừng bỏ qua.
Câu hỏi thường gặp
Có nên fit bộ mã hóa trên cả train lẫn test cho đủ nhóm?
Không nên: như vậy bộ mã hóa biết trước dữ liệu test, và dữ liệu thật sau này vẫn có thể có nhóm mới. Fit trên train, chọn cách xử lý nhóm lạ bằng handle_unknown, như ở bài OneHotEncoder.
OrdinalEncoder xử lý nhóm lạ thế nào?
Mặc định nó cũng báo Found unknown categories. Đặt handle_unknown="use_encoded_value" cùng unknown_value=-1 để nhóm lạ thành số -1; con số này phải khác mọi mã của nhóm đã học.
Lỗi này xảy ra bên trong pipeline thì tìm cột thế nào?
Thông báo vẫn ghi số cột, đếm theo các cột đưa vào bộ mã hóa đó trong ColumnTransformer, không theo cả bảng. Liệt kê danh sách cột của bộ mã hóa và so categories_ của nó như ví dụ đầu trang.
Chủ đề
Dữ liệu của bài
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.