Bỏ qua đến nội dung chính
Mục lục

Found unknown categories khi transform dữ liệu mới

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 9/18 · Chương 13

Giải nghĩa lỗi và cảnh báo

  • 5 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Lỗi Found unknown categories báo khi một OneHotEncoder hay OrdinalEncoder đã fit trên dữ liệu train gặp một nhóm chưa từng thấy lúc transform() dữ liệu mới, như kênh đăng ký "Shopee" xuất hiện sau khi model đã học xong. Bộ mã hóa mặc định dừng lại thay vì đoán, vì nó không có cột nào cho nhóm đó; bạn chọn cách xử lý tùy nhóm lạ là nhóm mới thật hay chỉ là một cách gõ khác.

Cần biết trước: OneHotEncoder trong sklearn.

Bảng tra nhanh: cách cấu hình và điều xảy ra với nhóm lạ

Python gọi lỗi này là ValueError. Cả bảng nói về một dòng có kênh "Shopee", khi bộ mã hóa chỉ học năm kênh App, Facebook, TikTok, Website, Zalo:

Bộ mã hóa

Dòng "Shopee" khi transform

OneHotEncoder()

báo Found unknown categories ['Shopee'] in column 0 during transform

OneHotEncoder(handle_unknown="ignore")

mọi cột bằng 0

OneHotEncoder(handle_unknown="infrequent_if_exist", min_frequency=0.1)

1 ở cột nhóm hiếm infrequent_sklearn

OrdinalEncoder()

báo cùng lỗi

OrdinalEncoder(handle_unknown="use_encoded_value", unknown_value=-1)

số -1

Thuộc tính categories_ giữ danh sách nhóm đã học, mỗi cột một mảng. So nó với dữ liệu mới là thấy nhóm sẽ gây lỗi trước khi gọi transform():

python
import pandas as pd
from sklearn.preprocessing import OneHotEncoder

kh = pd.read_csv("hoi_vien.csv")
tho = pd.read_csv("hoi_vien_tho.csv")
enc = OneHotEncoder().fit(kh[["kenh_dang_ky"]])
print(enc.categories_[0].tolist())
la = ~tho["kenh_dang_ky"].isin(enc.categories_[0])
print(la.sum(), sorted(set(tho.loc[la, "kenh_dang_ky"])))

KẾT QUẢ

['App', 'Facebook', 'TikTok', 'Website', 'Zalo']
20 ['Shopee']

Đổi "kenh_dang_ky" thành "goi" ở cả ba chỗ rồi chạy lại: dòng cuối in 100 cùng sáu cách viết lạ của tên gói.

Hai mươi hội viên của file thô đăng ký qua Shopee, một kênh không có trong 3.000 dòng train.

Nhóm mới thật: handle_unknown

Gọi transform() của bộ mã hóa mặc định trên file thô:

python
import pandas as pd
from sklearn.preprocessing import OneHotEncoder

kh = pd.read_csv("hoi_vien.csv")
tho = pd.read_csv("hoi_vien_tho.csv")
enc = OneHotEncoder().fit(kh[["kenh_dang_ky"]])
enc.transform(tho[["kenh_dang_ky"]])

Dòng cuối của thông báo lỗi:

text
ValueError: Found unknown categories ['Shopee'] in column 0 during transform

column 0 là vị trí cột trong bảng đưa vào bộ mã hóa, đếm từ 0. Shopee là một kênh mới có thật, nên dữ liệu thật sẽ còn gặp nó. Hai cách cho bộ mã hóa đi tiếp:

python
import pandas as pd
from sklearn.preprocessing import OneHotEncoder

kh = pd.read_csv("hoi_vien.csv")
moi = pd.DataFrame({"kenh_dang_ky": ["Shopee", "TikTok", "App"]})
bo_qua = OneHotEncoder(handle_unknown="ignore", sparse_output=False)
print(bo_qua.fit(kh[["kenh_dang_ky"]]).transform(moi)[0])
hiem = OneHotEncoder(handle_unknown="infrequent_if_exist",
                     min_frequency=0.1, sparse_output=False)
print(hiem.fit(kh[["kenh_dang_ky"]]).transform(moi))

KẾT QUẢ

[0. 0. 0. 0. 0.]
[[0. 0. 0. 0. 1.]
 [0. 0. 0. 0. 1.]
 [1. 0. 0. 0. 0.]]

Với "ignore", dòng Shopee thành toàn số 0: model coi nó như không thuộc kênh nào. Với "infrequent_if_exist" và min_frequency=0.1, các kênh chiếm dưới 10 % lúc train (ở đây TikTok, 8 %) gộp vào cột infrequent_sklearn, và nhóm lạ cũng rơi vào cột đó: Shopee được đối xử như một kênh nhỏ đã biết. Thiếu min_frequency thì không có nhóm hiếm nào, và "infrequent_if_exist" cư xử như "ignore".

Nhóm lạ do cách gõ: dọn chữ trước

Cột goi của file thô cũng làm bộ mã hóa dừng, nhưng vì lý do khác hẳn: chín cách viết cho ba gói.

Thứ tự các nhóm lạ trong câu thông báo có thể đổi giữa các lần chạy, vì thư viện gom chúng bằng một tập hợp; đừng viết code so nguyên câu.

Kiểm tra nhanh

  1. Bộ mã hóa fit trên kh[["goi", "kenh_dang_ky"]] báo Found unknown categories ['Shopee'] in column 1. Cột nào gây lỗi?

    • goi, vì nó đứng đầu
    • kenh_dang_ky, cột ở vị trí 1 tính từ 0
    • Cả hai cột
  2. Dữ liệu mới có ô goi là "QUÝ" trong khi bộ mã hóa học "Quý". Cách sửa nào đúng?

    • handle_unknown="ignore"
    • Chuẩn hóa chữ hoa, chữ thường và khoảng trắng trước khi mã hóa
    • Fit lại bộ mã hóa trên dữ liệu mới
  3. Những câu nào đúng với OneHotEncoder(handle_unknown="ignore")?

    • Dòng có nhóm lạ thành toàn số 0
    • Số cột đầu ra giữ nguyên như lúc fit
    • Nhóm lạ được thêm thành một cột mới
    • Bộ mã hóa in ra tên nhóm lạ rồi dừng
Đúng hết lần đầu +15 XP

Bài tập

Đếm dòng sẽ thành toàn số 0

enc là một OneHotEncoder(handle_unknown="ignore") đã fit trên một cột chữ. X_moi là DataFrame một cột cùng tên, dữ liệu mới không có ô trống. Viết thân hàm dem_dong_toan_0(enc, X_moi) trả số dòng của X_moi có nhóm mà enc chưa học, tức các dòng sẽ thành toàn số 0 khi transform. So đúng từng chữ, phân biệt chữ hoa.

Ví dụ: enc học App, Zalo; X_moi có ["Shopee", "app", "App", "Shopee"] cho 3. Hàm không sửa X_moi của nơi gọi.

Trả về: số dòng có nhóm lạ, một int.

python
import pandas as pd
from sklearn.preprocessing import OneHotEncoder

def dem_dong_toan_0(enc, X_moi):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • Found unknown categories báo khi bộ mã hóa gặp nhóm không có trong categories_ lúc fit.

  • So categories_ với dữ liệu mới bằng isin() để thấy nhóm lạ trước khi transform.

  • Nhóm mới thật: handle_unknown="ignore" cho toàn số 0, "infrequent_if_exist" kèm min_frequency đưa vào cột nhóm hiếm.

  • Nhóm lạ do gõ khác: dọn chữ trước khi mã hóa, đừng bỏ qua.

Câu hỏi thường gặp

Có nên fit bộ mã hóa trên cả train lẫn test cho đủ nhóm?

Không nên: như vậy bộ mã hóa biết trước dữ liệu test, và dữ liệu thật sau này vẫn có thể có nhóm mới. Fit trên train, chọn cách xử lý nhóm lạ bằng handle_unknown, như ở bài OneHotEncoder.

OrdinalEncoder xử lý nhóm lạ thế nào?

Mặc định nó cũng báo Found unknown categories. Đặt handle_unknown="use_encoded_value" cùng unknown_value=-1 để nhóm lạ thành số -1; con số này phải khác mọi mã của nhóm đã học.

Lỗi này xảy ra bên trong pipeline thì tìm cột thế nào?

Thông báo vẫn ghi số cột, đếm theo các cột đưa vào bộ mã hóa đó trong ColumnTransformer, không theo cả bảng. Liệt kê danh sách cột của bộ mã hóa và so categories_ của nó như ví dụ đầu trang.

Chủ đề

found unknown categories

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập