Bỏ qua đến nội dung chính
Mục lục

Feature names should match: cột lệch khi predict

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 10/18 · Chương 13

Giải nghĩa lỗi và cảnh báo

  • 6 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Lỗi The feature names should match those that were passed during fit báo khi bảng bạn đưa vào predict() có tên cột khác với bảng lúc fit(): thiếu cột, thừa cột lạ, hay đủ cột mà sai thứ tự. Lỗi này hay gặp nhất khi bạn mã hóa dữ liệu mới bằng get_dummies(), vì vài hội viên mới không đủ mọi kênh đăng ký nên bảng mã hóa ra ít cột hơn bảng train.

Cần biết trước: get_dummies trong pandas.

Bảng tra nhanh: các dòng sau câu đầu

Python gọi lỗi này là ValueError. Scikit-learn ghi tên cột của lúc fit vào thuộc tính feature_names_in_, rồi so với bảng mới. Sau câu đầu, thông báo có một hay hai trong ba dòng:

Dòng trong thông báo

Nghĩa

Cách sửa

Feature names seen at fit time, yet now missing:

bảng mới thiếu các cột kể sau dấu gạch

reindex(columns=..., fill_value=0)

Feature names unseen at fit time:

bảng mới có cột lạ, như nhóm mới sau get_dummies()

bỏ cột lạ, cũng bằng reindex()

Feature names must be in the same order as they were in fit.

đủ cột, sai thứ tự

X_moi[model.feature_names_in_]

Model đoán hội viên Sóc Vàng rời bỏ, fit trên số lần đăng nhập 30 ngày và năm cột kênh đăng ký. Hai hội viên mới chỉ đến từ hai kênh nên get_dummies() cho ra ba cột:

python
import pandas as pd
from sklearn.linear_model import LogisticRegression

hv = pd.read_csv("hoi_vien.csv")
X = pd.get_dummies(hv[["so_lan_dang_nhap_30_ngay", "kenh_dang_ky"]], dtype=int)
model = LogisticRegression().fit(X, hv["roi_bo"])
moi = pd.DataFrame({"so_lan_dang_nhap_30_ngay": [12, 3],
                    "kenh_dang_ky": ["Zalo", "App"]})
X_moi = pd.get_dummies(moi, dtype=int)
print(len(model.feature_names_in_), X_moi.columns.tolist())

KẾT QUẢ

6 ['so_lan_dang_nhap_30_ngay', 'kenh_dang_ky_App', 'kenh_dang_ky_Zalo']

Đổi "App" thành "Zalo" rồi chạy lại: dòng in ra 6 ['so_lan_dang_nhap_30_ngay', 'kenh_dang_ky_Zalo'], bảng mới còn hai cột.

Thiếu cột hay có cột lạ

Gọi model.predict(X_moi) trên bảng ba cột ở trên báo lỗi; thông báo kể tối đa năm tên rồi ghi ...:

python
import pandas as pd
from sklearn.linear_model import LogisticRegression

hv = pd.read_csv("hoi_vien.csv")
X = pd.get_dummies(hv[["so_lan_dang_nhap_30_ngay", "kenh_dang_ky"]], dtype=int)
model = LogisticRegression().fit(X, hv["roi_bo"])
moi = pd.DataFrame({"so_lan_dang_nhap_30_ngay": [12], "kenh_dang_ky": ["Shopee"]})
try:
    model.predict(pd.get_dummies(moi, dtype=int))
except ValueError as loi:
    print("\n".join(str(loi).splitlines()[:5]))

KẾT QUẢ

The feature names should match those that were passed during fit.
Feature names unseen at fit time:
- kenh_dang_ky_Shopee
Feature names seen at fit time, yet now missing:
- kenh_dang_ky_App

Hội viên đăng ký qua Shopee, một kênh model chưa từng thấy, tạo cột kenh_dang_ky_Shopee, và bảng của họ thiếu cả năm cột kênh của lúc fit. Cách sửa: reindex(columns=X.columns, fill_value=0) sắp lại bảng mới theo danh sách cột của train, theo đúng thứ tự, bỏ cột lạ và điền 0 vào cột thiếu:

python
import pandas as pd
from sklearn.linear_model import LogisticRegression

hv = pd.read_csv("hoi_vien.csv")
X = pd.get_dummies(hv[["so_lan_dang_nhap_30_ngay", "kenh_dang_ky"]], dtype=int)
model = LogisticRegression().fit(X, hv["roi_bo"])
moi = pd.DataFrame({"so_lan_dang_nhap_30_ngay": [12, 3],
                    "kenh_dang_ky": ["Zalo", "App"]})
X_moi = pd.get_dummies(moi, dtype=int)
X_moi = X_moi.reindex(columns=X.columns, fill_value=0)
print(X_moi.shape, model.predict_proba(X_moi)[:, 1].round(2))

KẾT QUẢ

(2, 6) [0.11 0.29]

reindex() sắp cột theo nhãn, giống cách pandas khớp nhãn khi tính toán ở bài căn chỉnh theo index. Hội viên từ kênh lạ như Shopee thì sau reindex() có cả năm cột kênh bằng 0. Vì get_dummies() giữ đủ năm cột, không kênh nào đứng làm mốc, nên dòng toàn 0 không ứng với kênh nào: model chỉ cộng hệ số chặn với phần của số lần đăng nhập, một xác suất không có nghĩa rõ ràng. Muốn dòng toàn 0 có nghĩa "kênh mốc" thì mã hóa bằng drop_first=True; còn với nhóm lạ, hãy đếm và xem riêng các dòng như vậy thay cho tin con số đó.

Sai thứ tự cột và cách chữa gốc

Bảng đủ cột nhưng xếp khác báo câu Feature names must be in the same order as they were in fit. Chọn lại cột theo model.feature_names_in_ là sửa xong. Muốn khỏi lo cả ba trường hợp, đặt việc mã hóa vào trong model: một pipeline có OneHotEncoder nhớ danh sách nhóm lúc fit và luôn cho ra đúng số cột, như ở bài pipeline đầy đủ.

Kiểm tra nhanh

  1. Thông báo có dòng Feature names unseen at fit time: rồi - kenh_dang_ky_Shopee. Điều này nghĩa là gì?

    • Bảng mới có cột kenh_dang_ky_Shopee mà lúc fit không có
    • Bảng mới thiếu cột kenh_dang_ky_Shopee
    • Model chưa fit
  2. Cách nào đưa X_moi về đúng các cột của lúc fit?

    • X_moi.reindex(columns=X_moi.columns, fill_value=0)
    • X_moi.reindex(columns=X.columns, fill_value=0)
    • X_moi.to_numpy()
  3. Những câu nào đúng về reindex(columns=X.columns, fill_value=0) trên bảng mới?

    • Cột lạ không có trong X.columns bị bỏ
    • Cột thiếu được thêm và điền 0
    • Thứ tự cột theo đúng X.columns
    • Nhóm lạ được đoán theo nhóm gần nhất
Đúng hết lần đầu +15 XP

Bài tập

Liệt kê cột thiếu và cột lạ

model là một model scikit-learn đã fit trên một DataFrame, nên có feature_names_in_. X_moi là DataFrame mới. Viết thân hàm cot_lech(model, X_moi) trả hai list: các cột lúc fit mà X_moi thiếu, theo thứ tự của feature_names_in_; rồi các cột của X_moi mà lúc fit không có, theo thứ tự cột của X_moi.

Ví dụ: fit trên so_don_90_ngay, tuoi; X_moi có so_lan_khieu_nai, so_don_90_ngay cho (["tuoi"], ["so_lan_khieu_nai"]). Hàm không sửa X_moi của nơi gọi.

Trả về: hai list cột thiếu và cột lạ, một tuple.

python
import pandas as pd
from sklearn.linear_model import LinearRegression

def cot_lech(model, X_moi):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • Lỗi feature names so tên cột của bảng mới với feature_names_in_ lưu lúc fit.

  • Ba dòng sau câu đầu: cột thiếu (yet now missing), cột lạ (unseen at fit time), sai thứ tự.

  • reindex(columns=X.columns, fill_value=0) bỏ cột lạ, thêm cột thiếu bằng 0, xếp đúng thứ tự.

  • Đưa mảng NumPy vào để tránh lỗi chỉ đổi lỗi thành cảnh báo, và cột sai thứ tự thì đoán sai.

Câu hỏi thường gặp

Vì sao get_dummies trên dữ liệu mới ra ít cột hơn?

get_dummies() chỉ tạo cột cho các nhóm có mặt trong chính bảng nó nhận. Hai hội viên từ hai kênh cho ra hai cột kênh, dù train có năm kênh. Cách mã hóa bảng mới cho khớp train có ở bài get_dummies.

Model fit bằng mảng NumPy có kiểm tên cột không?

Không: model fit trên mảng không có feature_names_in_, nên không có tên nào để so. Đưa DataFrame vào nó chỉ in cảnh báo X has feature names, but … was fitted without feature names, còn thứ tự cột hoàn toàn do bạn giữ.

Dùng pipeline thì còn gặp lỗi này không?

Vẫn gặp nếu bảng mới thiếu một cột gốc, như quên cột so_lan_dang_nhap_30_ngay. Nhưng các cột sinh ra khi mã hóa thì pipeline tự lo, vì OneHotEncoder bên trong nhớ nhóm của lúc fit; xem bài pipeline đầy đủ.

Chủ đề

feature names should match

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập