Feature names should match: cột lệch khi predict
Bài 10/18 · Chương 13
Giải nghĩa lỗi và cảnh báo
- 6 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 10
Lỗi The feature names should match those that were passed during fit báo khi bảng bạn đưa vào predict() có tên cột khác với bảng lúc fit(): thiếu cột, thừa cột lạ, hay đủ cột mà sai thứ tự. Lỗi này hay gặp nhất khi bạn mã hóa dữ liệu mới bằng get_dummies(), vì vài hội viên mới không đủ mọi kênh đăng ký nên bảng mã hóa ra ít cột hơn bảng train.
Cần biết trước: get_dummies trong pandas.
Bảng tra nhanh: các dòng sau câu đầu
Python gọi lỗi này là ValueError. Scikit-learn ghi tên cột của lúc fit vào thuộc tính feature_names_in_, rồi so với bảng mới. Sau câu đầu, thông báo có một hay hai trong ba dòng:
Dòng trong thông báo | Nghĩa | Cách sửa |
|---|---|---|
| bảng mới thiếu các cột kể sau dấu gạch |
|
| bảng mới có cột lạ, như nhóm mới sau | bỏ cột lạ, cũng bằng |
| đủ cột, sai thứ tự |
|
Model đoán hội viên Sóc Vàng rời bỏ, fit trên số lần đăng nhập 30 ngày và năm cột kênh đăng ký. Hai hội viên mới chỉ đến từ hai kênh nên get_dummies() cho ra ba cột:
import pandas as pd
from sklearn.linear_model import LogisticRegression
hv = pd.read_csv("hoi_vien.csv")
X = pd.get_dummies(hv[["so_lan_dang_nhap_30_ngay", "kenh_dang_ky"]], dtype=int)
model = LogisticRegression().fit(X, hv["roi_bo"])
moi = pd.DataFrame({"so_lan_dang_nhap_30_ngay": [12, 3],
"kenh_dang_ky": ["Zalo", "App"]})
X_moi = pd.get_dummies(moi, dtype=int)
print(len(model.feature_names_in_), X_moi.columns.tolist())KẾT QUẢ
6 ['so_lan_dang_nhap_30_ngay', 'kenh_dang_ky_App', 'kenh_dang_ky_Zalo']Đổi "App" thành "Zalo" rồi chạy lại: dòng in ra 6 ['so_lan_dang_nhap_30_ngay', 'kenh_dang_ky_Zalo'], bảng mới còn hai cột.
Thiếu cột hay có cột lạ
Gọi model.predict(X_moi) trên bảng ba cột ở trên báo lỗi; thông báo kể tối đa năm tên rồi ghi ...:
import pandas as pd
from sklearn.linear_model import LogisticRegression
hv = pd.read_csv("hoi_vien.csv")
X = pd.get_dummies(hv[["so_lan_dang_nhap_30_ngay", "kenh_dang_ky"]], dtype=int)
model = LogisticRegression().fit(X, hv["roi_bo"])
moi = pd.DataFrame({"so_lan_dang_nhap_30_ngay": [12], "kenh_dang_ky": ["Shopee"]})
try:
model.predict(pd.get_dummies(moi, dtype=int))
except ValueError as loi:
print("\n".join(str(loi).splitlines()[:5]))KẾT QUẢ
The feature names should match those that were passed during fit.
Feature names unseen at fit time:
- kenh_dang_ky_Shopee
Feature names seen at fit time, yet now missing:
- kenh_dang_ky_AppHội viên đăng ký qua Shopee, một kênh model chưa từng thấy, tạo cột kenh_dang_ky_Shopee, và bảng của họ thiếu cả năm cột kênh của lúc fit. Cách sửa: reindex(columns=X.columns, fill_value=0) sắp lại bảng mới theo danh sách cột của train, theo đúng thứ tự, bỏ cột lạ và điền 0 vào cột thiếu:
import pandas as pd
from sklearn.linear_model import LogisticRegression
hv = pd.read_csv("hoi_vien.csv")
X = pd.get_dummies(hv[["so_lan_dang_nhap_30_ngay", "kenh_dang_ky"]], dtype=int)
model = LogisticRegression().fit(X, hv["roi_bo"])
moi = pd.DataFrame({"so_lan_dang_nhap_30_ngay": [12, 3],
"kenh_dang_ky": ["Zalo", "App"]})
X_moi = pd.get_dummies(moi, dtype=int)
X_moi = X_moi.reindex(columns=X.columns, fill_value=0)
print(X_moi.shape, model.predict_proba(X_moi)[:, 1].round(2))KẾT QUẢ
(2, 6) [0.11 0.29]reindex() sắp cột theo nhãn, giống cách pandas khớp nhãn khi tính toán ở bài căn chỉnh theo index. Hội viên từ kênh lạ như Shopee thì sau reindex() có cả năm cột kênh bằng 0. Vì get_dummies() giữ đủ năm cột, không kênh nào đứng làm mốc, nên dòng toàn 0 không ứng với kênh nào: model chỉ cộng hệ số chặn với phần của số lần đăng nhập, một xác suất không có nghĩa rõ ràng. Muốn dòng toàn 0 có nghĩa "kênh mốc" thì mã hóa bằng drop_first=True; còn với nhóm lạ, hãy đếm và xem riêng các dòng như vậy thay cho tin con số đó.
Sai thứ tự cột và cách chữa gốc
Bảng đủ cột nhưng xếp khác báo câu Feature names must be in the same order as they were in fit. Chọn lại cột theo model.feature_names_in_ là sửa xong. Muốn khỏi lo cả ba trường hợp, đặt việc mã hóa vào trong model: một pipeline có OneHotEncoder nhớ danh sách nhóm lúc fit và luôn cho ra đúng số cột, như ở bài pipeline đầy đủ.
Kiểm tra nhanh
Thông báo có dòng
Feature names unseen at fit time:rồi- kenh_dang_ky_Shopee. Điều này nghĩa là gì?- Bảng mới có cột
kenh_dang_ky_Shopeemà lúc fit không có - Bảng mới thiếu cột
kenh_dang_ky_Shopee - Model chưa fit
- Bảng mới có cột
Cách nào đưa
X_moivề đúng các cột của lúc fit?X_moi.reindex(columns=X_moi.columns, fill_value=0)X_moi.reindex(columns=X.columns, fill_value=0)X_moi.to_numpy()
Những câu nào đúng về
reindex(columns=X.columns, fill_value=0)trên bảng mới?- Cột lạ không có trong
X.columnsbị bỏ - Cột thiếu được thêm và điền 0
- Thứ tự cột theo đúng
X.columns - Nhóm lạ được đoán theo nhóm gần nhất
- Cột lạ không có trong
Bài tập
Liệt kê cột thiếu và cột lạ
model là một model scikit-learn đã fit trên một DataFrame, nên có feature_names_in_. X_moi là DataFrame mới. Viết thân hàm cot_lech(model, X_moi) trả hai list: các cột lúc fit mà X_moi thiếu, theo thứ tự của feature_names_in_; rồi các cột của X_moi mà lúc fit không có, theo thứ tự cột của X_moi.
Ví dụ: fit trên so_don_90_ngay, tuoi; X_moi có so_lan_khieu_nai, so_don_90_ngay cho (["tuoi"], ["so_lan_khieu_nai"]). Hàm không sửa X_moi của nơi gọi.
Trả về: hai list cột thiếu và cột lạ, một tuple.
import pandas as pd
from sklearn.linear_model import LinearRegression
def cot_lech(model, X_moi):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Lỗi feature names so tên cột của bảng mới với
feature_names_in_lưu lúc fit.Ba dòng sau câu đầu: cột thiếu (
yet now missing), cột lạ (unseen at fit time), sai thứ tự.reindex(columns=X.columns, fill_value=0)bỏ cột lạ, thêm cột thiếu bằng 0, xếp đúng thứ tự.Đưa mảng NumPy vào để tránh lỗi chỉ đổi lỗi thành cảnh báo, và cột sai thứ tự thì đoán sai.
Câu hỏi thường gặp
Vì sao get_dummies trên dữ liệu mới ra ít cột hơn?
get_dummies() chỉ tạo cột cho các nhóm có mặt trong chính bảng nó nhận. Hai hội viên từ hai kênh cho ra hai cột kênh, dù train có năm kênh. Cách mã hóa bảng mới cho khớp train có ở bài get_dummies.
Model fit bằng mảng NumPy có kiểm tên cột không?
Không: model fit trên mảng không có feature_names_in_, nên không có tên nào để so. Đưa DataFrame vào nó chỉ in cảnh báo X has feature names, but … was fitted without feature names, còn thứ tự cột hoàn toàn do bạn giữ.
Dùng pipeline thì còn gặp lỗi này không?
Vẫn gặp nếu bảng mới thiếu một cột gốc, như quên cột so_lan_dang_nhap_30_ngay. Nhưng các cột sinh ra khi mã hóa thì pipeline tự lo, vì OneHotEncoder bên trong nhớ nhóm của lúc fit; xem bài pipeline đầy đủ.
Chủ đề
Dữ liệu của bài
- Tải xuống
hoi_vien.csv
CSV · 207.25 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.