ValueError: Input X contains NaN (và infinity)
Bài 6/18 · Chương 13
Giải nghĩa lỗi và cảnh báo
- 6 phút
- Cơ bản
- Python 3.14
- Cập nhật
Trong bài này · 10
Lỗi Input X contains NaN nghĩa là bảng feature bạn đưa vào fit() hay predict() còn ô trống, mà phần lớn model của scikit-learn không biết làm gì với ô trống. Bản anh em Input X contains infinity báo ô vô cực, thường sinh ra từ một phép chia cho 0 khi bạn tự tạo cột mới; cả hai hay gặp ngay lần đầu fit trên dữ liệu thô chưa kiểm.
Cần biết trước: SimpleImputer: điền giá trị thiếu.
Bảng tra nhanh: ba thông báo và cách sửa
Python gọi các lỗi này là ValueError. Câu đầu của thông báo cho biết bên nào hỏng và hỏng kiểu gì:
Câu đầu của thông báo | Nguyên nhân | Cách sửa |
|---|---|---|
| ô trống trong feature |
|
| chia cho 0, | sửa phép tính tạo cột, rồi coi ô đó là ô trống |
| nhãn trống | bỏ các dòng đó; không điền nhãn |
Bước đầu luôn là đếm ô trống từng cột. File hội viên thô có ô trống ở hai cột feature và ở cả nhãn:
import pandas as pd
tho = pd.read_csv("hoi_vien_tho.csv")
so = tho.select_dtypes("number")
dem = so.isna().sum()
print(dem[dem > 0])KẾT QUẢ
tuoi 21
so_lan_dang_nhap_30_ngay 29
roi_bo 3
dtype: int64Đổi dem[dem > 0] thành dem[dem > 25] rồi chạy lại: dòng đầu in so_lan_dang_nhap_30_ngay 29, hai cột ít ô trống hơn bị lọc đi.
Cách soát chất lượng một bảng trước khi dùng có ở bài kiểm tra chất lượng dữ liệu.
Ô trống trong X: điền bằng SimpleImputer
Fit LogisticRegression trên ba cột số, sau khi đã bỏ ba dòng thiếu nhãn:
import pandas as pd
from sklearn.linear_model import LogisticRegression
tho = pd.read_csv("hoi_vien_tho.csv").dropna(subset=["roi_bo"])
cot = ["tuoi", "so_lan_dang_nhap_30_ngay", "so_don_90_ngay"]
try:
LogisticRegression().fit(tho[cot], tho["roi_bo"])
except ValueError as loi:
print(str(loi).splitlines()[0])
print(str(loi).splitlines()[1][:61])KẾT QUẢ
Input X contains NaN.
LogisticRegression does not accept missing values encoded asThông báo đầy đủ còn gợi ý hai hướng: điền ô trống bằng một bộ imputer, hoặc dùng HistGradientBoostingClassifier, model nhận ô trống sẵn. Đặt SimpleImputer làm bước đầu của pipeline, để giá trị điền vào được học trên dữ liệu train, không nhìn thấy test:
import pandas as pd
from sklearn.impute import SimpleImputer
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
tho = pd.read_csv("hoi_vien_tho.csv").dropna(subset=["roi_bo"])
cot = ["tuoi", "so_lan_dang_nhap_30_ngay", "so_don_90_ngay"]
pipe = make_pipeline(SimpleImputer(strategy="median"),
StandardScaler(), LogisticRegression())
pipe.fit(tho[cot], tho["roi_bo"])
print(pipe.named_steps["simpleimputer"].statistics_)KẾT QUẢ
[31. 6. 2.]Ba số là trung vị của từng cột, chính các giá trị sẽ điền vào ô trống, cả khi dự đoán dữ liệu mới. Trong ví dụ này pipeline fit trên cả file cho gọn; trong dự án thật, chia train và test trước rồi mới fit.
Ô vô cực: phép chia cho 0
Bạn muốn thêm cột "chi tiêu mỗi lần đăng nhập". Hội viên không đăng nhập lần nào trong 30 ngày mà vẫn có chi tiêu cho ra ô vô cực, còn hội viên không đăng nhập cũng không chi tiêu cho ra 0/0, một ô NaN:
import numpy as np
import pandas as pd
kh = pd.read_csv("hoi_vien.csv")
chi = kh["chi_tieu_90_ngay_nghin"] / kh["so_lan_dang_nhap_30_ngay"]
print(np.isinf(chi).sum(), chi.isna().sum())KẾT QUẢ
30 14pandas chia cho 0 mà không báo gì, nên cột hỏng chỉ lộ ra lúc fit, với câu Input X contains infinity or a value too large for dtype('float64'). SimpleImputer cũng dừng ở ô vô cực với đúng câu đó, vì nó chỉ biết điền ô trống. Cách sửa: quyết định giá trị đúng cho trường hợp không đăng nhập, chẳng hạn đổi ô vô cực thành ô trống bằng chi.replace([np.inf, -np.inf], np.nan) rồi để imputer điền, hoặc chia cho so_lan_dang_nhap_30_ngay + 1.
Model cây HistGradientBoostingClassifier nhận ô trống mà không cần imputer, vì nó học luôn nhánh cho ô trống. Cách dùng model đó có ở bài HistGradientBoosting.
Kiểm tra nhanh
Pipeline có
SimpleImputerở bước đầu vẫn báoInput y contains NaN.. Vì sao?SimpleImputercầnstrategy="median"mới điền được- Bộ imputer chỉ điền
X; nhãn trống phải bỏ dòng trước khi fit - Cột nhãn phải được chuẩn hóa trước
Với
import numpy as npvàimport pandas as pd,np.isinf(pd.Series([5.0]) / pd.Series([0.0])).sum()cho kết quả gì?np.int64(1)np.int64(0)- Báo lỗi
ZeroDivisionError
Những cách nào sửa đúng lỗi
Input X contains NaN?- Đặt
SimpleImputerlàm bước đầu của pipeline - Dùng model nhận ô trống như
HistGradientBoostingClassifier fillna()bằng trung bình của cả bảng trước khi chia train và test- Đổi kiểu cột sang
int
- Đặt
Bài tập
Đếm ô hỏng của từng cột
X là một DataFrame toàn cột số, có thể có ô trống (NaN) và ô vô cực (dương hay âm). Viết thân hàm dem_o_hong(X) trả một dict: khóa là tên cột có ít nhất một ô hỏng, giá trị là số ô hỏng của cột đó, đếm cả ô trống lẫn ô vô cực. Cột không có ô hỏng nào thì không có trong dict.
Ví dụ: cột tuoi có một ô trống, cột chi_moi_lan có một ô inf và một ô -inf thì kết quả là {"tuoi": 1, "chi_moi_lan": 2}. Hàm không sửa bảng X của nơi gọi.
Trả về: số ô hỏng của từng cột hỏng, một dict.
import numpy as np
import pandas as pd
def dem_o_hong(X):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Input X contains NaNlà ô trống trong feature;Input y contains NaNlà nhãn trống, bỏ dòng thay vì điền.Đếm ô trống từng cột bằng
isna().sum()trước khi fit.SimpleImputerđặt đầu pipeline điền ô trống bằng giá trị học trên train.Chia cho 0 trong pandas không báo lỗi mà sinh ô vô cực; tìm bằng
np.isinf()và sửa phép tính tạo cột.
Câu hỏi thường gặp
Model nào của sklearn nhận ô trống mà không cần điền?
HistGradientBoostingClassifier và HistGradientBoostingRegressor học riêng một nhánh cho ô trống, nên fit được trên bảng còn NaN. Một số model cây khác của bản mới cũng nhận ô trống, nhưng model tuyến tính và KNN thì không. Xem bài HistGradientBoosting.
Nên điền bằng trung bình hay trung vị?
Cột lệch như chi tiêu hay số lần đăng nhập nên dùng trung vị, vì vài khách chi rất nhiều kéo trung bình lên xa giá trị thường gặp. SimpleImputer(strategy="median") làm việc đó; các chiến lược khác có ở bài SimpleImputer.
Vì sao fillna trên cả bảng trước khi chia lại sai?
Trung bình tính trên cả bảng có góp phần của các dòng test, nên một chút thông tin của test lọt vào lúc học. Đặt bộ imputer trong pipeline để nó chỉ học trên phần train, như ví dụ ở trên.
Chủ đề
Dữ liệu của bài
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.