Bỏ qua đến nội dung chính
Mục lục

ValueError: Input X contains NaN (và infinity)

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 6/18 · Chương 13

Giải nghĩa lỗi và cảnh báo

  • 6 phút
  • Cơ bản
  • Python 3.14
  • Cập nhật

Lỗi Input X contains NaN nghĩa là bảng feature bạn đưa vào fit() hay predict() còn ô trống, mà phần lớn model của scikit-learn không biết làm gì với ô trống. Bản anh em Input X contains infinity báo ô vô cực, thường sinh ra từ một phép chia cho 0 khi bạn tự tạo cột mới; cả hai hay gặp ngay lần đầu fit trên dữ liệu thô chưa kiểm.

Cần biết trước: SimpleImputer: điền giá trị thiếu.

Bảng tra nhanh: ba thông báo và cách sửa

Python gọi các lỗi này là ValueError. Câu đầu của thông báo cho biết bên nào hỏng và hỏng kiểu gì:

Câu đầu của thông báo

Nguyên nhân

Cách sửa

Input X contains NaN.

ô trống trong feature

SimpleImputer trong pipeline, hoặc model nhận ô trống

Input X contains infinity or a value too large for dtype('float64').

chia cho 0, log(0)

sửa phép tính tạo cột, rồi coi ô đó là ô trống

Input y contains NaN.

nhãn trống

bỏ các dòng đó; không điền nhãn

Bước đầu luôn là đếm ô trống từng cột. File hội viên thô có ô trống ở hai cột feature và ở cả nhãn:

python
import pandas as pd

tho = pd.read_csv("hoi_vien_tho.csv")
so = tho.select_dtypes("number")
dem = so.isna().sum()
print(dem[dem > 0])

KẾT QUẢ

tuoi                        21
so_lan_dang_nhap_30_ngay    29
roi_bo                       3
dtype: int64

Đổi dem[dem > 0] thành dem[dem > 25] rồi chạy lại: dòng đầu in so_lan_dang_nhap_30_ngay 29, hai cột ít ô trống hơn bị lọc đi.

Cách soát chất lượng một bảng trước khi dùng có ở bài kiểm tra chất lượng dữ liệu.

Ô trống trong X: điền bằng SimpleImputer

Fit LogisticRegression trên ba cột số, sau khi đã bỏ ba dòng thiếu nhãn:

python
import pandas as pd
from sklearn.linear_model import LogisticRegression

tho = pd.read_csv("hoi_vien_tho.csv").dropna(subset=["roi_bo"])
cot = ["tuoi", "so_lan_dang_nhap_30_ngay", "so_don_90_ngay"]
try:
    LogisticRegression().fit(tho[cot], tho["roi_bo"])
except ValueError as loi:
    print(str(loi).splitlines()[0])
    print(str(loi).splitlines()[1][:61])

KẾT QUẢ

Input X contains NaN.
LogisticRegression does not accept missing values encoded as

Thông báo đầy đủ còn gợi ý hai hướng: điền ô trống bằng một bộ imputer, hoặc dùng HistGradientBoostingClassifier, model nhận ô trống sẵn. Đặt SimpleImputer làm bước đầu của pipeline, để giá trị điền vào được học trên dữ liệu train, không nhìn thấy test:

python
import pandas as pd
from sklearn.impute import SimpleImputer
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

tho = pd.read_csv("hoi_vien_tho.csv").dropna(subset=["roi_bo"])
cot = ["tuoi", "so_lan_dang_nhap_30_ngay", "so_don_90_ngay"]
pipe = make_pipeline(SimpleImputer(strategy="median"),
                     StandardScaler(), LogisticRegression())
pipe.fit(tho[cot], tho["roi_bo"])
print(pipe.named_steps["simpleimputer"].statistics_)

KẾT QUẢ

[31.  6.  2.]

Ba số là trung vị của từng cột, chính các giá trị sẽ điền vào ô trống, cả khi dự đoán dữ liệu mới. Trong ví dụ này pipeline fit trên cả file cho gọn; trong dự án thật, chia train và test trước rồi mới fit.

Ô vô cực: phép chia cho 0

Bạn muốn thêm cột "chi tiêu mỗi lần đăng nhập". Hội viên không đăng nhập lần nào trong 30 ngày mà vẫn có chi tiêu cho ra ô vô cực, còn hội viên không đăng nhập cũng không chi tiêu cho ra 0/0, một ô NaN:

python
import numpy as np
import pandas as pd

kh = pd.read_csv("hoi_vien.csv")
chi = kh["chi_tieu_90_ngay_nghin"] / kh["so_lan_dang_nhap_30_ngay"]
print(np.isinf(chi).sum(), chi.isna().sum())

KẾT QUẢ

30 14

pandas chia cho 0 mà không báo gì, nên cột hỏng chỉ lộ ra lúc fit, với câu Input X contains infinity or a value too large for dtype('float64'). SimpleImputer cũng dừng ở ô vô cực với đúng câu đó, vì nó chỉ biết điền ô trống. Cách sửa: quyết định giá trị đúng cho trường hợp không đăng nhập, chẳng hạn đổi ô vô cực thành ô trống bằng chi.replace([np.inf, -np.inf], np.nan) rồi để imputer điền, hoặc chia cho so_lan_dang_nhap_30_ngay + 1.

Model cây HistGradientBoostingClassifier nhận ô trống mà không cần imputer, vì nó học luôn nhánh cho ô trống. Cách dùng model đó có ở bài HistGradientBoosting.

Kiểm tra nhanh

  1. Pipeline có SimpleImputer ở bước đầu vẫn báo Input y contains NaN.. Vì sao?

    • SimpleImputer cần strategy="median" mới điền được
    • Bộ imputer chỉ điền X; nhãn trống phải bỏ dòng trước khi fit
    • Cột nhãn phải được chuẩn hóa trước
  2. Với import numpy as np và import pandas as pd, np.isinf(pd.Series([5.0]) / pd.Series([0.0])).sum() cho kết quả gì?

    • np.int64(1)
    • np.int64(0)
    • Báo lỗi ZeroDivisionError
  3. Những cách nào sửa đúng lỗi Input X contains NaN?

    • Đặt SimpleImputer làm bước đầu của pipeline
    • Dùng model nhận ô trống như HistGradientBoostingClassifier
    • fillna() bằng trung bình của cả bảng trước khi chia train và test
    • Đổi kiểu cột sang int
Đúng hết lần đầu +15 XP

Bài tập

Đếm ô hỏng của từng cột

X là một DataFrame toàn cột số, có thể có ô trống (NaN) và ô vô cực (dương hay âm). Viết thân hàm dem_o_hong(X) trả một dict: khóa là tên cột có ít nhất một ô hỏng, giá trị là số ô hỏng của cột đó, đếm cả ô trống lẫn ô vô cực. Cột không có ô hỏng nào thì không có trong dict.

Ví dụ: cột tuoi có một ô trống, cột chi_moi_lan có một ô inf và một ô -inf thì kết quả là {"tuoi": 1, "chi_moi_lan": 2}. Hàm không sửa bảng X của nơi gọi.

Trả về: số ô hỏng của từng cột hỏng, một dict.

python
import numpy as np
import pandas as pd

def dem_o_hong(X):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • Input X contains NaN là ô trống trong feature; Input y contains NaN là nhãn trống, bỏ dòng thay vì điền.

  • Đếm ô trống từng cột bằng isna().sum() trước khi fit.

  • SimpleImputer đặt đầu pipeline điền ô trống bằng giá trị học trên train.

  • Chia cho 0 trong pandas không báo lỗi mà sinh ô vô cực; tìm bằng np.isinf() và sửa phép tính tạo cột.

Câu hỏi thường gặp

Model nào của sklearn nhận ô trống mà không cần điền?

HistGradientBoostingClassifier và HistGradientBoostingRegressor học riêng một nhánh cho ô trống, nên fit được trên bảng còn NaN. Một số model cây khác của bản mới cũng nhận ô trống, nhưng model tuyến tính và KNN thì không. Xem bài HistGradientBoosting.

Nên điền bằng trung bình hay trung vị?

Cột lệch như chi tiêu hay số lần đăng nhập nên dùng trung vị, vì vài khách chi rất nhiều kéo trung bình lên xa giá trị thường gặp. SimpleImputer(strategy="median") làm việc đó; các chiến lược khác có ở bài SimpleImputer.

Vì sao fillna trên cả bảng trước khi chia lại sai?

Trung bình tính trên cả bảng có góp phần của các dòng test, nên một chút thông tin của test lọt vào lúc học. Đặt bộ imputer trong pipeline để nó chỉ học trên phần train, như ví dụ ở trên.

Chủ đề

input contains nan

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập