Bỏ qua đến nội dung chính
Mục lục

MissingDataError: exog contains inf or nans (statsmodels)

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 6/7 · Chương 13

Lỗi và hiểu sai thường gặp

  • 6 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

"MissingDataError: exog contains inf or nans" là lỗi statsmodels báo khi bạn gọi sm.OLS() mà bảng biến giải thích (exog, phần X) còn ô trống NaN hay giá trị vô cực inf. Cách sửa nhanh nhất là truyền missing="drop" cho sm.OLS(), hay bỏ các dòng đó bằng dropna() trước khi fit().

Cần biết trước: suy diễn cho hồi quy, hồi quy đơn, NaN trong NumPy và dropna().

Bảng tra nhanh: MissingDataError và cách sửa

Bảng dưới ghi diện tích (m²) và giá bán (tỷ đồng) của 12 căn hộ tự đặt số; hai căn thiếu một ô. Hồi quy giá theo diện tích:

python
import numpy as np
import pandas as pd
import statsmodels.api as sm

can_ho = pd.DataFrame({
    "dien_tich": [45, 60, np.nan, 80, 52, 70, 95, 38, 66, 58, 74, 49],
    "gia": [1.9, 2.4, 3.0, 3.6, np.nan, 2.7, 4.4, 1.8, 3.1, 2.3, 3.0, 2.2],
})
X = sm.add_constant(can_ho["dien_tich"])
sm.OLS(can_ho["gia"], X).fit()

Dòng cuối của thông báo lỗi:

text
statsmodels.tools.sm_exceptions.MissingDataError: exog contains inf or nans

statsmodels gọi lỗi này là MissingDataError, một lớp ngoại lệ riêng của thư viện, đặt trong statsmodels.tools.sm_exceptions. "exog" là tên statsmodels đặt cho phần X, "endog" là phần y.

Dữ liệu

sm.OLS(y, X).fit()

Cách sửa

NaN trong X

MissingDataError

missing="drop" hay dropna() trước

inf trong X

MissingDataError, kể cả khi có missing="drop"

đổi inf thành NaN rồi bỏ dòng

NaN trong y

không báo lỗi, mọi hệ số thành nan

như dòng đầu

Gọi bằng công thức smf.ols("gia ~ dien_tich", data=...)

tự bỏ dòng có NaN

ghi số quan sát nobs cạnh kết quả

Mô hình mà sm.OLS() khớp là đường thẳng của bài hồi quy đơn:

yi=β0+β1xi+εiy_i = \beta_0 + \beta_1 x_i + \varepsilon_i

Trong đó:

  • yᵢ (can_ho["gia"]): giá của căn thứ i.

  • xᵢ (can_ho["dien_tich"]): diện tích của căn đó.

  • β₀ (mh.params["const"]): hệ số chặn, ứng với cột const mà add_constant() thêm vào.

  • β₁ (mh.params["dien_tich"]): hệ số góc.

  • εᵢ: phần sai lệch mà đường thẳng không giải thích được.

Mỗi dòng của bảng là một phương trình. Một ô NaN làm phương trình đó không tính được, và statsmodels dừng lại thay vì tự đoán nên bỏ dòng hay không.

missing="drop" và dropna() cho cùng kết quả

Truyền missing="drop" cho sm.OLS() thì statsmodels bỏ mọi dòng có NaN ở y hay X rồi mới khớp. Tự bỏ bằng dropna() trên hai cột cũng ra đúng hệ số đó:

python
import numpy as np
import pandas as pd
import statsmodels.api as sm

can_ho = pd.DataFrame({
    "dien_tich": [45, 60, np.nan, 80, 52, 70, 95, 38, 66, 58, 74, 49],
    "gia": [1.9, 2.4, 3.0, 3.6, np.nan, 2.7, 4.4, 1.8, 3.1, 2.3, 3.0, 2.2],
})
X = sm.add_constant(can_ho["dien_tich"])
mh = sm.OLS(can_ho["gia"], X, missing="drop").fit()
print(int(mh.nobs), round(mh.params["dien_tich"], 4))
sach = can_ho.dropna(subset=["dien_tich", "gia"])
mh2 = sm.OLS(sach["gia"], sm.add_constant(sach["dien_tich"])).fit()
print(int(mh2.nobs), round(mh2.params["dien_tich"], 4))

KẾT QUẢ

10 0.0453
10 0.0453

Còn 10 căn, hệ số góc 0,0453: mỗi m² thêm đi kèm giá cao hơn khoảng 45 triệu đồng trong 10 căn này. Luôn in nobs cạnh kết quả để người đọc biết mô hình dựa trên bao nhiêu dòng. Truyền missing="raise" thì statsmodels báo MissingDataError cả khi NaN chỉ nằm ở y.

inf không bị missing="drop" bỏ

inf thường đến từ một phép chia cho 0 lúc dựng cột mới, như giá trên m² của căn ghi nhầm diện tích 0. missing="drop" chỉ bỏ NaN, nên inf vẫn gây lỗi. Đổi inf thành NaN trước, rồi bỏ dòng:

python
import numpy as np
import pandas as pd
import statsmodels.api as sm

can_ho = pd.DataFrame({
    "dien_tich": [45, 60, np.inf, 80, 52, 70, 95, 38, 66, 58, 74, 49],
    "gia": [1.9, 2.4, 3.0, 3.6, 2.5, 2.7, 4.4, 1.8, 3.1, 2.3, 3.0, 2.2],
})
print(np.isinf(can_ho["dien_tich"]).sum(), can_ho["dien_tich"].isna().sum())
sach = can_ho.replace([np.inf, -np.inf], np.nan).dropna()
mh = sm.OLS(sach["gia"], sm.add_constant(sach["dien_tich"])).fit()
print(int(mh.nobs), round(mh.params["dien_tich"], 4))

KẾT QUẢ

1 0
11 0.0442

Dòng đầu cho thấy vì sao isna() không giúp được: cột có một inf nhưng không ô nào là NaN. Kiểm cả hai bằng np.isinf() và isna() trước khi hồi quy. Bỏ một căn còn 11 căn, hệ số góc 0,0442. Đổi 60, np.inf, 80 thành 60, np.nan, 80 rồi chạy lại: dòng đầu in 0 1.

Kiểm tra nhanh

  1. sm.OLS(y, X).fit() báo MissingDataError: exog contains inf or nans. Lỗi nằm ở đâu?

    • Ở cột y
    • Ở bảng X, gồm cả cột const và các biến giải thích
    • Ở phiên bản statsmodels
  2. Cột diện tích có một giá trị inf. Gọi sm.OLS(y, X, missing="drop").fit() thì sao?

    • Dòng có inf bị bỏ, mô hình chạy bình thường
    • Vẫn báo MissingDataError vì missing="drop" chỉ bỏ NaN
    • statsmodels đổi inf thành số lớn nhất của cột
  3. Cột y có hai ô NaN, X sạch. Gọi sm.OLS(y, X).fit() không có missing=. Kết quả là gì?

    • MissingDataError
    • Không báo lỗi, các hệ số là nan
    • statsmodels tự bỏ hai dòng đó
Đúng hết lần đầu +15 XP

Bài tập

Hệ số góc sau khi làm sạch NaN và inf

Viết hàm he_so_goc(df, x, y) nhận một DataFrame và tên hai cột, rồi trả về hệ số góc của hồi quy OLS y theo x có hệ số chặn (sm.add_constant()). Trước khi khớp, đổi inf và -inf thành NaN và bỏ dòng có NaN ở một trong hai cột này; cột khác của bảng có NaN thì kệ nó.

Hàm không sửa bảng df của nơi gọi. Ví dụ: bảng 12 căn hộ của trang, he_so_goc(can_ho, "dien_tich", "gia") cho khoảng 0,0453.

Trả về: hệ số góc, một float.

python
import numpy as np
import statsmodels.api as sm

def he_so_goc(df, x, y):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • MissingDataError: exog contains inf or nans nghĩa là X còn NaN hay inf.

  • missing="drop" bỏ dòng có NaN ở y hay X, cho cùng hệ số như dropna() trước.

  • inf không bị missing="drop" bỏ: đổi thành NaN bằng replace() trước.

  • NaN ở y không gây lỗi mà làm hệ số thành nan; kiểm cả hai phía.

  • Ghi số quan sát nobs cạnh kết quả hồi quy.

Câu hỏi thường gặp

Vì sao smf.ols() không báo MissingDataError còn sm.OLS() thì có?

Gọi bằng công thức (smf.ols("gia ~ dien_tich", data=can_ho)), statsmodels dựng X qua thư viện patsy, và patsy mặc định bỏ dòng có NaN. Cách gọi bằng mảng sm.OLS() thì không tự bỏ. Hai cách cho cùng hệ số khi cùng bỏ một số dòng; kiểm bằng nobs.

Có nên điền trung bình vào ô trống thay vì bỏ dòng không?

Điền trung bình giữ được số dòng nhưng kéo các điểm về giữa, làm sai số chuẩn nhỏ hơn thật và p-value nhỏ hơn thật. Với vài ô trống, bỏ dòng là cách đơn giản và trung thực; ghi số dòng bị bỏ trong báo cáo. Bài suy diễn cho hồi quy nói cách đọc sai số chuẩn và p-value của hệ số.

MissingDataError có kế thừa ValueError không?

Không. Trong statsmodels 0.14.6, MissingDataError kế thừa thẳng Exception, nên except ValueError: không bắt được nó. Bắt đúng tên lớp, hoặc tốt hơn là làm sạch dữ liệu để lỗi không xảy ra.

Chủ đề

exog contains inf or nans

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập