MissingDataError: exog contains inf or nans (statsmodels)
Bài 6/7 · Chương 13
Lỗi và hiểu sai thường gặp
- 6 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 10
"MissingDataError: exog contains inf or nans" là lỗi statsmodels báo khi bạn gọi sm.OLS() mà bảng biến giải thích (exog, phần X) còn ô trống NaN hay giá trị vô cực inf. Cách sửa nhanh nhất là truyền missing="drop" cho sm.OLS(), hay bỏ các dòng đó bằng dropna() trước khi fit().
Cần biết trước: suy diễn cho hồi quy, hồi quy đơn, NaN trong NumPy và dropna().
Bảng tra nhanh: MissingDataError và cách sửa
Bảng dưới ghi diện tích (m²) và giá bán (tỷ đồng) của 12 căn hộ tự đặt số; hai căn thiếu một ô. Hồi quy giá theo diện tích:
import numpy as np
import pandas as pd
import statsmodels.api as sm
can_ho = pd.DataFrame({
"dien_tich": [45, 60, np.nan, 80, 52, 70, 95, 38, 66, 58, 74, 49],
"gia": [1.9, 2.4, 3.0, 3.6, np.nan, 2.7, 4.4, 1.8, 3.1, 2.3, 3.0, 2.2],
})
X = sm.add_constant(can_ho["dien_tich"])
sm.OLS(can_ho["gia"], X).fit()
Dòng cuối của thông báo lỗi:
statsmodels.tools.sm_exceptions.MissingDataError: exog contains inf or nans
statsmodels gọi lỗi này là MissingDataError, một lớp ngoại lệ riêng của thư viện, đặt trong statsmodels.tools.sm_exceptions. "exog" là tên statsmodels đặt cho phần X, "endog" là phần y.
Dữ liệu |
| Cách sửa |
|---|---|---|
|
|
|
|
| đổi |
| không báo lỗi, mọi hệ số thành | như dòng đầu |
Gọi bằng công thức | tự bỏ dòng có | ghi số quan sát |
Mô hình mà sm.OLS() khớp là đường thẳng của bài hồi quy đơn:
Trong đó:
yᵢ (
can_ho["gia"]): giá của căn thứ i.xᵢ (
can_ho["dien_tich"]): diện tích của căn đó.β₀ (
mh.params["const"]): hệ số chặn, ứng với cộtconstmàadd_constant()thêm vào.β₁ (
mh.params["dien_tich"]): hệ số góc.εᵢ: phần sai lệch mà đường thẳng không giải thích được.
Mỗi dòng của bảng là một phương trình. Một ô NaN làm phương trình đó không tính được, và statsmodels dừng lại thay vì tự đoán nên bỏ dòng hay không.
missing="drop" và dropna() cho cùng kết quả
Truyền missing="drop" cho sm.OLS() thì statsmodels bỏ mọi dòng có NaN ở y hay X rồi mới khớp. Tự bỏ bằng dropna() trên hai cột cũng ra đúng hệ số đó:
import numpy as np
import pandas as pd
import statsmodels.api as sm
can_ho = pd.DataFrame({
"dien_tich": [45, 60, np.nan, 80, 52, 70, 95, 38, 66, 58, 74, 49],
"gia": [1.9, 2.4, 3.0, 3.6, np.nan, 2.7, 4.4, 1.8, 3.1, 2.3, 3.0, 2.2],
})
X = sm.add_constant(can_ho["dien_tich"])
mh = sm.OLS(can_ho["gia"], X, missing="drop").fit()
print(int(mh.nobs), round(mh.params["dien_tich"], 4))
sach = can_ho.dropna(subset=["dien_tich", "gia"])
mh2 = sm.OLS(sach["gia"], sm.add_constant(sach["dien_tich"])).fit()
print(int(mh2.nobs), round(mh2.params["dien_tich"], 4))KẾT QUẢ
10 0.0453
10 0.0453Còn 10 căn, hệ số góc 0,0453: mỗi m² thêm đi kèm giá cao hơn khoảng 45 triệu đồng trong 10 căn này. Luôn in nobs cạnh kết quả để người đọc biết mô hình dựa trên bao nhiêu dòng. Truyền missing="raise" thì statsmodels báo MissingDataError cả khi NaN chỉ nằm ở y.
inf không bị missing="drop" bỏ
inf thường đến từ một phép chia cho 0 lúc dựng cột mới, như giá trên m² của căn ghi nhầm diện tích 0. missing="drop" chỉ bỏ NaN, nên inf vẫn gây lỗi. Đổi inf thành NaN trước, rồi bỏ dòng:
import numpy as np
import pandas as pd
import statsmodels.api as sm
can_ho = pd.DataFrame({
"dien_tich": [45, 60, np.inf, 80, 52, 70, 95, 38, 66, 58, 74, 49],
"gia": [1.9, 2.4, 3.0, 3.6, 2.5, 2.7, 4.4, 1.8, 3.1, 2.3, 3.0, 2.2],
})
print(np.isinf(can_ho["dien_tich"]).sum(), can_ho["dien_tich"].isna().sum())
sach = can_ho.replace([np.inf, -np.inf], np.nan).dropna()
mh = sm.OLS(sach["gia"], sm.add_constant(sach["dien_tich"])).fit()
print(int(mh.nobs), round(mh.params["dien_tich"], 4))KẾT QUẢ
1 0
11 0.0442Dòng đầu cho thấy vì sao isna() không giúp được: cột có một inf nhưng không ô nào là NaN. Kiểm cả hai bằng np.isinf() và isna() trước khi hồi quy. Bỏ một căn còn 11 căn, hệ số góc 0,0442. Đổi 60, np.inf, 80 thành 60, np.nan, 80 rồi chạy lại: dòng đầu in 0 1.
Kiểm tra nhanh
sm.OLS(y, X).fit()báo MissingDataError: exog contains inf or nans. Lỗi nằm ở đâu?- Ở cột y
- Ở bảng X, gồm cả cột
constvà các biến giải thích - Ở phiên bản statsmodels
Cột diện tích có một giá trị
inf. Gọism.OLS(y, X, missing="drop").fit()thì sao?- Dòng có
infbị bỏ, mô hình chạy bình thường - Vẫn báo MissingDataError vì
missing="drop"chỉ bỏNaN - statsmodels đổi
infthành số lớn nhất của cột
- Dòng có
Cột y có hai ô
NaN, X sạch. Gọism.OLS(y, X).fit()không cómissing=. Kết quả là gì?- MissingDataError
- Không báo lỗi, các hệ số là
nan - statsmodels tự bỏ hai dòng đó
Bài tập
Hệ số góc sau khi làm sạch NaN và inf
Viết hàm he_so_goc(df, x, y) nhận một DataFrame và tên hai cột, rồi trả về hệ số góc của hồi quy OLS y theo x có hệ số chặn (sm.add_constant()). Trước khi khớp, đổi inf và -inf thành NaN và bỏ dòng có NaN ở một trong hai cột này; cột khác của bảng có NaN thì kệ nó.
Hàm không sửa bảng df của nơi gọi. Ví dụ: bảng 12 căn hộ của trang, he_so_goc(can_ho, "dien_tich", "gia") cho khoảng 0,0453.
Trả về: hệ số góc, một float.
import numpy as np
import statsmodels.api as sm
def he_so_goc(df, x, y):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
MissingDataError: exog contains inf or nans nghĩa là X còn
NaNhayinf.missing="drop"bỏ dòng cóNaNở y hay X, cho cùng hệ số nhưdropna()trước.infkhông bịmissing="drop"bỏ: đổi thànhNaNbằngreplace()trước.NaNở y không gây lỗi mà làm hệ số thànhnan; kiểm cả hai phía.Ghi số quan sát
nobscạnh kết quả hồi quy.
Câu hỏi thường gặp
Vì sao smf.ols() không báo MissingDataError còn sm.OLS() thì có?
Gọi bằng công thức (smf.ols("gia ~ dien_tich", data=can_ho)), statsmodels dựng X qua thư viện patsy, và patsy mặc định bỏ dòng có NaN. Cách gọi bằng mảng sm.OLS() thì không tự bỏ. Hai cách cho cùng hệ số khi cùng bỏ một số dòng; kiểm bằng nobs.
Có nên điền trung bình vào ô trống thay vì bỏ dòng không?
Điền trung bình giữ được số dòng nhưng kéo các điểm về giữa, làm sai số chuẩn nhỏ hơn thật và p-value nhỏ hơn thật. Với vài ô trống, bỏ dòng là cách đơn giản và trung thực; ghi số dòng bị bỏ trong báo cáo. Bài suy diễn cho hồi quy nói cách đọc sai số chuẩn và p-value của hệ số.
MissingDataError có kế thừa ValueError không?
Không. Trong statsmodels 0.14.6, MissingDataError kế thừa thẳng Exception, nên except ValueError: không bắt được nó. Bắt đúng tên lớp, hoặc tốt hơn là làm sạch dữ liệu để lỗi không xảy ra.
Chủ đề
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.