scipy ttest_ind() ra nan: ô trống và nan_policy="omit"
Bài 3/7 · Chương 13
Lỗi và hiểu sai thường gặp
- 7 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 11
ttest_ind() của scipy trả về nan khi một trong hai nhóm có ô trống (NaN), vì mặc định scipy để giá trị thiếu lan vào mọi phép tính. Tham số nan_policy cho bạn chọn cách khác: "omit" bỏ các ô trống rồi mới kiểm định, "raise" dừng chương trình bằng một lỗi để bạn biết dữ liệu chưa sạch.
Cần biết trước: kiểm định t hai mẫu, NaN trong NumPy và dữ liệu thiếu trong pandas.
Bảng tra nhanh: ba giá trị của nan_policy
Điểm kiểm tra của hai lớp có mỗi lớp một em vắng, ghi là np.nan. Ba dòng cuối gọi cùng một kiểm định Welch (equal_var=False) với ba giá trị của nan_policy:
import numpy as np
from scipy import stats
a = np.array([6.5, 7.0, np.nan, 8.0, 7.5, 6.0])
b = np.array([8.0, 7.5, 9.0, np.nan, 8.5, 9.5])
kq = stats.ttest_ind(a, b, equal_var=False)
print("propagate:", kq.statistic, kq.pvalue)
kq = stats.ttest_ind(a, b, equal_var=False, nan_policy="omit")
print("omit:", round(kq.statistic, 2), round(kq.pvalue, 3))
print(np.mean(a), np.nanmean(a))KẾT QUẢ
propagate: nan nan
omit: -3.0 0.017
nan 7.0
| Làm gì | Kết quả trên hai lớp |
|---|---|---|
| để | t và p đều |
| bỏ ô trống của từng nhóm rồi kiểm định | t = −3,0, p = 0,017 |
| báo lỗi ngay khi gặp ô trống |
Dòng cuối giải thích vì sao có nan: chỉ một ô thiếu đã đủ biến trung bình của cả lớp thành nan, còn np.nanmean() bỏ ô đó và cho 7,0. Kiểm định Welch và cách đọc t, p nằm ở bài kiểm định t hai mẫu, bài mẹ của trang này.
Đổi nan_policy="omit" thành nan_policy="propagate" rồi chạy lại: dòng omit: in nan nan.
Báo lỗi khi dữ liệu còn ô trống
Trong một báo cáo chạy mỗi tuần, nhận nan im lặng nguy hiểm hơn một lỗi: bảng kết quả có ô trống và không ai hỏi vì sao. nan_policy="raise" biến ô trống thành lỗi:
import numpy as np
from scipy import stats
a = np.array([6.5, 7.0, np.nan, 8.0, 7.5, 6.0])
b = np.array([8.0, 7.5, 9.0, np.nan, 8.5, 9.5])
stats.ttest_ind(a, b, equal_var=False, nan_policy="raise")
Dòng cuối của thông báo lỗi:
ValueError: The input contains nan values
Python gọi lỗi này là ValueError. Khi lỗi hiện ra, bạn quyết định một lần cho cả báo cáo: bỏ ô trống, hay quay lại hỏi vì sao dữ liệu thiếu.
Bỏ ô trống trước kiểm định: giống hệt omit
Với hai nhóm độc lập, "omit" làm đúng việc bạn tự làm được bằng pandas: bỏ ô trống của mỗi nhóm riêng. Hai cách cho cùng t và p:
import numpy as np
import pandas as pd
from scipy import stats
diem = pd.DataFrame({
"lop": ["10A1"] * 6 + ["10A2"] * 6,
"diem": [6.5, 7.0, np.nan, 8.0, 7.5, 6.0,
8.0, 7.5, 9.0, np.nan, 8.5, 9.5],
})
sach = diem.dropna(subset=["diem"])
a = sach.loc[sach["lop"] == "10A1", "diem"]
b = sach.loc[sach["lop"] == "10A2", "diem"]
kq = stats.ttest_ind(a, b, equal_var=False)
print(len(a), len(b), round(kq.statistic, 2), round(kq.pvalue, 3))KẾT QUẢ
5 5 -3.0 0.017Cách tự bỏ có một lợi thế: bạn in được số em thật sự vào phép kiểm (5 và 5), con số cần ghi cạnh p-value. dropna() có thêm nhiều tùy chọn ở bài dropna().
pearsonr() không có nan_policy: bỏ theo cặp
pearsonr() của scipy 1.18.0 cũng trả nan khi có ô trống, nhưng nó không nhận nan_policy:
import numpy as np
from scipy import stats
gio = np.array([2.0, 3.5, np.nan, 5.0, 1.5, 4.0, 3.0, 2.5])
diem = np.array([6.0, 7.5, 8.0, np.nan, 5.0, 7.0, 7.5, 5.5])
stats.pearsonr(gio, diem, nan_policy="omit")
Dòng cuối của thông báo lỗi:
TypeError: pearsonr() got an unexpected keyword argument 'nan_policy'
Python gọi lỗi này là TypeError. Tương quan đo trên từng cặp (giờ học, điểm) của cùng một em, nên phải bỏ cả cặp khi một trong hai ô trống. dropna() trên bảng hai cột làm đúng việc đó:
import numpy as np
import pandas as pd
from scipy import stats
bang = pd.DataFrame({
"gio": [2.0, 3.5, np.nan, 5.0, 1.5, 4.0, 3.0, 2.5],
"diem": [6.0, 7.5, 8.0, np.nan, 5.0, 7.0, 7.5, 5.5],
})
cap = bang.dropna()
r, p = stats.pearsonr(cap["gio"], cap["diem"])
print(len(cap), round(r, 2), round(p, 3))KẾT QUẢ
6 0.83 0.043Còn sáu cặp đủ cả hai số. Cách đọc r và p của phép kiểm này ở bài kiểm định hệ số tương quan.
Kiểm tra nhanh
Sau
import numpy as npvàfrom scipy import stats, lệnhprint(stats.ttest_ind([6.0, np.nan, 7.0], [8.0, 9.0, 8.5]).pvalue)in ra gì?0.0- Báo lỗi
ValueError nan
Hai nhóm độc lập, mỗi nhóm có một ô trống. Những cách nào cho cùng t và p?
ttest_ind(a, b, nan_policy="omit")- Bỏ ô trống của từng nhóm bằng
dropna()rồi gọittest_ind() - Điền
0vào ô trống rồi gọittest_ind() - Gọi
ttest_ind(a, b, nan_policy="raise")
Cột
giovà cộtdiemcủa cùng các em có ô trống ở hai dòng khác nhau. Cách nào đúng trước khi gọipearsonr()?- Bỏ ô trống của mỗi cột riêng
- Bỏ cả dòng có ô trống ở bất kỳ cột nào, như
bang.dropna() - Thêm
nan_policy="omit"vàopearsonr()
Bài tập
So hai lớp có em vắng thi bằng Welch
Viết hàm so_hai_lop(a, b) nhận điểm của hai lớp (mảng NumPy, em vắng ghi np.nan) và trả về p-value của kiểm định Welch hai phía (stats.ttest_ind() với equal_var=False), sau khi bỏ ô trống của từng lớp. Hai lớp độc lập và có thể khác sĩ số.
Hàm không sửa mảng a, b của nơi gọi. Ví dụ: [6.5, 7.0, nan, 8.0, 7.5, 6.0] và [8.0, 7.5, 9.0, nan, 8.5, 9.5] cho p khoảng 0,017.
Trả về: p-value, một float.
import numpy as np
from scipy import stats
def so_hai_lop(a, b):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
ttest_ind()rananvì mặc địnhnan_policy="propagate"để ô trống lan vào phép tính."omit"bỏ ô trống của từng nhóm;"raise"báoValueErrorkhi còn ô trống.Với hai nhóm độc lập,
"omit"cho đúng kết quả củadropna()từng nhóm.pearsonr()không cónan_policy; bỏ cả dòng bằngbang.dropna()để giữ đúng cặp.Đừng điền 0 vào ô trống trước kiểm định; ghi số quan sát thật cạnh p-value.
Câu hỏi thường gặp
Vì sao ttest_ind returns nan dù dữ liệu không có chữ nan?
Ô trống của file CSV, None trong list hay chuỗi rỗng đã đổi sang số đều thành NaN khi vào NumPy. Kiểm bằng np.isnan(a).sum() hay df["diem"].isna().sum(). Bài dữ liệu thiếu trong pandas nói các dạng ô trống.
Hàm nào khác của scipy.stats nhận nan_policy?
Hầu hết hàm kiểm định và mô tả: ttest_1samp(), ttest_rel(), mannwhitneyu(), describe(), skew(). Với dữ liệu cặp như ttest_rel(), "omit" bỏ cả cặp; vẫn nên tự dropna() để biết còn bao nhiêu cặp, như bài kiểm định t hai mẫu ghi số quan sát.
Bỏ ô trống có làm kết quả lệch không?
Có thể, khi ô trống không ngẫu nhiên: em vắng thi thường là em học yếu thì bỏ đi làm trung bình lớp cao lên. Kiểm định không biết điều đó. Ghi số ô bị bỏ của mỗi nhóm trong báo cáo, và hỏi vì sao dữ liệu thiếu trước khi kết luận.
Chủ đề
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.