Bỏ qua đến nội dung chính
Mục lục

scipy ttest_ind() ra nan: ô trống và nan_policy="omit"

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 3/7 · Chương 13

Lỗi và hiểu sai thường gặp

  • 7 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

ttest_ind() của scipy trả về nan khi một trong hai nhóm có ô trống (NaN), vì mặc định scipy để giá trị thiếu lan vào mọi phép tính. Tham số nan_policy cho bạn chọn cách khác: "omit" bỏ các ô trống rồi mới kiểm định, "raise" dừng chương trình bằng một lỗi để bạn biết dữ liệu chưa sạch.

Cần biết trước: kiểm định t hai mẫu, NaN trong NumPy và dữ liệu thiếu trong pandas.

Bảng tra nhanh: ba giá trị của nan_policy

Điểm kiểm tra của hai lớp có mỗi lớp một em vắng, ghi là np.nan. Ba dòng cuối gọi cùng một kiểm định Welch (equal_var=False) với ba giá trị của nan_policy:

python
import numpy as np
from scipy import stats

a = np.array([6.5, 7.0, np.nan, 8.0, 7.5, 6.0])
b = np.array([8.0, 7.5, 9.0, np.nan, 8.5, 9.5])
kq = stats.ttest_ind(a, b, equal_var=False)
print("propagate:", kq.statistic, kq.pvalue)
kq = stats.ttest_ind(a, b, equal_var=False, nan_policy="omit")
print("omit:", round(kq.statistic, 2), round(kq.pvalue, 3))
print(np.mean(a), np.nanmean(a))

KẾT QUẢ

propagate: nan nan
omit: -3.0 0.017
nan 7.0

nan_policy=

Làm gì

Kết quả trên hai lớp

"propagate" (mặc định)

để nan lan vào phép tính

t và p đều nan

"omit"

bỏ ô trống của từng nhóm rồi kiểm định

t = −3,0, p = 0,017

"raise"

báo lỗi ngay khi gặp ô trống

ValueError

Dòng cuối giải thích vì sao có nan: chỉ một ô thiếu đã đủ biến trung bình của cả lớp thành nan, còn np.nanmean() bỏ ô đó và cho 7,0. Kiểm định Welch và cách đọc t, p nằm ở bài kiểm định t hai mẫu, bài mẹ của trang này.

Đổi nan_policy="omit" thành nan_policy="propagate" rồi chạy lại: dòng omit: in nan nan.

Báo lỗi khi dữ liệu còn ô trống

Trong một báo cáo chạy mỗi tuần, nhận nan im lặng nguy hiểm hơn một lỗi: bảng kết quả có ô trống và không ai hỏi vì sao. nan_policy="raise" biến ô trống thành lỗi:

python
import numpy as np
from scipy import stats

a = np.array([6.5, 7.0, np.nan, 8.0, 7.5, 6.0])
b = np.array([8.0, 7.5, 9.0, np.nan, 8.5, 9.5])
stats.ttest_ind(a, b, equal_var=False, nan_policy="raise")

Dòng cuối của thông báo lỗi:

text
ValueError: The input contains nan values

Python gọi lỗi này là ValueError. Khi lỗi hiện ra, bạn quyết định một lần cho cả báo cáo: bỏ ô trống, hay quay lại hỏi vì sao dữ liệu thiếu.

Bỏ ô trống trước kiểm định: giống hệt omit

Với hai nhóm độc lập, "omit" làm đúng việc bạn tự làm được bằng pandas: bỏ ô trống của mỗi nhóm riêng. Hai cách cho cùng t và p:

python
import numpy as np
import pandas as pd
from scipy import stats

diem = pd.DataFrame({
    "lop": ["10A1"] * 6 + ["10A2"] * 6,
    "diem": [6.5, 7.0, np.nan, 8.0, 7.5, 6.0,
             8.0, 7.5, 9.0, np.nan, 8.5, 9.5],
})
sach = diem.dropna(subset=["diem"])
a = sach.loc[sach["lop"] == "10A1", "diem"]
b = sach.loc[sach["lop"] == "10A2", "diem"]
kq = stats.ttest_ind(a, b, equal_var=False)
print(len(a), len(b), round(kq.statistic, 2), round(kq.pvalue, 3))

KẾT QUẢ

5 5 -3.0 0.017

Cách tự bỏ có một lợi thế: bạn in được số em thật sự vào phép kiểm (5 và 5), con số cần ghi cạnh p-value. dropna() có thêm nhiều tùy chọn ở bài dropna().

pearsonr() không có nan_policy: bỏ theo cặp

pearsonr() của scipy 1.18.0 cũng trả nan khi có ô trống, nhưng nó không nhận nan_policy:

python
import numpy as np
from scipy import stats

gio = np.array([2.0, 3.5, np.nan, 5.0, 1.5, 4.0, 3.0, 2.5])
diem = np.array([6.0, 7.5, 8.0, np.nan, 5.0, 7.0, 7.5, 5.5])
stats.pearsonr(gio, diem, nan_policy="omit")

Dòng cuối của thông báo lỗi:

text
TypeError: pearsonr() got an unexpected keyword argument 'nan_policy'

Python gọi lỗi này là TypeError. Tương quan đo trên từng cặp (giờ học, điểm) của cùng một em, nên phải bỏ cả cặp khi một trong hai ô trống. dropna() trên bảng hai cột làm đúng việc đó:

python
import numpy as np
import pandas as pd
from scipy import stats

bang = pd.DataFrame({
    "gio": [2.0, 3.5, np.nan, 5.0, 1.5, 4.0, 3.0, 2.5],
    "diem": [6.0, 7.5, 8.0, np.nan, 5.0, 7.0, 7.5, 5.5],
})
cap = bang.dropna()
r, p = stats.pearsonr(cap["gio"], cap["diem"])
print(len(cap), round(r, 2), round(p, 3))

KẾT QUẢ

6 0.83 0.043

Còn sáu cặp đủ cả hai số. Cách đọc r và p của phép kiểm này ở bài kiểm định hệ số tương quan.

Kiểm tra nhanh

  1. Sau import numpy as np và from scipy import stats, lệnh print(stats.ttest_ind([6.0, np.nan, 7.0], [8.0, 9.0, 8.5]).pvalue) in ra gì?

    • 0.0
    • Báo lỗi ValueError
    • nan
  2. Hai nhóm độc lập, mỗi nhóm có một ô trống. Những cách nào cho cùng t và p?

    • ttest_ind(a, b, nan_policy="omit")
    • Bỏ ô trống của từng nhóm bằng dropna() rồi gọi ttest_ind()
    • Điền 0 vào ô trống rồi gọi ttest_ind()
    • Gọi ttest_ind(a, b, nan_policy="raise")
  3. Cột gio và cột diem của cùng các em có ô trống ở hai dòng khác nhau. Cách nào đúng trước khi gọi pearsonr()?

    • Bỏ ô trống của mỗi cột riêng
    • Bỏ cả dòng có ô trống ở bất kỳ cột nào, như bang.dropna()
    • Thêm nan_policy="omit" vào pearsonr()
Đúng hết lần đầu +15 XP

Bài tập

So hai lớp có em vắng thi bằng Welch

Viết hàm so_hai_lop(a, b) nhận điểm của hai lớp (mảng NumPy, em vắng ghi np.nan) và trả về p-value của kiểm định Welch hai phía (stats.ttest_ind() với equal_var=False), sau khi bỏ ô trống của từng lớp. Hai lớp độc lập và có thể khác sĩ số.

Hàm không sửa mảng a, b của nơi gọi. Ví dụ: [6.5, 7.0, nan, 8.0, 7.5, 6.0] và [8.0, 7.5, 9.0, nan, 8.5, 9.5] cho p khoảng 0,017.

Trả về: p-value, một float.

python
import numpy as np
from scipy import stats

def so_hai_lop(a, b):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • ttest_ind() ra nan vì mặc định nan_policy="propagate" để ô trống lan vào phép tính.

  • "omit" bỏ ô trống của từng nhóm; "raise" báo ValueError khi còn ô trống.

  • Với hai nhóm độc lập, "omit" cho đúng kết quả của dropna() từng nhóm.

  • pearsonr() không có nan_policy; bỏ cả dòng bằng bang.dropna() để giữ đúng cặp.

  • Đừng điền 0 vào ô trống trước kiểm định; ghi số quan sát thật cạnh p-value.

Câu hỏi thường gặp

Vì sao ttest_ind returns nan dù dữ liệu không có chữ nan?

Ô trống của file CSV, None trong list hay chuỗi rỗng đã đổi sang số đều thành NaN khi vào NumPy. Kiểm bằng np.isnan(a).sum() hay df["diem"].isna().sum(). Bài dữ liệu thiếu trong pandas nói các dạng ô trống.

Hàm nào khác của scipy.stats nhận nan_policy?

Hầu hết hàm kiểm định và mô tả: ttest_1samp(), ttest_rel(), mannwhitneyu(), describe(), skew(). Với dữ liệu cặp như ttest_rel(), "omit" bỏ cả cặp; vẫn nên tự dropna() để biết còn bao nhiêu cặp, như bài kiểm định t hai mẫu ghi số quan sát.

Bỏ ô trống có làm kết quả lệch không?

Có thể, khi ô trống không ngẫu nhiên: em vắng thi thường là em học yếu thì bỏ đi làm trung bình lớp cao lên. Kiểm định không biết điều đó. Ghi số ô bị bỏ của mỗi nhóm trong báo cáo, và hỏi vì sao dữ liệu thiếu trước khi kết luận.

Chủ đề

scipy ttest nan

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập