Precision loss occurred in moment calculation (scipy)
Bài 2/7 · Chương 13
Lỗi và hiểu sai thường gặp
- 8 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 10
Precision loss occurred in moment calculation là cảnh báo RuntimeWarning mà scipy.stats in ra khi dữ liệu gần như giống hệt nhau, nên phép tính độ lệch chuẩn bên trong kiểm định không còn tin được. Bạn hay gặp nó khi gọi ttest_1samp() trên một mẫu mà mọi giá trị bằng nhau, và kết quả đi kèm thường là nan hay inf.
Cần biết trước: kiểm định t một mẫu, cảnh báo trong Python và mảng NumPy.
Bảng tra nhanh: cảnh báo Precision loss và cách xử lý
Một xưởng đóng gói cà phê cân năm gói bằng cân làm tròn tới gram, và cả năm gói đều ra 500 g. Kiểm định t một mẫu so trung bình với 500 g cho ra cảnh báo dưới đây. Cảnh báo không dừng chương trình, nên khối code bắt nó lại và in tên lớp cùng câu đầu:
import warnings
import numpy as np
from scipy import stats
goi = np.array([500.0, 500.0, 500.0, 500.0, 500.0])
with warnings.catch_warnings(record=True) as bat:
warnings.simplefilter("always")
kq = stats.ttest_1samp(goi, popmean=500)
print(bat[0].category.__name__)
print(str(bat[0].message).split(". ")[0] + ".")
print(kq.statistic, kq.pvalue)KẾT QUẢ
RuntimeWarning
Precision loss occurred in moment calculation due to catastrophic cancellation.
nan nanCâu đầy đủ của scipy 1.18.0 còn hai câu nữa: "This occurs when the data are nearly identical. Results may be unreliable." Tức là dữ liệu gần như giống hệt nhau và kết quả có thể không đáng tin.
Tình huống | Kết quả | Cách xử lý |
|---|---|---|
Mọi giá trị bằng nhau và bằng giá trị so sánh | t và p đều | Kiểm |
Mọi giá trị bằng nhau, khác giá trị so sánh | t là | Như trên; p = 0 ở đây không phải bằng chứng |
Số rất lớn chỉ khác nhau ở vài chữ số cuối | t lệch so với giá trị đúng, kèm cảnh báo | Trừ một mốc chung khỏi dãy và khỏi giá trị so sánh |
Kiểm định t chia hiệu trung bình cho s / √n. Khi mọi giá trị bằng nhau thì s bằng 0, và phép chia đó không có nghĩa. Bài kiểm định t một mẫu, bài mẹ của trang này, dạy công thức và cách đọc kết quả.
Mẫu không đổi: p = 0 không phải bằng chứng
Đổi giá trị so sánh thành 498 g thì scipy không trả nan nữa mà trả t vô cực và p bằng 0. Đọc vội, đó là một kết quả "có ý nghĩa thống kê" rất mạnh:
import warnings
import numpy as np
from scipy import stats
goi = np.array([500.0, 500.0, 500.0, 500.0, 500.0])
with warnings.catch_warnings(record=True) as bat:
warnings.simplefilter("always")
kq = stats.ttest_1samp(goi, popmean=498)
print(len(bat), kq.statistic, kq.pvalue)
print(np.ptp(goi), np.std(goi, ddof=1))KẾT QUẢ
1 inf 0.0
0.0 0.0Dòng thứ hai cho thấy gốc của chuyện: khoảng biến thiên np.ptp() và độ lệch chuẩn mẫu đều bằng 0. Năm số giống hệt nhau thường nói về cái cân hơn là về gói cà phê: cân làm tròn tới gram thì mọi gói từ 499,5 g tới dưới 500,5 g đều in 500. Kiểm định t giả định dữ liệu đo liên tục, nên ở đây nó không trả lời được câu hỏi nào.
Cách xử lý là kiểm trước khi gọi scipy:
import numpy as np
from scipy import stats
goi = np.array([500.0, 500.0, 500.0, 500.0, 500.0])
if np.ptp(goi) == 0:
print("Mọi gói cùng một số, không cần kiểm định t")
else:
print(round(stats.ttest_1samp(goi, popmean=500).pvalue, 3))KẾT QUẢ
Mọi gói cùng một số, không cần kiểm định tĐổi 500.0, 500.0, 500.0, 500.0, 500.0 thành 500.0, 502.0, 499.0, 501.0, 503.0 rồi chạy lại: chương trình in 0.23 thay cho câu báo dãy không đổi.
Số rất lớn lệch nhau rất ít
Cảnh báo cũng xuất hiện khi các giá trị khác nhau thật, nhưng chỉ ở vài chữ số cuối của một số rất lớn, như mốc thời gian tính bằng nano giây. Số thực của máy giữ khoảng 15 đến 16 chữ số có nghĩa, nên khi trừ trung bình, phần chênh nhỏ bị mất gần hết (catastrophic cancellation). Trừ một mốc chung trước khi tính thì không mất gì:
import warnings
import numpy as np
from scipy import stats
moc = 1e15
x = moc + np.array([2.0, 3.0, 1.0, 4.0, 2.5])
with warnings.catch_warnings(record=True) as bat:
warnings.simplefilter("always")
t_tho = stats.ttest_1samp(x, popmean=moc + 1).statistic
t_tru = stats.ttest_1samp(x - moc, popmean=1).statistic
print(len(bat), round(t_tho, 2), round(t_tru, 2))KẾT QUẢ
1 2.73 3.0Trên dãy thô, t là 2,73 kèm một cảnh báo; trên dãy đã trừ mốc, t là 3,0, đúng con số của năm giá trị 2; 3; 1; 4; 2,5 so với 1. Trừ cùng một số khỏi dữ liệu và khỏi giá trị so sánh không đổi hiệu trung bình hay độ lệch chuẩn, nên thống kê t giữ nguyên ý nghĩa. Mốc tiện nhất là giá trị đầu của dãy, x[0].
Kiểm tra nhanh
Sau
from scipy import stats, lệnhprint(stats.ttest_1samp([7.0, 7.0, 7.0], popmean=7).pvalue)in ra gì?0.0nan1.0
Năm gói cà phê đều cân ra 500 g, và
ttest_1samp(goi, popmean=498)cho t vô cực, p bằng 0. Những câu nào đúng?- Độ lệch chuẩn mẫu của năm gói bằng 0, nên phép chia của thống kê t không có nghĩa
- p bằng 0 là bằng chứng rất mạnh rằng trung bình khác 498 g
- Nên kiểm
np.ptp(goi) == 0trước khi gọi kiểm định - Tắt cảnh báo bằng
filterwarnings("ignore")là cách sửa đúng
Trong ví dụ số rất lớn, vì sao
ttest_1samp(x - moc, popmean=1)cho t đúng còn dãy thô thì không?- Vì scipy chỉ nhận số nhỏ hơn 1.000
- Vì trừ mốc làm hiệu trung bình lớn hơn
- Vì trừ mốc trước giữ lại các chữ số cuối mà phép trừ trung bình trên số rất lớn làm mất
Bài tập
Kiểm định t một mẫu không bị cảnh báo
Viết hàm p_value_mot_mau(x, mu) trả về p-value hai phía của kiểm định t một mẫu so trung bình của x với mu, gọi stats.ttest_1samp().
Dãy mà mọi giá trị bằng nhau thì không kiểm định: trả
math.nan.Còn lại, trừ giá trị đầu của
xkhỏi cả dãy và khỏimutrước khi gọi scipy.
Hàm không sửa mảng x của nơi gọi. Ví dụ: năm gói [500.0, 502.0, 499.0, 501.0, 503.0] so với 500 cho p khoảng 0,23.
Trả về: p-value, một float.
import math
import numpy as np
from scipy import stats
def p_value_mot_mau(x, mu):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Cảnh báo này nghĩa là dữ liệu gần như giống hệt nhau, và s tính ra có thể không đáng tin.
Mọi giá trị bằng nhau:
ttest_1samp()trảnankhi trùng giá trị so sánh,infvà p = 0 khi khác.p = 0 từ một mẫu không đổi không phải bằng chứng; kiểm
np.ptp(x) == 0trước.Số rất lớn lệch nhau ít: trừ một mốc chung khỏi dữ liệu và khỏi giá trị so sánh.
Đừng tắt cảnh báo bằng
filterwarnings("ignore"); nó giấu đúng thứ bạn cần thấy.
Câu hỏi thường gặp
Catastrophic cancellation trong scipy là gì?
Là việc mất gần hết chữ số có nghĩa khi trừ hai số rất gần nhau, như trừ trung bình khỏi các giá trị cỡ 10¹⁵ chỉ khác nhau vài đơn vị. scipy phát hiện điều đó và in cảnh báo Precision loss. Trừ một mốc chung trước khi tính là cách tránh, như ví dụ số rất lớn ở trên.
ttest_ind() và ttest_rel() có báo cảnh báo này không?
Có. ttest_rel() báo khi mọi hiệu của các cặp bằng nhau, như một nhiệt kế luôn lệch đúng 1 độ; ttest_ind() báo khi cả hai nhóm không đổi. Bài kiểm định t hai mẫu nói các giả định của phép kiểm đó; cách xử lý ở trang này áp được nguyên.
Có nên làm tròn dữ liệu trước khi kiểm định không?
Không nên làm tròn thô hơn độ phân giải của phép đo. Làm tròn tới gram năm gói cà phê lệch nhau vài phần gram cho năm số 500 giống hệt, tức đúng một mẫu không đổi. Giữ số đo gốc, chỉ làm tròn khi in kết quả, như bài kiểm định t một mẫu làm.
Chủ đề
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.