Bỏ qua đến nội dung chính
Mục lục

Precision loss occurred in moment calculation (scipy)

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 2/7 · Chương 13

Lỗi và hiểu sai thường gặp

  • 8 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Precision loss occurred in moment calculation là cảnh báo RuntimeWarning mà scipy.stats in ra khi dữ liệu gần như giống hệt nhau, nên phép tính độ lệch chuẩn bên trong kiểm định không còn tin được. Bạn hay gặp nó khi gọi ttest_1samp() trên một mẫu mà mọi giá trị bằng nhau, và kết quả đi kèm thường là nan hay inf.

Cần biết trước: kiểm định t một mẫu, cảnh báo trong Python và mảng NumPy.

Bảng tra nhanh: cảnh báo Precision loss và cách xử lý

Một xưởng đóng gói cà phê cân năm gói bằng cân làm tròn tới gram, và cả năm gói đều ra 500 g. Kiểm định t một mẫu so trung bình với 500 g cho ra cảnh báo dưới đây. Cảnh báo không dừng chương trình, nên khối code bắt nó lại và in tên lớp cùng câu đầu:

python
import warnings

import numpy as np
from scipy import stats

goi = np.array([500.0, 500.0, 500.0, 500.0, 500.0])
with warnings.catch_warnings(record=True) as bat:
    warnings.simplefilter("always")
    kq = stats.ttest_1samp(goi, popmean=500)
print(bat[0].category.__name__)
print(str(bat[0].message).split(". ")[0] + ".")
print(kq.statistic, kq.pvalue)

KẾT QUẢ

RuntimeWarning
Precision loss occurred in moment calculation due to catastrophic cancellation.
nan nan

Câu đầy đủ của scipy 1.18.0 còn hai câu nữa: "This occurs when the data are nearly identical. Results may be unreliable." Tức là dữ liệu gần như giống hệt nhau và kết quả có thể không đáng tin.

Tình huống

Kết quả ttest_1samp()

Cách xử lý

Mọi giá trị bằng nhau và bằng giá trị so sánh

t và p đều nan, kèm cảnh báo

Kiểm np.ptp(x) == 0 trước, không chạy kiểm định

Mọi giá trị bằng nhau, khác giá trị so sánh

t là inf, p là 0.0, kèm cảnh báo

Như trên; p = 0 ở đây không phải bằng chứng

Số rất lớn chỉ khác nhau ở vài chữ số cuối

t lệch so với giá trị đúng, kèm cảnh báo

Trừ một mốc chung khỏi dãy và khỏi giá trị so sánh

Kiểm định t chia hiệu trung bình cho s / √n. Khi mọi giá trị bằng nhau thì s bằng 0, và phép chia đó không có nghĩa. Bài kiểm định t một mẫu, bài mẹ của trang này, dạy công thức và cách đọc kết quả.

Mẫu không đổi: p = 0 không phải bằng chứng

Đổi giá trị so sánh thành 498 g thì scipy không trả nan nữa mà trả t vô cực và p bằng 0. Đọc vội, đó là một kết quả "có ý nghĩa thống kê" rất mạnh:

python
import warnings

import numpy as np
from scipy import stats

goi = np.array([500.0, 500.0, 500.0, 500.0, 500.0])
with warnings.catch_warnings(record=True) as bat:
    warnings.simplefilter("always")
    kq = stats.ttest_1samp(goi, popmean=498)
print(len(bat), kq.statistic, kq.pvalue)
print(np.ptp(goi), np.std(goi, ddof=1))

KẾT QUẢ

1 inf 0.0
0.0 0.0

Dòng thứ hai cho thấy gốc của chuyện: khoảng biến thiên np.ptp() và độ lệch chuẩn mẫu đều bằng 0. Năm số giống hệt nhau thường nói về cái cân hơn là về gói cà phê: cân làm tròn tới gram thì mọi gói từ 499,5 g tới dưới 500,5 g đều in 500. Kiểm định t giả định dữ liệu đo liên tục, nên ở đây nó không trả lời được câu hỏi nào.

Cách xử lý là kiểm trước khi gọi scipy:

python
import numpy as np
from scipy import stats

goi = np.array([500.0, 500.0, 500.0, 500.0, 500.0])
if np.ptp(goi) == 0:
    print("Mọi gói cùng một số, không cần kiểm định t")
else:
    print(round(stats.ttest_1samp(goi, popmean=500).pvalue, 3))

KẾT QUẢ

Mọi gói cùng một số, không cần kiểm định t

Đổi 500.0, 500.0, 500.0, 500.0, 500.0 thành 500.0, 502.0, 499.0, 501.0, 503.0 rồi chạy lại: chương trình in 0.23 thay cho câu báo dãy không đổi.

Số rất lớn lệch nhau rất ít

Cảnh báo cũng xuất hiện khi các giá trị khác nhau thật, nhưng chỉ ở vài chữ số cuối của một số rất lớn, như mốc thời gian tính bằng nano giây. Số thực của máy giữ khoảng 15 đến 16 chữ số có nghĩa, nên khi trừ trung bình, phần chênh nhỏ bị mất gần hết (catastrophic cancellation). Trừ một mốc chung trước khi tính thì không mất gì:

python
import warnings

import numpy as np
from scipy import stats

moc = 1e15
x = moc + np.array([2.0, 3.0, 1.0, 4.0, 2.5])
with warnings.catch_warnings(record=True) as bat:
    warnings.simplefilter("always")
    t_tho = stats.ttest_1samp(x, popmean=moc + 1).statistic
t_tru = stats.ttest_1samp(x - moc, popmean=1).statistic
print(len(bat), round(t_tho, 2), round(t_tru, 2))

KẾT QUẢ

1 2.73 3.0

Trên dãy thô, t là 2,73 kèm một cảnh báo; trên dãy đã trừ mốc, t là 3,0, đúng con số của năm giá trị 2; 3; 1; 4; 2,5 so với 1. Trừ cùng một số khỏi dữ liệu và khỏi giá trị so sánh không đổi hiệu trung bình hay độ lệch chuẩn, nên thống kê t giữ nguyên ý nghĩa. Mốc tiện nhất là giá trị đầu của dãy, x[0].

Kiểm tra nhanh

  1. Sau from scipy import stats, lệnh print(stats.ttest_1samp([7.0, 7.0, 7.0], popmean=7).pvalue) in ra gì?

    • 0.0
    • nan
    • 1.0
  2. Năm gói cà phê đều cân ra 500 g, và ttest_1samp(goi, popmean=498) cho t vô cực, p bằng 0. Những câu nào đúng?

    • Độ lệch chuẩn mẫu của năm gói bằng 0, nên phép chia của thống kê t không có nghĩa
    • p bằng 0 là bằng chứng rất mạnh rằng trung bình khác 498 g
    • Nên kiểm np.ptp(goi) == 0 trước khi gọi kiểm định
    • Tắt cảnh báo bằng filterwarnings("ignore") là cách sửa đúng
  3. Trong ví dụ số rất lớn, vì sao ttest_1samp(x - moc, popmean=1) cho t đúng còn dãy thô thì không?

    • Vì scipy chỉ nhận số nhỏ hơn 1.000
    • Vì trừ mốc làm hiệu trung bình lớn hơn
    • Vì trừ mốc trước giữ lại các chữ số cuối mà phép trừ trung bình trên số rất lớn làm mất
Đúng hết lần đầu +15 XP

Bài tập

Kiểm định t một mẫu không bị cảnh báo

Viết hàm p_value_mot_mau(x, mu) trả về p-value hai phía của kiểm định t một mẫu so trung bình của x với mu, gọi stats.ttest_1samp().

  • Dãy mà mọi giá trị bằng nhau thì không kiểm định: trả math.nan.

  • Còn lại, trừ giá trị đầu của x khỏi cả dãy và khỏi mu trước khi gọi scipy.

Hàm không sửa mảng x của nơi gọi. Ví dụ: năm gói [500.0, 502.0, 499.0, 501.0, 503.0] so với 500 cho p khoảng 0,23.

Trả về: p-value, một float.

python
import math

import numpy as np
from scipy import stats

def p_value_mot_mau(x, mu):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • Cảnh báo này nghĩa là dữ liệu gần như giống hệt nhau, và s tính ra có thể không đáng tin.

  • Mọi giá trị bằng nhau: ttest_1samp() trả nan khi trùng giá trị so sánh, inf và p = 0 khi khác.

  • p = 0 từ một mẫu không đổi không phải bằng chứng; kiểm np.ptp(x) == 0 trước.

  • Số rất lớn lệch nhau ít: trừ một mốc chung khỏi dữ liệu và khỏi giá trị so sánh.

  • Đừng tắt cảnh báo bằng filterwarnings("ignore"); nó giấu đúng thứ bạn cần thấy.

Câu hỏi thường gặp

Catastrophic cancellation trong scipy là gì?

Là việc mất gần hết chữ số có nghĩa khi trừ hai số rất gần nhau, như trừ trung bình khỏi các giá trị cỡ 10¹⁵ chỉ khác nhau vài đơn vị. scipy phát hiện điều đó và in cảnh báo Precision loss. Trừ một mốc chung trước khi tính là cách tránh, như ví dụ số rất lớn ở trên.

ttest_ind() và ttest_rel() có báo cảnh báo này không?

Có. ttest_rel() báo khi mọi hiệu của các cặp bằng nhau, như một nhiệt kế luôn lệch đúng 1 độ; ttest_ind() báo khi cả hai nhóm không đổi. Bài kiểm định t hai mẫu nói các giả định của phép kiểm đó; cách xử lý ở trang này áp được nguyên.

Có nên làm tròn dữ liệu trước khi kiểm định không?

Không nên làm tròn thô hơn độ phân giải của phép đo. Làm tròn tới gram năm gói cà phê lệch nhau vài phần gram cho năm số 500 giống hệt, tức đúng một mẫu không đổi. Giữ số đo gốc, chỉ làm tròn khi in kết quả, như bài kiểm định t một mẫu làm.

Chủ đề

precision loss occurred in moment calculation

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập