Bỏ qua đến nội dung chính
Mục lục

Shapiro N > 5000: p-value may not be accurate (UserWarning)

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 5/7 · Chương 13

Lỗi và hiểu sai thường gặp

  • 7 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

"For N > 5000, computed p-value may not be accurate" là cảnh báo UserWarning mà scipy.stats.shapiro() in ra khi mẫu có hơn 5000 giá trị. Thống kê W vẫn đúng, nhưng cách scipy đổi W ra p-value chỉ được dựng cho mẫu tới 5000. Cảnh báo này còn là một lời nhắc. Với mẫu lớn như vậy, Shapiro-Wilk gần như bác bỏ mọi dữ liệu thật, nên nhìn Q-Q plot có ích hơn.

Cần biết trước: kiểm định phân phối chuẩn, cảnh báo trong Python và số ngẫu nhiên trong NumPy.

Bảng tra nhanh: cảnh báo shapiro N > 5000

Một kho ghi thời gian xử lý của 6000 đơn hàng (phút). Số liệu dưới đây là số mô phỏng, lệch phải một chút. Cảnh báo không dừng chương trình, nên khối code bắt nó lại và in tên lớp cùng câu đầu:

python
import warnings

import numpy as np
from scipy import stats

rng = np.random.default_rng(5)
phut = np.round(rng.gamma(shape=40, scale=0.5, size=6000), 2)
with warnings.catch_warnings(record=True) as bat:
    warnings.simplefilter("always")
    kq = stats.shapiro(phut)
print(bat[0].category.__name__)
thong_bao = str(bat[0].message)
print(thong_bao.split(" Current")[0])
print(round(kq.statistic, 4), kq.pvalue < 0.001)

KẾT QUẢ

UserWarning
scipy.stats.shapiro: For N > 5000, computed p-value may not be accurate.
0.9948 True

Câu đầy đủ của scipy 1.18.0 kèm thêm cỡ mẫu: "Current N is 6000." W = 0,9948 rất gần 1, nhưng p-value nhỏ hơn 0,001.

Tình huống

Điều xảy ra

Nên làm

N từ 3 tới 5000

shapiro() chạy, không cảnh báo

đọc p cùng với Q-Q plot

N lớn hơn 5000

UserWarning, p có thể không chính xác

nhìn Q-Q plot, độ lệch, độ nhọn

N lớn, p rất nhỏ

gần như mẫu lớn nào cũng thế

hỏi độ lệch có đủ lớn để đổi cách phân tích không

Cần chuẩn để dùng kiểm định t

với mẫu lớn, định lý giới hạn trung tâm đỡ phần lớn

kiểm định trung bình vẫn dùng được khi không có đuôi quá dài

Shapiro-Wilk so dãy đã sắp với dãy mà phân phối chuẩn "mong đợi":

W=(∑i=1nai x(i))2∑i=1n(xi−xˉ)2W = \frac{\left(\sum_{i=1}^{n} a_i\, x_{(i)}\right)^2}{\sum_{i=1}^{n} (x_i - \bar{x})^2}

Trong đó:

  • x₍ᵢ₎ (np.sort(phut)[i]): giá trị thứ i khi sắp dãy tăng dần.

  • aᵢ: hệ số dựng sẵn từ phân phối chuẩn cho cỡ mẫu n, shapiro() tự tính.

  • x̄ (phut.mean()): trung bình mẫu.

  • n (len(phut)): cỡ mẫu.

  • W (stats.shapiro(phut).statistic): thống kê của kiểm định.

W bằng 1 khi dữ liệu xếp đúng theo phân phối chuẩn. Bước đổi W ra p-value dùng một công thức xấp xỉ chỉ được kiểm cho n tới 5000, nên scipy cảnh báo khi vượt mốc đó. Cách đọc kiểm định và cách vẽ Q-Q plot nằm ở bài kiểm định phân phối chuẩn, bài mẹ của trang này.

Cùng một dữ liệu, mẫu càng lớn p càng nhỏ

Chạy shapiro() trên 50, 500 và 5000 đơn đầu của cùng dãy số. Phân phối không đổi, chỉ cỡ mẫu đổi:

python
import numpy as np
from scipy import stats

rng = np.random.default_rng(5)
phut = np.round(rng.gamma(shape=40, scale=0.5, size=6000), 2)
for n in [50, 500, 5000]:
    print(n, round(stats.shapiro(phut[:n]).pvalue, 3))
print(round(stats.skew(phut), 2), round(stats.kurtosis(phut), 2))

KẾT QUẢ

50 0.333
500 0.194
5000 0.0
0.3 0.06

Với 50 và 500 đơn, ở mức ý nghĩa 5% chưa đủ bằng chứng để nói dữ liệu khác phân phối chuẩn; với 5000 đơn, p tròn về 0. Độ lệch 0,3 và độ nhọn vượt chuẩn 0,06 ở dòng cuối cho thấy dữ liệu chỉ lệch nhẹ. Mẫu lớn làm kiểm định nhạy tới mức bắt được cả những độ lệch không đáng kể với việc phân tích tiếp theo. Đổi 5000 thành 1000 rồi chạy lại: dòng thứ ba in 1000 0.11. Chỉ cần 2000 đơn, p đã tròn về 0.

Q-Q plot thay cho p-value ở mẫu lớn

Q-Q plot đặt từng giá trị đã sắp cạnh phân vị tương ứng của phân phối chuẩn. Điểm nằm sát đường thẳng là dữ liệu gần chuẩn; điểm uốn cong ở hai đầu là đuôi lệch:

python
import numpy as np
import matplotlib.pyplot as plt
from scipy import stats

rng = np.random.default_rng(5)
phut = np.round(rng.gamma(shape=40, scale=0.5, size=6000), 2)
fig, ax = plt.subplots(figsize=(6.4, 4), layout="constrained")
(_, _), (doc, chan, r) = stats.probplot(phut, dist="norm", plot=ax)
ax.set(title="Q-Q plot thời gian xử lý của 6000 đơn",
       xlabel="Phân vị lý thuyết của phân phối chuẩn",
       ylabel="Thời gian xử lý (phút)")
plt.show()
print(round(r, 4))

KẾT QUẢ

0.9974
Q-Q plot của 6000 điểm màu xanh dọc một đường thẳng đỏ, trục x là phân vị lý thuyết từ −4 đến 4, trục y là thời gian xử lý từ 10 đến 33 phút; phần giữa nằm sát đường, hai đầu cong lên phía trên đường.

Phần lớn điểm nằm trên đường thẳng; chỉ vài chục điểm ở hai đầu cong lên, dấu hiệu đuôi phải dài hơn chuẩn một chút. Hệ số r của đường thẳng là 0,9974: Q-Q plot gần như thẳng. Với 6000 đơn, đây là thông tin có ích hơn "p < 0,001".

Kiểm tra nhanh

  1. Vì sao scipy.stats.shapiro() cảnh báo khi mẫu có 6000 giá trị?

    • Vì thống kê W tính sai khi N lớn hơn 5000
    • Vì công thức đổi W ra p-value chỉ được kiểm cho N tới 5000
    • Vì Shapiro-Wilk chỉ chạy với số nguyên
  2. Cùng một phân phối lệch nhẹ, shapiro() cho p 0,33 với 50 giá trị và p gần 0 với 5000 giá trị. Kết luận nào đúng?

    • Dữ liệu trở nên kém chuẩn hơn khi thu thêm
    • Mẫu lớn làm kiểm định đủ nhạy để bắt độ lệch nhỏ
    • Với 50 giá trị, dữ liệu đúng là chuẩn
  3. Với 6000 giá trị, những cách nào giúp đánh giá dữ liệu có gần chuẩn không?

    • Nhìn Q-Q plot vẽ bằng stats.probplot()
    • Xem độ lệch stats.skew() và độ nhọn stats.kurtosis()
    • Tắt cảnh báo rồi đọc p-value của shapiro()
    • Lấy 5000 dòng đầu để hết cảnh báo
Đúng hết lần đầu +15 XP

Bài tập

Đo độ thẳng của Q-Q plot

Viết hàm r_qq(x) nhận một mảng NumPy số thực và trả về hệ số r của đường thẳng trên Q-Q plot so với phân phối chuẩn, tức phần tử thứ ba của bộ số thứ hai mà stats.probplot(x) trả về. r càng gần 1, Q-Q plot càng thẳng.

Hàm không sửa mảng x của nơi gọi. Ví dụ: [18.5, 21.0, 19.2, 25.4, 20.1, 17.8, 22.6, 19.9] cho r khoảng 0,955.

Trả về: hệ số r, một float.

python
import numpy as np
from scipy import stats

def r_qq(x):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • Cảnh báo UserWarning của shapiro() khi N > 5000 nghĩa là W vẫn đúng nhưng p-value của shapiro() chỉ là xấp xỉ chưa kiểm.

  • Ở mẫu lớn, Shapiro-Wilk bác bỏ cả những độ lệch rất nhỏ; p gần 0 không có nghĩa lệch nhiều.

  • Thay p-value bằng Q-Q plot (stats.probplot()), độ lệch và độ nhọn.

  • Cắt mẫu xuống 5000 hay tắt cảnh báo không trả lời câu hỏi dữ liệu có đủ gần chuẩn không.

Câu hỏi thường gặp

Shapiro wilk large sample: có kiểm định nào hợp hơn không?

stats.normaltest() (D'Agostino) và stats.anderson() không có mốc 5000, nhưng cũng nhạy như vậy ở mẫu lớn: với 6000 đơn của trang, normaltest() cũng cho p rất nhỏ. Vấn đề không nằm ở hàm nào, mà ở câu hỏi "có khác chuẩn không" hầu như có đáp án "có" khi mẫu đủ lớn.

Có nên tắt cảnh báo này đi không?

Tắt bằng warnings.filterwarnings() chỉ nên làm khi bạn đã biết vì sao nó hiện và đã chọn cách khác để đánh giá phân phối. Bài cảnh báo trong Python chỉ cách bắt và lọc cảnh báo có kiểm soát.

Dữ liệu không chuẩn thì còn dùng kiểm định t được không?

Thường được, khi mẫu lớn và không có đuôi quá dài: kiểm định t so trung bình, và trung bình mẫu gần chuẩn theo định lý giới hạn trung tâm. Khi mẫu nhỏ và lệch nhiều, bài kiểm định phân phối chuẩn gợi ý các lựa chọn khác.

Chủ đề

shapiro n 5000

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập