Bỏ qua đến nội dung chính
Mục lục

Kiểm định phân phối chuẩn: Q-Q plot, Shapiro-Wilk

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 6/7 · Chương 9

Kiểm định giả thuyết: ý tưởng

  • 9 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Kiểm định phân phối chuẩn trả lời câu hỏi "dữ liệu có đủ gần phân phối chuẩn để dùng t-test không". Cách làm có hai phần: vẽ Q-Q plot bằng stats.probplot() để nhìn dữ liệu lệch khỏi chuẩn ở đâu, rồi chạy stats.shapiro() (Shapiro-Wilk) hay stats.normaltest() để có một p-value. Hình quan trọng hơn con số, vì với mẫu lớn, p của Shapiro-Wilk nhỏ ngay cả khi độ lệch không đáng kể.

Cần biết trước: p-value, phân phối chuẩn, tứ phân vị và phân vị, biểu đồ phân tán, Figure và Axes và số ngẫu nhiên với default_rng.

Q-Q plot: so phân vị của dữ liệu với phân vị chuẩn

Q-Q plot (quantile-quantile plot) đặt từng giá trị đã sắp xếp của mẫu cạnh phân vị mà phân phối chuẩn tắc "mong đợi" ở cùng thứ hạng. Giá trị thứ i trong n giá trị đã sắp xếp nằm ở khoảng phân vị (i − 0,5)/n, nên điểm thứ i của hình là:

(Φ−1 ⁣(i−0.5n),  x(i))\left( \Phi^{-1}\!\left(\frac{i - 0.5}{n}\right),\; x_{(i)} \right)

Trong đó:

  • x với chỉ số (i) (x_sap[i - 1]): giá trị nhỏ thứ i của mẫu sau khi sắp xếp.

  • n (len(x)): cỡ mẫu.

  • Φ⁻¹ (NormalDist().inv_cdf): hàm ngược của hàm phân phối chuẩn tắc, cho z có diện tích bên trái bằng số trong ngoặc.

Nếu dữ liệu chuẩn với trung bình μ và độ lệch chuẩn σ, thì x₍ᵢ₎ ≈ μ + σ · zᵢ, nên các điểm nằm gần một đường thẳng có độ dốc σ và cắt trục tung ở μ.

Tính tay với chiều cao (cm) của 8 bạn nữ tự đặt, đã sắp xếp:

i

(i − 0,5)/8

zᵢ

x₍ᵢ₎

1

0,0625

−1,53

150,2

2

0,1875

−0,89

153,8

4

0,4375

−0,16

156,0

5

0,5625

0,16

157,4

8

0,9375

1,53

163,5

Thư viện chuẩn của Python tính đủ tám dòng:

python
from statistics import NormalDist

x = [150.2, 153.8, 155.1, 156.0, 157.4, 158.9, 160.3, 163.5]
x_sap = sorted(x)
n = len(x_sap)
for i in range(1, n + 1):
    z = NormalDist().inv_cdf((i - 0.5) / n)
    print(f"i = {i}: z = {z:5.2f}, x = {x_sap[i - 1]}")

KẾT QUẢ

i = 1: z = -1.53, x = 150.2
i = 2: z = -0.89, x = 153.8
i = 3: z = -0.49, x = 155.1
i = 4: z = -0.16, x = 156.0
i = 5: z =  0.16, x = 157.4
i = 6: z =  0.49, x = 158.9
i = 7: z =  0.89, x = 160.3
i = 8: z =  1.53, x = 163.5

Các z không cách đều: hai đầu xa nhau hơn ở giữa, và x cũng vậy. Đặt tám cặp (z, x) lên mặt phẳng thì các điểm nằm gần một đường thẳng.

probplot() trên dữ liệu thật

File chieu_cao_can_nang.csv là số giả lập của AIDev: 360 học sinh THPT, 60 em mỗi khối mỗi giới. stats.probplot(x) trả về hai phần: các cặp (phân vị chuẩn, giá trị đã sắp xếp), và đường thẳng khớp nhất (độ dốc, tung độ gốc, hệ số r). scipy dùng công thức vị trí của Filliben, gần với (i − 0,5)/n, nên số hơi khác bảng trên.

python
import pandas as pd
import matplotlib.pyplot as plt
from scipy import stats

df = pd.read_csv("chieu_cao_can_nang.csv")
nu = df.loc[df["gioi_tinh"] == "Nữ", "chieu_cao_cm"]
(z, x_sap), (doc, goc, r) = stats.probplot(nu)
print(f"{len(nu)} bạn nữ: độ dốc {doc:.2f}, tung độ gốc {goc:.2f}")
fig, ax = plt.subplots(figsize=(6.4, 4), layout="constrained")
ax.scatter(z, x_sap, s=12)
ax.plot(z, doc * z + goc, color="black")
ax.set_xlabel("Phân vị chuẩn tắc")
ax.set_ylabel("Chiều cao đã sắp xếp (cm)")
ax.set_title("Q-Q plot chiều cao 180 bạn nữ")
plt.show()

KẾT QUẢ

180 bạn nữ: độ dốc 5.29, tung độ gốc 156.73
Q-Q plot chiều cao 180 bạn nữ: trục x là phân vị chuẩn tắc từ khoảng −2,7 tới 2,7, trục y là chiều cao từ khoảng 139 tới 170 cm; các điểm bám sát đường thẳng đen, chỉ vài điểm ở hai đầu lệch nhẹ.

Độ dốc gần độ lệch chuẩn và tung độ gốc gần trung bình của mẫu, đúng như x₍ᵢ₎ ≈ μ + σ · zᵢ. Các điểm bám đường thẳng nên chiều cao nữ gần chuẩn. Cách đọc các hình khác: đuôi phải cong lên trên đường là lệch phải; hai đầu cong ngược chiều nhau là đuôi dày hay mỏng hơn chuẩn.

Shapiro-Wilk và normaltest

stats.shapiro(x) kiểm định H₀: dữ liệu lấy từ một phân phối chuẩn. stats.normaltest(x) (D'Agostino-Pearson) kiểm định cùng H₀ nhưng dựa trên độ lệch và độ nhọn, cần ít nhất 8 giá trị, và scipy cảnh báo khi mẫu dưới 20 giá trị. Ta chạy cả hai cho từng giới, H₁ là dữ liệu không chuẩn, α = 0,05:

python
import pandas as pd
from scipy import stats

df = pd.read_csv("chieu_cao_can_nang.csv")
for gioi, x in df.groupby("gioi_tinh")["chieu_cao_cm"]:
    p_sw = stats.shapiro(x).pvalue
    p_nt = stats.normaltest(x).pvalue
    print(f"{gioi}: Shapiro p = {p_sw:.3f},",
          f"normaltest p = {p_nt:.3f}")

KẾT QUẢ

Nam: Shapiro p = 0.016, normaltest p = 0.063
Nữ: Shapiro p = 0.795, normaltest p = 0.414

Với nữ, nếu chiều cao lấy từ phân phối chuẩn, xác suất có độ lệch khỏi chuẩn ít nhất như mẫu là 0,795: chưa đủ bằng chứng để bác bỏ H₀. Với nam, Shapiro cho p = 0,016 ≤ 0,05 nên bác bỏ H₀ ở mức 5%, còn normaltest thì không. Ta biết chiều cao trong file được sinh từ phân phối chuẩn cho từng khối vì AIDev tự sinh file; cột nam gộp ba khối nên chỉ gần chuẩn, và kết quả của nam là một lần bác bỏ khi độ lệch thật rất nhỏ; vẽ Q-Q plot cho nam sẽ thấy các điểm vẫn gần thẳng. Đổi "chieu_cao_cm" thành "can_nang_kg" rồi chạy lại: dòng đầu in Nam: Shapiro p = 0.074, normaltest p = 0.034, hai kiểm định lại bất đồng theo chiều ngược.

Vì sao Shapiro quá nhạy với mẫu lớn

p-value phụ thuộc cỡ mẫu. Ta lấy cùng một phân phối hơi lệch phải, y = z + 0,1z² với z chuẩn tắc, rồi chạy Shapiro với ba cỡ mẫu:

python
import numpy as np
from scipy import stats

rng = np.random.default_rng(72)
for n in [30, 300, 5_000]:
    z = rng.normal(0, 1, size=n)
    y = z + 0.1 * z**2
    p = stats.shapiro(y).pvalue
    bao = "p < 0.001" if p < 0.001 else f"p = {p:.3f}"
    print(f"n = {n:>5}:", bao)

KẾT QUẢ

n =    30: p = 0.229
n =   300: p < 0.001
n =  5000: p < 0.001

Cùng một độ lệch nhỏ: 30 giá trị chưa đủ để thấy, 300 hay 5.000 thì p rất nhỏ. Mặt khác, t-test chịu được lệch nhẹ khi mẫu lớn, nhờ định lý giới hạn trung tâm. Vậy với mẫu vài trăm trở lên, p nhỏ của Shapiro không có nghĩa là phải bỏ t-test; xem Q-Q plot để biết độ lệch lớn cỡ nào. Với mẫu nhỏ thì ngược lại: p lớn chỉ là chưa đủ bằng chứng, hình vẫn là chỗ dựa chính.

Kiểm tra nhanh

  1. Sau from statistics import NormalDist, print(round(NormalDist().inv_cdf((1 - 0.5) / 4), 2)) in ra gì?

    • -1.15
    • -0.67
    • 0.12
  2. Trên Q-Q plot, các điểm ở giữa bám đường thẳng, còn đuôi phải cong lên phía trên đường. Dữ liệu nhiều khả năng thế nào?

    • Đúng phân phối chuẩn
    • Lệch phải: giá trị lớn xa trung tâm hơn chuẩn mong đợi
    • Lệch trái
    • Có ít giá trị ngoại lai hơn chuẩn
  3. Shapiro-Wilk trên 5.000 giá trị cho p < 0,001, Q-Q plot gần thẳng. Những câu nào đúng?

    • Dữ liệu là bằng chứng có lệch khỏi chuẩn, nhưng độ lệch có thể rất nhỏ
    • Phải bỏ t-test và dùng kiểm định phi tham số
    • Với mẫu lớn, Shapiro thấy được cả độ lệch không đáng kể
    • Xác suất dữ liệu chuẩn nhỏ hơn 0,001
  4. Vì sao không nên chạy Shapiro trên cột chiều cao gộp nam và nữ trước một t-test hai mẫu?

    • Vì Shapiro chỉ nhận dưới 100 giá trị
    • Vì t-test giả định chuẩn trong từng nhóm, còn cột gộp có hai đỉnh do hai trung bình khác nhau
    • Vì cột gộp luôn cho p lớn
    • Vì chiều cao không bao giờ chuẩn
Đúng hết lần đầu +15 XP

Bài tập

Shapiro-Wilk riêng cho từng nhóm

Trước một t-test hai mẫu, bạn muốn kiểm chuẩn trong từng nhóm. Viết thân hàm p_shapiro_theo_nhom(bang, cot_nhom, cot_gia_tri): với mỗi nhóm của cột cot_nhom trong DataFrame bang, chạy stats.shapiro() trên cột cot_gia_tri của nhóm đó, rồi trả về dict từ tên nhóm tới p-value.

Không sửa bang của nơi gọi. Không dùng normaltest() thay cho Shapiro-Wilk.

Trả về: dict {tên nhóm: p-value}, mỗi p-value một float.

Ví dụ với bảng có cột nhom gồm "A" và "B" và cột gia_tri, p_shapiro_theo_nhom(bang, "nhom", "gia_tri") trả về một dict có hai khóa "A" và "B".

python
import pandas as pd
from scipy import stats


def p_shapiro_theo_nhom(bang, cot_nhom, cot_gia_tri):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • Q-Q plot đặt giá trị đã sắp xếp cạnh phân vị chuẩn tắc Φ⁻¹((i − 0,5)/n); dữ liệu chuẩn cho các điểm gần một đường thẳng.

  • stats.probplot(x) trả về các điểm và đường khớp; độ dốc gần σ, tung độ gốc gần μ.

  • stats.shapiro(x) và stats.normaltest(x) kiểm định H₀ "dữ liệu chuẩn"; normaltest cần ít nhất 20 giá trị.

  • Kiểm chuẩn trong từng nhóm, không trên cột gộp các nhóm khác trung bình.

  • Mẫu lớn làm Shapiro thấy cả độ lệch không đáng kể; mẫu nhỏ thì p lớn chỉ là chưa đủ bằng chứng. Luôn xem Q-Q plot.

Câu hỏi thường gặp

Shapiro-Wilk và Kolmogorov-Smirnov khác nhau thế nào?

Cả hai kiểm định dữ liệu có theo một phân phối không. Shapiro-Wilk dành riêng cho phân phối chuẩn và thường mạnh hơn khi μ, σ chưa biết. stats.kstest() so với một phân phối có tham số cho trước; ước lượng μ, σ từ chính mẫu rồi dùng nó thì p sai.

P-value của Shapiro lớn hơn 0,05 có nghĩa dữ liệu chuẩn không?

Không. Nó chỉ nói chưa đủ bằng chứng để bác bỏ H₀; mẫu nhỏ thì Shapiro ít khi bác bỏ dù dữ liệu lệch rõ. Xem thêm Q-Q plot.

Dữ liệu không chuẩn thì làm gì?

Mẫu lớn và lệch nhẹ: t-test thường vẫn ổn. Lệch mạnh hay có ngoại lai: thử biến đổi log, hay dùng kiểm định hoán vị hoặc kiểm định phi tham số, không cần giả định chuẩn.

Chủ đề

kiểm định phân phối chuẩn

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập