P value 0.05 có ý nghĩa gì? Sáu cách hiểu sai thống kê
Bài 1/7 · Chương 13
Lỗi và hiểu sai thường gặp
- 9 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 13
P-value 0,05 nghĩa là: nếu thật sự không có khác biệt (giả thuyết H₀ đúng), thì chỉ khoảng 5% số lần làm lại thí nghiệm cho kết quả lệch ít nhất như vậy. Nó không phải xác suất H₀ đúng, không đo khác biệt lớn hay nhỏ, và "có ý nghĩa thống kê" không có nghĩa là quan trọng. Bài này đi qua sáu cách hiểu sai hay gặp, mỗi cách một mô phỏng ngắn cho thấy chỗ sai.
Cần biết trước: p-value, phân tích A/B test và kiểm định t hai mẫu.
Tình huống chung: một cửa hàng online so trang thanh toán cũ (nhóm a) với trang mới (nhóm b) theo số giây khách cần để thanh toán xong; số liệu do máy sinh.
Hiểu sai 1: p là xác suất H₀ đúng
p-value được tính khi đã giả sử H₀ đúng, nên nó không thể là xác suất của chính H₀. Mô phỏng 1000 thử nghiệm A/B, trong đó chỉ khoảng 10% có trang mới thật sự nhanh hơn 5 giây; mỗi nhóm 30 khách:
import numpy as np
from scipy import stats
rng = np.random.default_rng(101)
co_that = rng.random(1000) < 0.1
a = rng.normal(60, 10, size=(1000, 30))
b = rng.normal(60, 10, size=(1000, 30)) - 5 * co_that[:, None]
p = stats.ttest_ind(a, b, axis=1).pvalue
y_nghia = p < 0.05
print(co_that.sum(), y_nghia.sum(), (y_nghia & ~co_that).sum())KẾT QUẢ
108 84 34108 thử nghiệm có khác biệt thật; 84 thử nghiệm cho p < 0,05, nhưng 34 trong số đó là thử nghiệm không có khác biệt gì. Tức là khoảng 40% kết quả "có ý nghĩa" ở đây là báo động giả, dù mỗi kết quả đều có p < 0,05. Tỉ lệ đó tùy bao nhiêu ý tưởng đem thử là đúng, điều p-value không biết. Đổi 0.1 thành 0.5 rồi chạy lại: chương trình in 527 262 19, báo động giả chỉ còn 19 trên 262.
Hiểu sai 2: p > 0,05 nghĩa là không có khác biệt
p lớn chỉ nói dữ liệu chưa đủ bằng chứng. Lần này trang mới thật sự nhanh hơn 5 giây trong mọi thử nghiệm, nhưng mỗi nhóm chỉ 15 khách:
import numpy as np
from scipy import stats
rng = np.random.default_rng(102)
a = rng.normal(60, 10, size=(1000, 15))
b = rng.normal(55, 10, size=(1000, 15))
p = stats.ttest_ind(a, b, axis=1).pvalue
print((p > 0.05).mean())KẾT QUẢ
0.763Khoảng 76% thử nghiệm cho p > 0,05 dù khác biệt có thật: đó là sai lầm loại II của bài sai lầm loại 1 và loại 2. Kết luận đúng của p > 0,05 là "chưa đủ bằng chứng để bác bỏ H₀", không phải "hai trang như nhau".
Hiểu sai 3: p nhỏ nghĩa là khác biệt lớn
p phụ thuộc cả độ lớn khác biệt lẫn cỡ mẫu. Để đo riêng độ lớn, dùng độ lớn hiệu ứng (effect size). Với hai nhóm, số đo quen dùng là Cohen's d: hiệu hai trung bình chia cho độ lệch chuẩn gộp.
Trong đó:
x̄ₐ, x̄_b (
a.mean(),b.mean()): trung bình hai nhóm.s²ₐ, s²_b (
va,vb): phương sai mẫu hai nhóm.nₐ, n_b (
n): cỡ hai nhóm.sₚ (
sp): độ lệch chuẩn gộp.
Tính tay với hai nhóm bốn khách, u = 62, 58, 65, 59 và v = 55, 57, 52, 56. Trung bình 61 và 55; phương sai mẫu 10 và 14/3 ≈ 4,67. Phương sai gộp (3 × 10 + 3 × 4,67) / 6 ≈ 7,33, nên sₚ ≈ 2,71 và d = 6 / 2,71 ≈ 2,22: hai nhóm cách nhau hơn hai độ lệch chuẩn. Quy ước thô hay dùng: d khoảng 0,2 là nhỏ, 0,5 vừa, 0,8 lớn.
Giờ so hai thử nghiệm: một với 20.000 khách mỗi nhóm và khác biệt 0,5 giây, một với 10 khách mỗi nhóm và khác biệt 8 giây:
import numpy as np
from scipy import stats
rng = np.random.default_rng(103)
for n, lech in [(20000, 0.5), (10, 8)]:
a = rng.normal(60, 10, size=n)
b = rng.normal(60 - lech, 10, size=n)
va, vb = np.var(a, ddof=1), np.var(b, ddof=1)
sp = np.sqrt(((n - 1) * va + (n - 1) * vb) / (2 * n - 2))
d = (a.mean() - b.mean()) / sp
p = stats.ttest_ind(a, b).pvalue
print(n, round(d, 2), "p < 0.001" if p < 0.001 else round(p, 3))KẾT QUẢ
20000 0.04 p < 0.001
10 0.9 0.058Thử nghiệm lớn có p rất nhỏ nhưng d chỉ 0,04, nửa giây trên một phút; thử nghiệm nhỏ có d 0,9 nhưng p chưa qua 0,05. "Có ý nghĩa thống kê" (statistical significance) chỉ nói khác biệt khó là ngẫu nhiên. Khác biệt có đáng tiền hay không là câu hỏi của độ lớn hiệu ứng, như bài phân tích A/B test đã tách.
Hiểu sai 4: 1 − p là xác suất lặp lại được kết quả
Một thử nghiệm cho p = 0,01 không có nghĩa 99% lần làm lại cũng ra kết quả có ý nghĩa. Lặp lại 1000 lần đúng một thiết kế (30 khách mỗi nhóm, trang mới nhanh hơn thật 5 giây):
import numpy as np
from scipy import stats
rng = np.random.default_rng(104)
a = rng.normal(60, 10, size=(1001, 30))
b = rng.normal(55, 10, size=(1001, 30))
p = stats.ttest_ind(a, b, axis=1).pvalue
print("p < 0.001" if p[0] < 0.001 else round(p[0], 3))
print((p[1:] < 0.05).mean())KẾT QUẢ
p < 0.001
0.493Lần đầu cho p rất nhỏ, nhưng chỉ khoảng 49% lần làm lại cho p < 0,05. Xác suất lặp lại được chính là lực kiểm định của thiết kế.
Hiểu sai 5: khoảng 95% này chứa μ với xác suất 95%
95% là tính chất của cách dựng khoảng: làm nhiều mẫu, khoảng 95% số khoảng dựng ra chứa trung bình thật μ. Một khoảng cụ thể đã tính thì hoặc chứa μ, hoặc không. Mô phỏng 1000 mẫu 25 đơn từ tổng thể có μ = 50:
import numpy as np
from scipy import stats
rng = np.random.default_rng(105)
x = rng.normal(50, 8, size=(1000, 25))
tb = x.mean(axis=1)
se = x.std(axis=1, ddof=1) / np.sqrt(25)
t = stats.t.ppf(0.975, df=24)
chua = (tb - t * se <= 50) & (50 <= tb + t * se)
print(chua.mean())
print(round(tb[0] - t * se[0], 2), round(tb[0] + t * se[0], 2))KẾT QUẢ
0.946
45.59 53.0894,6% số khoảng chứa 50, sát mức 95%. Khoảng đầu tiên (45,59; 53,08) chứa 50; ngoài đời bạn chỉ có một khoảng và không biết nó thuộc nhóm nào. Cách nói đúng ở bài khoảng tin cậy: "cách dựng này cho khoảng chứa μ ở 95% số mẫu".
Hiểu sai 6: hai khoảng tin cậy chồng nhau thì không khác biệt
Hai khoảng 95% chồng lên nhau một ít vẫn có thể đi với p < 0,05, vì kiểm định hai mẫu dùng sai số chuẩn của hiệu, nhỏ hơn tổng hai nửa độ rộng:
import numpy as np
from scipy import stats
a = np.array([52, 47, 58, 50, 45, 55, 49, 53, 44, 57,
51, 48, 56, 46, 54, 50, 47, 53, 59, 45.0])
b = np.array([56, 50, 60, 55, 48, 59, 53, 57, 49, 61,
54, 51, 59, 50, 58, 54, 51, 56, 62, 47.0])
for x in (a, b):
lo, hi = stats.t.interval(0.95, len(x) - 1,
loc=x.mean(), scale=stats.sem(x))
print(round(lo, 1), round(hi, 1))
print(round(stats.ttest_ind(a, b).pvalue, 3))KẾT QUẢ
48.8 53.1
52.4 56.6
0.018Hai khoảng chồng nhau, mà p vẫn dưới 0,05. Muốn biết hai nhóm có khác nhau không, kiểm định hiệu, hay dựng khoảng tin cậy cho hiệu như bài kiểm định t hai mẫu; đừng nhìn hai khoảng riêng.
Kiểm tra nhanh
Một thử nghiệm A/B cho p = 0,03. Câu nào đọc đúng con số này?
- Xác suất trang mới không nhanh hơn là 3%
- Nếu hai trang như nhau, khoảng 3% số lần làm lại cho khác biệt ít nhất như vậy
- Làm lại thí nghiệm, 97% số lần sẽ có ý nghĩa thống kê
Thử nghiệm với 15 khách mỗi nhóm cho p = 0,21. Những kết luận nào đúng?
- Dữ liệu chưa đủ bằng chứng để bác bỏ H₀ ở mức 5%
- Hai trang thanh toán nhanh như nhau
- Với mẫu nhỏ, một khác biệt thật vẫn dễ cho p > 0,05
- Nên dừng hẳn, vì p > 0,05 nghĩa là ý tưởng sai
Khoảng tin cậy 95% của nhóm a là (48,8; 53,1), của nhóm b là (52,4; 56,6). Câu nào đúng?
- Hai khoảng chồng nhau nên chắc chắn p > 0,05
- Cần kiểm định hiệu hai trung bình mới biết p
- Mỗi khoảng chứa trung bình thật với xác suất 95%
Thử nghiệm X: 20.000 khách mỗi nhóm, p < 0,001, d = 0,04. Thử nghiệm Y: 10 khách mỗi nhóm, p = 0,058, d = 0,9. Câu nào đúng?
- X có khác biệt lớn hơn vì p nhỏ hơn
- Y có khác biệt lớn hơn tính theo độ lệch chuẩn, nhưng mẫu quá nhỏ để chắc chắn
- Không so được vì cỡ mẫu khác nhau
Bài tập
Tính Cohen's d của hai nhóm
Viết hàm cohen_d(a, b) nhận hai mảng NumPy số thực (có thể khác độ dài) và trả về Cohen's d: hiệu trung bình a trừ b, chia cho độ lệch chuẩn gộp với phương sai mẫu ddof=1, theo công thức của bài. Giữ dấu: a nhỏ hơn b thì d âm.
Hàm không sửa mảng a, b của nơi gọi. Ví dụ: u = [62, 58, 65, 59], v = [55, 57, 52, 56] cho d khoảng 2,22.
Trả về: Cohen's d, một float.
import numpy as np
def cohen_d(a, b):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
p-value tính khi giả sử H₀ đúng; nó không là xác suất H₀ đúng.
p > 0,05 là chưa đủ bằng chứng, không phải "không khác biệt"; mẫu nhỏ dễ bỏ sót khác biệt thật.
p nhỏ không có nghĩa khác biệt lớn: đo độ lớn bằng hiệu trung bình và Cohen's d.
1 − p không là xác suất lặp lại được; đó là việc của lực kiểm định.
95% của khoảng tin cậy nói về cách dựng khoảng; hai khoảng chồng nhau vẫn có thể đi với p < 0,05.
Câu hỏi thường gặp
Mức p-value 0,05 có ý nghĩa gì?
0,05 thường là mức ý nghĩa α đặt trước: nếu p nhỏ hơn 0,05 thì bác bỏ H₀ ở mức 5%. Mốc này là một quy ước: p = 0,049 và p = 0,051 gần như cùng một mức bằng chứng. Bài p-value nói định nghĩa và cách tính.
Ý nghĩa thống kê là gì?
"Có ý nghĩa thống kê" (statistical significance) nghĩa là p nhỏ hơn mức α đã chọn: khác biệt quan sát được khó là do ngẫu nhiên nếu H₀ đúng. Nó không nói khác biệt lớn, quan trọng hay đáng đầu tư.
Nên báo cáo gì cạnh p-value?
Hiệu trung bình với đơn vị gốc, khoảng tin cậy của hiệu, Cohen's d và cỡ mẫu mỗi nhóm. Trước khi làm thật, mô phỏng thiết kế như trên bằng công cụ của bài mô phỏng bằng NumPy.
Chủ đề
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.