ANOVA là gì: phân tích phương sai một yếu tố, f_oneway()
Bài 8/14 · Chương 10
Các kiểm định thường dùng
- 8 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 11
ANOVA (phân tích phương sai, analysis of variance) một yếu tố kiểm xem trung bình của ba nhóm trở lên có như nhau không, trong một lần kiểm. Cách tính: so độ phân tán giữa các trung bình nhóm với độ phân tán bên trong từng nhóm; tỉ số F lớn nghĩa là các nhóm cách nhau xa hơn mức dao động thường.
Cần biết trước: kiểm định t hai mẫu, phương sai và phân phối F.
Ý tưởng và công thức F
Có k nhóm, tổng cộng N quan sát. H₀: k trung bình tổng thể bằng nhau. H₁: ít nhất một trung bình khác. Tổng bình phương độ lệch so với trung bình chung tách được thành hai phần. Phần giữa nhóm (SSB, các trung bình nhóm cách trung bình chung bao xa), và phần trong nhóm (SSW, từng giá trị cách trung bình nhóm của nó bao xa). Chia mỗi phần cho bậc tự do của nó được MS, rồi lấy tỉ số:
Trong đó:
k (
k), N (N): số nhóm và tổng số quan sát.nⱼ (
len(x)) và x̄ⱼ (x.mean()): cỡ và trung bình của nhóm j.x̄ (
tat_ca.mean()): trung bình chung của mọi quan sát.SSW (
ssw): tổng bình phương độ lệch của từng giá trị so với trung bình nhóm của nó.F: dưới H₀, theo phân phối F với k − 1 và N − k bậc tự do.
Nếu H₀ đúng, cả tử và mẫu đều ước lượng cùng một phương sai nên F quanh 1. Các trung bình càng cách xa nhau, tử càng lớn.
Tính tay bảng ANOVA
Một siêu thị đo số phút chờ của bốn khách ở mỗi quầy trong ba quầy thu ngân, số tự đặt cho bài này. Quầy A 4, 6, 5, 5; quầy B 7, 9, 8, 8; quầy C 5, 7, 6, 6. Trung bình là 5, 8 và 6 phút, trung bình chung 19 / 3 ≈ 6,33. Mỗi quầy có độ lệch −1, 1, 0, 0 so với trung bình quầy, nên SSW = 2 + 2 + 2 = 6.
Nguồn | SS | df | MS | F |
|---|---|---|---|---|
Giữa nhóm | 4 · (1,78 + 2,78 + 0,11) ≈ 18,67 | k − 1 = 2 | 9,33 | 9,33 / 0,667 = 14 |
Trong nhóm | 6 | N − k = 9 | 0,667 | |
Tổng | 24,67 | N − 1 = 11 |
import numpy as np
from scipy.stats import f
A = [4, 6, 5, 5]
B = [7, 9, 8, 8]
C = [5, 7, 6, 6]
nhom = [np.array(x) for x in (A, B, C)]
tat_ca = np.concatenate(nhom)
k, N = len(nhom), len(tat_ca)
ssb = sum(len(x) * (x.mean() - tat_ca.mean()) ** 2 for x in nhom)
ssw = sum(((x - x.mean()) ** 2).sum() for x in nhom)
F = (ssb / (k - 1)) / (ssw / (N - k))
print("SSB =", round(ssb, 2), "| SSW =", round(ssw, 2))
print("F =", round(F, 2), "| df =", k - 1, N - k)
print("p =", round(f.sf(F, k - 1, N - k), 4))KẾT QUẢ
SSB = 18.67 | SSW = 6.0
F = 14.0 | df = 2 9
p = 0.0017Đổi C = [5, 7, 6, 6] thành C = [5, 7, 6, 9] rồi chạy lại: một khách ở quầy C chờ lâu hơn, SSW tăng và dòng giữa in F = 6.41 | df = 2 9.
f_oneway() của scipy
stats.f_oneway() nhận mỗi nhóm là một đối số và trả về F với p-value. File khoi_luong_goi.csv là số giả lập của AIDev: khối lượng (gam) của 180 gói hàng do ba máy đóng gói, 60 gói mỗi máy, mục tiêu 500 g. Bước đầu, gom nhóm và tính nhiều thống kê một lần bằng agg() để nhìn số:
import pandas as pd
from scipy import stats
goi = pd.read_csv("khoi_luong_goi.csv")
theo_may = goi.groupby("may")["khoi_luong_g"]
print(theo_may.agg(["count", "mean", "std"]))
nhom = [x for _, x in theo_may]
kq = stats.f_oneway(*nhom)
print("F =", round(kq.statistic, 2))
print("p < 0.001" if kq.pvalue < 0.001 else round(kq.pvalue, 3))
welch = stats.f_oneway(*nhom, equal_var=False)
print(f"Welch: F = {welch.statistic:.2f} | p = {welch.pvalue:.3f}")KẾT QUẢ
count mean std
may
Máy 1 60 500.65 2.11
Máy 2 60 499.21 2.48
Máy 3 60 500.20 1.39
F = 7.74
p < 0.001
Welch: F = 5.95 | p = 0.004std của agg() chia n − 1 (ddof=1). Trước khi kiểm, H₀: ba máy cho cùng khối lượng trung bình, α = 0,05. Ở mức ý nghĩa 5%, dữ liệu đủ bằng chứng để bác bỏ H₀: ít nhất một máy có khối lượng trung bình khác (F = 7,74, bậc tự do 2 và 177, p < 0,001). Máy 2 thấp hơn máy 1 khoảng 1,4 g. Độ lớn hiệu ứng eta bình phương η² = SSB / SST ≈ 0,08: máy giải thích khoảng 8% độ biến thiên khối lượng, phần còn lại là dao động trong từng máy.
ANOVA giả định các nhóm độc lập, mỗi nhóm gần chuẩn, và phương sai các nhóm gần bằng nhau. Ở đây độ lệch chuẩn từ 1,39 tới 2,48 g, nên giả định cuối cần kiểm, bài kiểm định Levene làm việc đó. Khi phương sai các nhóm khác nhau, dùng ANOVA Welch, stats.f_oneway(*nhom, equal_var=False), như Welch của t-test hai mẫu: nó không gộp phương sai. Dòng cuối cho F = 5,95, p = 0,004, cùng kết luận. ANOVA không nói máy nào khác máy nào: đó là việc của Tukey HSD.
Mô phỏng F khi H0 đúng
Lấy ba nhóm bốn số từ cùng một phân phối chuẩn, lặp 10.000 lần. Tỉ lệ F vượt ngưỡng 5% của phân phối F(2, 9) phải quanh 0,05, và tỉ lệ F đạt 14 phải quanh p = 0,0017 của ví dụ ba quầy:
import numpy as np
from scipy import stats
rng = np.random.default_rng(81)
x = rng.normal(6, 1, size=(10_000, 3, 4))
F = stats.f_oneway(x[:, 0], x[:, 1], x[:, 2], axis=1).statistic
nguong = stats.f.ppf(0.95, 2, 9)
print("Ngưỡng 5%:", round(nguong, 2))
print("Tỉ lệ F >= ngưỡng:", round((F >= nguong).mean(), 4))
print("Tỉ lệ F >= 14:", round((F >= 14).mean(), 4))KẾT QUẢ
Ngưỡng 5%: 4.26
Tỉ lệ F >= ngưỡng: 0.0506
Tỉ lệ F >= 14: 0.0019Lần chạy này cho 0,0506 và 0,0019, sát 0,05 và 0,0017. Đổi hạt giống thành default_rng(11) thì hai dòng cuối in 0.0495 và 0.0021.
Kiểm tra nhanh
Bốn nhóm, mỗi nhóm 10 quan sát, SSB = 30 và SSW = 72. F bằng bao nhiêu?
- 0,42
- 1,67
- 5
- 3,75
ANOVA ba nhóm cho p = 0,002. Những câu nào đúng?
- Ở mức ý nghĩa 5%, có bằng chứng để bác bỏ H₀ rằng ba trung bình bằng nhau
- Cả ba nhóm khác nhau từng đôi một
- Muốn biết cặp nào khác cần một phép so cặp như Tukey HSD
- Cần xem η² để biết khác biệt lớn hay nhỏ
Một bạn tính SSB bằng tổng (x̄ⱼ − x̄)² mà quên nhân nⱼ, với các nhóm mười số. F của bạn ấy so với F đúng thế nào?
- Nhỏ hơn mười lần
- Lớn hơn mười lần
- Bằng nhau vì nⱼ triệt tiêu
Ba máy có η² = 0,08 và p < 0,001. Câu đọc nào hợp lí?
- Máy giải thích 92% độ biến thiên
- Khác biệt rất mạnh vì p rất nhỏ
- Máy giải thích khoảng 8% độ biến thiên; khác biệt có thật nhưng phần lớn dao động nằm trong từng máy
Bài tập
Viết hàm ANOVA một yếu tố
cac_nhom là list các list số, ít nhất hai nhóm, mỗi nhóm ít nhất hai số, và có nhóm có các số không bằng nhau. Viết thân hàm anova(cac_nhom): tính SSB, SSW, các bậc tự do và F theo công thức của bài, rồi p-value bằng f.sf().
Không dùng f_oneway(). Hàm không sửa list của nơi gọi.
Trả về: p-value, một float.
Ví dụ anova([[4, 6, 5, 5], [7, 9, 8, 8], [5, 7, 6, 6]]) cho khoảng 0.00173.
import numpy as np
from scipy.stats import f
def anova(cac_nhom):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
ANOVA một yếu tố kiểm k trung bình bằng nhau bằng F = MSB / MSW với k − 1 và N − k bậc tự do.
SSB nhân cỡ từng nhóm; SSB + SSW = SST, và η² = SSB / SST đo độ lớn hiệu ứng.
stats.f_oneway(nhom1, nhom2, …)cho cùng F và p với bảng tính tay.ANOVA chỉ nói có nhóm khác; muốn biết cặp nào, dùng Tukey HSD thay cho nhiều t-test.
Giả định: các nhóm độc lập, gần chuẩn, phương sai gần bằng nhau.
Câu hỏi thường gặp
ANOVA là gì khi chỉ có hai nhóm?
Với hai nhóm, ANOVA cho F đúng bằng bình phương t của t-test Student (phương sai gộp), và cùng p-value. Vì vậy hai nhóm thì dùng t-test hai mẫu là đủ.
Phân tích ANOVA khi phương sai các nhóm khác nhau nhiều thì sao?
f_oneway() giả định phương sai bằng nhau. Khi giả định này vỡ, dùng ANOVA Welch (scipy.stats.f_oneway(..., equal_var=False) từ scipy 1.15) hay kiểm định Kruskal-Wallis ở bài kiểm định phi tham số.
Có hai yếu tố cùng lúc, như máy và ca làm việc, thì làm thế nào?
Đó là ANOVA hai yếu tố, cần mô hình tuyến tính của statsmodels (anova_lm()), ngoài phạm vi tutorial này. Bài học gì tiếp theo chỉ đường.
Chủ đề
Dữ liệu của bài
- Tải xuống
khoi_luong_goi.csv
CSV · 3.19 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.