Independent t test: kiểm định t hai mẫu, ttest_ind(), Welch
Bài 3/14 · Chương 10
Các kiểm định thường dùng
- 8 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 11
Independent t test, hay kiểm định t hai mẫu độc lập, so trung bình của hai nhóm gồm những đối tượng khác nhau, như điểm của hai lớp. Cách tính: hiệu hai trung bình chia cho sai số chuẩn của hiệu, rồi tra phân phối t; trong Python là stats.ttest_ind(a, b, equal_var=False). Tham số equal_var=False chọn bản Welch, an toàn hơn bản Student mặc định khi hai nhóm có thể khác phương sai.
Cần biết trước: kiểm định t một mẫu, p-value, mô phỏng Monte Carlo và lọc dữ liệu với loc.
Công thức Welch và tính tay
Hai lớp làm cùng một bài kiểm tra, mỗi lớp chọn ngẫu nhiên 5 bài để chấm lại: lớp 11A được 7,5; 8,0; 6,5; 9,0; 8,5, lớp 11B được 6,0; 7,0; 5,5; 8,0; 6,0. Câu hỏi đặt trước: điểm trung bình hai lớp có khác nhau không? H₀: μ₁ = μ₂, H₁: μ₁ ≠ μ₂, α = 0,05.
Bản Welch không giả định hai nhóm cùng phương sai; mỗi nhóm góp phần sai số chuẩn của riêng nó:
Trong đó:
x̄₁, x̄₂ (
a.mean(),b.mean()): trung bình của hai nhóm.s₁², s₂² (
a.var(ddof=1),b.var(ddof=1)): phương sai mẫu của từng nhóm, chia n − 1.n₁, n₂ (
len(a),len(b)): cỡ của hai nhóm.
Bậc tự do của Welch không phải số nguyên mà tính từ chính hai phần sai số chuẩn, với v₁ = s₁²/n₁ và v₂ = s₂²/n₂:
Trong đó:
v₁, v₂ (
v1,v2): phần sai số chuẩn bình phương của từng nhóm.df (
kq.df): bậc tự do dùng để tra phân phối t.
Bước | Việc | Kết quả |
|---|---|---|
1 | x̄₁, x̄₂ | 7,9 và 6,5 |
2 | s₁², s₂² | 0,925 và 1,0 |
3 | v₁ = 0,925/5, v₂ = 1,0/5 | 0,185 và 0,2 |
4 | t = 1,4/√0,385 | 2,26 |
5 | df = 0,385²/(0,185²/4 + 0,2²/4) | 7,99 |
import numpy as np
from scipy import stats
a = np.array([7.5, 8.0, 6.5, 9.0, 8.5])
b = np.array([6.0, 7.0, 5.5, 8.0, 6.0])
v1, v2 = a.var(ddof=1) / len(a), b.var(ddof=1) / len(b)
t = (a.mean() - b.mean()) / np.sqrt(v1 + v2)
df = (v1 + v2) ** 2 / (v1**2 / (len(a) - 1) + v2**2 / (len(b) - 1))
p = 2 * stats.t.sf(abs(t), df)
print(f"t = {t:.2f}, df = {df:.2f}, p = {p:.3f}")KẾT QUẢ
t = 2.26, df = 7.99, p = 0.054ttest_ind(): Welch và Student
stats.ttest_ind(a, b, equal_var=False) làm đúng các bước trên. Bỏ equal_var=False thì scipy dùng bản Student: gộp hai phương sai thành một, df = n₁ + n₂ − 2:
import numpy as np
from scipy import stats
a = np.array([7.5, 8.0, 6.5, 9.0, 8.5])
b = np.array([6.0, 7.0, 5.5, 8.0, 6.0])
welch = stats.ttest_ind(a, b, equal_var=False)
student = stats.ttest_ind(a, b)
for ten, kq in [("Welch: ", welch), ("Student:", student)]:
print(f"{ten} t = {kq.statistic:.2f}, p = {kq.pvalue:.3f}")KẾT QUẢ
Welch: t = 2.26, p = 0.054
Student: t = 2.26, p = 0.054Hai nhóm cùng cỡ và phương sai gần nhau, nên hai bản gần như trùng. Đọc kết quả Welch: nếu hai lớp có cùng điểm trung bình, xác suất có hiệu ít nhất 1,4 điểm giữa hai mẫu 5 bài là 0,054. p > 0,05: chưa đủ bằng chứng để bác bỏ H₀ ở mức 5%. Hiệu 1,4 điểm không nhỏ, nhưng với 5 bài mỗi lớp, dữ liệu chưa đủ bằng chứng để bác bỏ H₀. Đổi 6.0, 7.0 thành 5.0, 7.0 rồi chạy lại: hai dòng in Welch: t = 2.32, p = 0.050 và Student: t = 2.32, p = 0.049. Ở sát α, chỉ riêng việc chọn bản nào đã đổi được kết luận, nên chọn bản trước khi xem p.
So chiều cao hai khối trên dữ liệu thật
File chieu_cao_can_nang.csv là số giả lập của AIDev: 360 học sinh, cột khoi, gioi_tinh, chieu_cao_cm. Câu hỏi đặt trước: chiều cao trung bình của nữ khối 12 có khác nữ khối 10 không? Hai phía, α = 0,05. Lọc hai nhóm bằng .loc:
import pandas as pd
from scipy import stats
df = pd.read_csv("chieu_cao_can_nang.csv")
nu = df.loc[df["gioi_tinh"] == "Nữ"]
k12 = nu.loc[nu["khoi"] == 12, "chieu_cao_cm"]
k10 = nu.loc[nu["khoi"] == 10, "chieu_cao_cm"]
for ten, x in [("Khối 12", k12), ("Khối 10", k10)]:
print(f"{ten}: {x.mean():.2f} cm (s = {x.std(ddof=1):.2f}, n = {len(x)})")
kq = stats.ttest_ind(k12, k10, equal_var=False)
print(f"t = {kq.statistic:.2f}, df = {kq.df:.1f}, p = {kq.pvalue:.3f}")
ktc = kq.confidence_interval(confidence_level=0.95)
print(f"KTC 95% của hiệu: {ktc.low:.2f} đến {ktc.high:.2f} cm")
s_gop = ((k12.var(ddof=1) + k10.var(ddof=1)) / 2) ** 0.5
print(f"Cohen's d = {(k12.mean() - k10.mean()) / s_gop:.2f}")KẾT QUẢ
Khối 12: 157.54 cm (s = 4.20, n = 60)
Khối 10: 156.29 cm (s = 5.84, n = 60)
t = 1.35, df = 107.1, p = 0.178
KTC 95% của hiệu: -0.58 đến 3.10 cm
Cohen's d = 0.25Nếu nữ hai khối có cùng chiều cao trung bình, xác suất có hiệu ít nhất 1,26 cm giữa hai mẫu 60 em là 0,178: chưa đủ bằng chứng để bác bỏ H₀ ở mức 5% (t = 1,35, df = 107,1). Khoảng tin cậy 95% của hiệu đi từ −0,58 đến 3,10 cm, chứa 0, nên dữ liệu hợp với cả hiệu bằng 0 lẫn hiệu khoảng 3 cm. Độ lớn hiệu ứng (effect size) Cohen's d chia hiệu trung bình cho độ lệch chuẩn gộp √((s₁² + s₂²)/2) của hai nhóm cùng cỡ: d = 0,25, một hiệu nhỏ so với độ phân tán chiều cao trong mỗi khối. Điều này không nói hai khối cao như nhau: ta biết file có sinh chênh lệch theo khối vì AIDev tự sinh nó, chỉ là 60 em mỗi nhóm cho lực kiểm định thấp với hiệu cỡ 1 cm, như bài sai lầm loại 1 và loại 2 đã mô phỏng.
Vì sao Welch an toàn hơn: mô phỏng
Bản Student giả định hai nhóm cùng phương sai. Khi giả định đó sai và hai nhóm khác cỡ, nó bác bỏ nhầm nhiều hơn α. Mô phỏng 4.000 thí nghiệm khi H₀ đúng (cùng trung bình 0): nhóm A 40 giá trị với độ lệch chuẩn 1, nhóm B 10 giá trị với độ lệch chuẩn 4. ttest_ind(..., axis=1) chạy cả 4.000 phép kiểm định một lúc, mỗi hàng một thí nghiệm:
import numpy as np
from scipy import stats
rng = np.random.default_rng(76)
nhom_a = rng.normal(0, 1, size=(4_000, 40))
nhom_b = rng.normal(0, 4, size=(4_000, 10))
p_student = stats.ttest_ind(nhom_a, nhom_b, axis=1).pvalue
welch = stats.ttest_ind(nhom_a, nhom_b, axis=1, equal_var=False)
p_welch = welch.pvalue
print("Bác bỏ nhầm, Student:", (p_student <= 0.05).mean())
print("Bác bỏ nhầm, Welch: ", (p_welch <= 0.05).mean())KẾT QUẢ
Bác bỏ nhầm, Student: 0.299
Bác bỏ nhầm, Welch: 0.05275Lần chạy này, Student bác bỏ nhầm khoảng 30% số thí nghiệm, gấp sáu lần α; Welch giữ được gần 5%. Khi phương sai bằng nhau, Welch chỉ kém Student rất ít. Vì vậy nhiều người mặc định dùng Welch.
Kiểm tra nhanh
Sau
from scipy import stats,print(round(stats.ttest_ind([1, 2, 3], [4, 5, 6], equal_var=False).statistic, 2))in ra gì?-3.673.67-3.0
Vì sao Welch an toàn hơn Student?
- Vì Welch luôn cho p nhỏ hơn
- Vì Welch không giả định hai nhóm cùng phương sai, nên vẫn giữ α khi giả định đó sai
- Vì Welch không cần dữ liệu gần chuẩn
- Vì Welch dùng df = n₁ + n₂ − 2
Hai nhóm: 40 giá trị độ lệch chuẩn 1 và 10 giá trị độ lệch chuẩn 4, cùng trung bình. Những câu nào đúng?
ttest_ind(a, b)mặc định bác bỏ nhầm nhiều hơn 5% ở α = 0,05ttest_ind(a, b, equal_var=False)giữ tỉ lệ bác bỏ nhầm gần 5%- Hai bản cho cùng p vì cùng dữ liệu
- Nên đổi α thành 0,01 để sửa
Tình huống nào dùng được
ttest_ind()?- Thời gian giao của 60 đơn Hãng A và 55 đơn Hãng B
- Cân nặng của 20 người trước và sau ba tháng tập
- Điểm hai môn Toán và Văn của cùng 30 học sinh
- Một nhóm 40 gói so với 500 g
Bài tập
Tự viết kiểm định t Welch
Viết thân hàm t_welch(a, b): với hai danh sách số đo độc lập a và b, tính thống kê t Welch (nhóm a trừ nhóm b, phương sai chia n − 1), bậc tự do Welch, và p-value hai phía từ phân phối t.
Dùng stats.t. Không dùng ttest_ind(), ttest_rel() hay ttest_1samp(). Không sửa a, b của nơi gọi.
Trả về: cặp (t, p), hai float.
Ví dụ t_welch([7.5, 8.0, 6.5, 9.0, 8.5], [6.0, 7.0, 5.5, 8.0, 6.0]) cho khoảng (2.2563, 0.0541).
import numpy as np
from scipy import stats
def t_welch(a, b):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Kiểm định t hai mẫu độc lập so trung bình của hai nhóm đối tượng khác nhau.
Welch: t = (x̄₁ − x̄₂)/√(s₁²/n₁ + s₂²/n₂), df tính từ hai phần sai số chuẩn;
stats.ttest_ind(a, b, equal_var=False).Mặc định của scipy là Student (
equal_var=True), gộp phương sai; sai khi hai nhóm khác phương sai và khác cỡ.Welch giữ α trong cả hai trường hợp và chỉ kém Student rất ít khi phương sai bằng nhau, nên dùng làm mặc định.
Dữ liệu cặp (trước, sau trên cùng người) dùng
ttest_rel(), không dùngttest_ind().
Câu hỏi thường gặp
Có cần kiểm định Levene trước khi chọn Welch hay Student?
Không cần nếu bạn mặc định Welch: nó đúng cả khi phương sai bằng nhau lẫn khác nhau. Chạy Levene trước rồi chọn theo kết quả là một bước kiểm định nữa, làm tỉ lệ bác bỏ nhầm khó kiểm soát hơn.
So sánh hai trung bình khi dữ liệu lệch mạnh thì sao?
Với mẫu lớn, t-test chịu được lệch vừa phải. Lệch mạnh hay có ngoại lai lớn ở mẫu nhỏ thì dùng kiểm định hoán vị trên hiệu trung bình hay trung vị, hoặc Mann-Whitney.
Scipy stats ttest_ind trả về những gì?
Một đối tượng có statistic (t), pvalue và df, cùng phương thức confidence_interval() cho khoảng tin cậy của hiệu hai trung bình. Mặc định hai phía; đổi bằng alternative="less" hay "greater".
Chủ đề
Dữ liệu của bài
- Tải xuống
chieu_cao_can_nang.csv
CSV · 9.01 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.