Bỏ qua đến nội dung chính
Mục lục

Kiểm định hệ số hồi quy, đọc bảng statsmodels OLS

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 6/7 · Chương 11

Tương quan và hồi quy đơn

  • 9 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Kiểm định hệ số hồi quy hỏi hệ số dốc b₁ của mẫu có đủ xa 0 để tin rằng y thật sự đổi theo x. Khoảng tin cậy cho b₁ nói độ dốc thật có thể nằm trong khoảng nào. Cách tính: sai số chuẩn SE(b₁) = s/√Sxx, thống kê t = b₁/SE(b₁) với n − 2 bậc tự do, và bảng statsmodels OLS in đúng các số đó ở các cột coef, std err, t, P>|t|.

Cần biết trước: hồi quy đơn, khoảng tin cậy cho trung bình và cài đặt SciPy, statsmodels.

Công thức sai số chuẩn, t và khoảng tin cậy

Phần dư cho biết điểm rải quanh đường bao xa. Từ đó ước lượng độ lệch chuẩn của nhiễu, rồi sai số chuẩn của hệ số dốc:

s=∑i=1nei2n−2,SE(b1)=sSxxs = \sqrt{\frac{\sum_{i=1}^{n} e_i^2}{n - 2}}, \qquad SE(b_1) = \frac{s}{\sqrt{S_{xx}}}

Trong đó:

  • e với chỉ số i (du[i]): phần dư của điểm thứ i.

  • n − 2 (len(x) - 2): bậc tự do, vì đã ước lượng hai hệ số b₀ và b₁.

  • s: độ lệch chuẩn ước lượng của nhiễu quanh đường.

  • Sxx ((lx ** 2).sum()): tổng bình phương độ lệch của x.

  • SE(b₁) (kq.stderr): sai số chuẩn của hệ số dốc.

Kiểm định hai phía H₀: độ dốc thật β₁ = 0, H₁: β₁ ≠ 0 dùng thống kê và khoảng tin cậy:

t=b1SE(b1),b1±t∗⋅SE(b1)t = \frac{b_1}{SE(b_1)}, \qquad b_1 \pm t^{*} \cdot SE(b_1)

Trong đó:

  • t: thống kê kiểm định, theo phân phối Student t với n − 2 bậc tự do khi H₀ đúng.

  • t* (stats.t.ppf(0.975, n - 2)): phân vị t cho khoảng tin cậy 95%.

x trải rộng (Sxx lớn) và điểm sát đường (s nhỏ) thì SE nhỏ, hệ số dốc được ước lượng chặt.

Tính tay trên năm học sinh

Năm em của bài trước có b₁ = 11/18 ≈ 0,611 và tổng bình phương phần dư 2,478. Vậy s = √(2,478/3) ≈ 0,909, SE = 0,909/√18 ≈ 0,214, t = 0,611/0,214 ≈ 2,85 với 3 bậc tự do. Khối dưới làm lại các bước, lấy phân vị và p-value từ SciPy:

python
import math
from scipy import stats

gio = [2, 4, 5, 7, 7]
diem = [5.0, 6.0, 7.5, 7.0, 9.0]
n, b1, b0 = 5, 11 / 18, 6.9 - 11 / 18 * 5
sse = sum((b - b0 - b1 * a) ** 2 for a, b in zip(gio, diem))
se = math.sqrt(sse / (n - 2)) / math.sqrt(18)
t = b1 / se
p = 2 * stats.t.sf(abs(t), n - 2)
t_sao = stats.t.ppf(0.975, n - 2)
print("SE =", round(se, 4), "| t =", round(t, 3), f"| p = {p:.3f}")
print("KTC:", round(b1 - t_sao * se, 3), "đến",
      round(b1 + t_sao * se, 3))

KẾT QUẢ

SE = 0.2142 | t = 2.853 | p = 0.065
KTC: -0.071 đến 1.293

H₀: β₁ = 0, H₁: β₁ ≠ 0, α = 5%. Ở mức ý nghĩa 5%, dữ liệu chưa đủ bằng chứng để bác bỏ H₀: với năm em, độ dốc 0,61 điểm mỗi giờ chưa tách được khỏi 0. Khoảng tin cậy từ khoảng −0,07 đến 1,29 chứa 0, khớp với kết luận đó.

Đổi 0.975 thành 0.95 rồi chạy lại: dòng cuối in KTC: 0.107 đến 1.115, khoảng 90% hẹp hơn và không còn chứa 0.

Tính bằng linregress() và đọc bảng OLS của statsmodels

Với 160 học sinh của diem_kiem_tra.csv (số giả lập của AIDev), linregress() cho sẵn stderr và pvalue, chỉ cần thêm t.ppf() để có khoảng tin cậy:

python
import pandas as pd
from scipy import stats

hs = pd.read_csv("diem_kiem_tra.csv")
kq = stats.linregress(hs["gio_tu_hoc"], hs["diem_toan"])
t_sao = stats.t.ppf(0.975, len(hs) - 2)
print("b1 =", round(kq.slope, 4), "| SE =", round(kq.stderr, 4))
print("t =", round(kq.slope / kq.stderr, 2))
print("p < 0.001" if kq.pvalue < 0.001 else f"p = {kq.pvalue:.3f}")
print("KTC 95%:", round(kq.slope - t_sao * kq.stderr, 3), "đến",
      round(kq.slope + t_sao * kq.stderr, 3))

KẾT QUẢ

b1 = 0.1878 | SE = 0.0275
t = 6.83
p < 0.001
KTC 95%: 0.133 đến 0.242

Mô hình OLS của statsmodels cho cùng số. summary() in một bảng rộng khoảng 78 cột, nên khối dưới in từng cột của bảng hệ số:

python
import pandas as pd
import statsmodels.formula.api as smf

hs = pd.read_csv("diem_kiem_tra.csv")
mh = smf.ols("diem_toan ~ gio_tu_hoc", data=hs).fit()
ktc = mh.conf_int()
for ten in mh.params.index:
    p = mh.pvalues[ten]
    p_in = "p < 0.001" if p < 0.001 else f"p = {p:.3f}"
    print(ten, "| coef", round(mh.params[ten], 4), "| std err",
          round(mh.bse[ten], 4), "| t", round(mh.tvalues[ten], 2))
    print("   ", p_in, "| KTC", round(ktc.loc[ten, 0], 3),
          "đến", round(ktc.loc[ten, 1], 3))

KẾT QUẢ

Intercept | coef 5.9073 | std err 0.1871 | t 31.57
    p < 0.001 | KTC 5.538 đến 6.277
gio_tu_hoc | coef 0.1878 | std err 0.0275 | t 6.83
    p < 0.001 | KTC 0.133 đến 0.242

Cách đọc từng cột của bảng summary():

Cột

Thuộc tính

Nghĩa

coef

mh.params

b₀ (dòng Intercept), b₁ (dòng của biến x)

std err

mh.bse

sai số chuẩn của hệ số

t

mh.tvalues

coef chia std err

P>|t|

mh.pvalues

p-value hai phía của H₀: hệ số bằng 0

[0.025 0.975]

mh.conf_int()

khoảng tin cậy 95%

Bảng in P>|t| là 0.000 khi p rất nhỏ: đọc là p < 0,001, vì bảng chỉ in ba chữ số thập phân. Ở mức ý nghĩa 5%, dữ liệu đủ bằng chứng để bác bỏ H₀: β₁ = 0. Trong 160 em, mỗi giờ tự học thêm đi cùng điểm Toán cao hơn khoảng 0,13 đến 0,24 điểm. Dòng Intercept kiểm định b₀ = 0, tức điểm khi tự học 0 giờ, ít khi là câu hỏi cần trả lời.

Mô phỏng: khoảng tin cậy 95% trúng bao nhiêu lần?

Khối dưới đặt độ dốc thật 0,2, rút 4.000 mẫu 10 em, dựng khoảng tin cậy 95% cho mỗi mẫu bằng t* và bằng 1,96, rồi đếm tỉ lệ khoảng chứa 0,2:

python
import numpy as np
from scipy import stats

rng = np.random.default_rng(93)
x = rng.uniform(1, 15, size=(4_000, 10))
y = 6 + 0.2 * x + rng.normal(0, 1.3, size=(4_000, 10))
lx = x - x.mean(axis=1, keepdims=True)
sxx = (lx ** 2).sum(axis=1)
b1 = (lx * (y - y.mean(axis=1, keepdims=True))).sum(axis=1) / sxx
b0 = y.mean(axis=1) - b1 * x.mean(axis=1)
du = y - b0[:, None] - b1[:, None] * x
se = np.sqrt((du ** 2).sum(axis=1) / 8) / np.sqrt(sxx)
for ten, k in [("t*", stats.t.ppf(0.975, 8)), ("1,96", 1.96)]:
    print(ten, "trúng:", round(np.mean(abs(b1 - 0.2) <= k * se), 3))

KẾT QUẢ

t* trúng: 0.949
1,96 trúng: 0.92

Lần chạy này cho khoảng dùng t* trúng gần 95% như hứa, còn khoảng dùng 1,96 trúng ít hơn rõ rệt. Đổi default_rng(93) thành default_rng(8) để thấy hai tỉ lệ dao động nhẹ nhưng giữ thứ tự đó.

Kiểm phần dư

t, p-value và khoảng tin cậy ở trên giả định phần dư độc lập, có phương sai đều theo x và gần chuẩn. Vẽ phần dư theo x để xem có hình phễu hay đường cong không, và chạy kiểm định Shapiro-Wilk cho dạng phân phối:

python
import pandas as pd
import matplotlib.pyplot as plt
from scipy import stats
import statsmodels.formula.api as smf

hs = pd.read_csv("diem_kiem_tra.csv")
mh = smf.ols("diem_toan ~ gio_tu_hoc", data=hs).fit()
print(f"Shapiro-Wilk p = {stats.shapiro(mh.resid).pvalue:.3f}")
fig, ax = plt.subplots(figsize=(6.4, 4), layout="constrained")
ax.scatter(hs["gio_tu_hoc"], mh.resid, s=12, alpha=0.6)
ax.axhline(0, color="C3")
ax.set(xlabel="Giờ tự học mỗi tuần", ylabel="Phần dư (điểm)",
       title="Phần dư theo giờ tự học")
plt.show()

KẾT QUẢ

Shapiro-Wilk p = 0.870
Biểu đồ phân tán phần dư theo giờ tự học 1 đến 15, các điểm rải trong khoảng −2,5 đến 2,5 quanh đường đỏ nằm ngang tại 0, độ rộng gần như nhau ở các mức giờ, có một điểm thấp −3,7 ở 3 giờ.

Phần dư rải đều quanh 0 từ 1 tới 15 giờ, không có hình phễu hay đường cong. Shapiro-Wilk cho p lớn, nên chưa thấy dấu hiệu lệch chuẩn. Kết luận về b₁ ở trên dùng được. Thấy hình phễu (phương sai tăng theo x) thì SE của bảng OLS không còn tin được.

Kiểm tra nhanh

  1. Bảng OLS có coef = 0.1878 và std err = 0.0275. print(round(0.1878 / 0.0275, 2)) in ra gì?

    • 6.83
    • 0.15
    • 0.01
  2. Dòng gio_tu_hoc của bảng OLS ghi P>|t| là 0.000. Câu nào đúng?

    • p-value bằng đúng 0
    • p-value nhỏ hơn 0,001 và bảng chỉ in ba chữ số thập phân
    • Hệ số dốc bằng 0
    • Xác suất giờ tự học không liên quan bằng 0
  3. Trong khung bẫy, vì sao khoảng dùng 1,96 sai với 5 em?

    • Vì 1,96 là phân vị một phía
    • Vì với n − 2 = 3 bậc tự do, phân vị t 95% là 3,18, lớn hơn nhiều
    • Vì phải dùng n − 1 bậc tự do
  4. Những câu nào đúng khi đọc bảng hệ số của mô hình OLS?

    • Khoảng tin cậy 95% của b₁ không chứa 0 thì p của b₁ nhỏ hơn 0,05
    • Dòng Intercept kiểm định hệ số chặn bằng 0
    • std err càng lớn thì ước lượng càng chính xác
    • t bằng coef chia std err
Đúng hết lần đầu +15 XP

Bài tập

Khoảng tin cậy cho hệ số dốc

Viết thân hàm khoang_doc(x, y, do_tin_cay=0.95) trả khoảng tin cậy hai phía cho hệ số dốc của đường hồi quy y theo x: b₁ ± t* · SE(b₁), với t* là phân vị t mức (1 + do_tin_cay)/2 và n − 2 bậc tự do. x, y là hai list số cùng độ dài, ít nhất ba phần tử, và các điểm không cùng nằm trên một đường thẳng.

Được dùng stats.linregress() để lấy b₁ và SE. Không dùng ols( hay OLS( của statsmodels. Hàm không sửa x, y của nơi gọi.

Trả về: một tuple (can_duoi, can_tren) gồm hai số thực.

Ví dụ khoang_doc([2, 4, 5, 7, 7], [5.0, 6.0, 7.5, 7.0, 9.0]) cho khoảng (-0.0706, 1.2928).

python
from scipy import stats


def khoang_doc(x, y, do_tin_cay=0.95):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • SE(b₁) = s/√Sxx, với s = √(Σe²/(n − 2)) là độ lệch chuẩn ước lượng của nhiễu.

  • Kiểm định H₀: β₁ = 0 dùng t = b₁/SE(b₁) với n − 2 bậc tự do; khoảng tin cậy là b₁ ± t*·SE(b₁).

  • linregress() cho slope, stderr, pvalue; thêm stats.t.ppf() để có khoảng tin cậy.

  • Bảng statsmodels OLS: coef, std err, t, P>|t|, [0.025 0.975] là params, bse, tvalues, pvalues, conf_int().

  • Kiểm phần dư (rải đều quanh 0, gần chuẩn) trước khi tin p-value và khoảng tin cậy.

Câu hỏi thường gặp

Ý nghĩa hệ số hồi quy là gì?

b₁ là mức y đổi trung bình khi x tăng một đơn vị, theo đơn vị của y. Với điểm Toán theo giờ tự học, b₁ ≈ 0,19 là 0,19 điểm mỗi giờ. Trong dữ liệu quan sát, nó mô tả hai biến đi cùng nhau, chưa nói tác động.

p-value của hệ số dốc có khác p-value của kiểm định tương quan không?

Không khác. Với một biến x, H₀: β₁ = 0 và H₀: ρ = 0 cho cùng t và cùng p, nên linregress().pvalue bằng pearsonr().pvalue.

Vì sao statsmodels cần thêm hệ số chặn bằng tay?

Công thức smf.ols("y ~ x", data=...) tự thêm Intercept. Cách sm.OLS(y, X) thì không, nên phải gọi sm.add_constant(X) trước; quên bước này thì đường bị ép đi qua gốc tọa độ.

Bảng summary() còn nhiều số khác, đọc thế nào?

Các số như AIC, Durbin-Watson, R-squared điều chỉnh phục vụ so sánh mô hình nhiều biến. Phần đó thuộc tutorial Machine Learning (bài hồi quy đa biến).

Chủ đề

statsmodels ols

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập