Bỏ qua đến nội dung chính
Mục lục

Hồi quy đa biến: đọc hệ số và đa cộng tuyến

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 4/10 · Chương 4

Hồi quy

  • 10 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Hồi quy đa biến đoán giá từ nhiều feature cùng lúc, mỗi feature một hệ số: giá đoán đổi bao nhiêu khi feature đó tăng 1 đơn vị còn mọi feature khác đứng yên. Thêm một cột có thể làm hệ số của cột cũ đổi hẳn, vì hai lý do rất khác nhau: biến gây nhiễu, hoặc đa cộng tuyến (multicollinearity). Bài này tách hai trường hợp.

Cần biết trước: linear regression trong sklearn, hệ số tương quan và heatmap tương quan.

Công thức với nhiều feature

Với p feature, model cộng p số hạng vào hệ số chặn:

y^=b+w1x1+w2x2+⋯+wpxp\hat{y} = b + w_1 x_1 + w_2 x_2 + \dots + w_p x_p

Trong đó:

  • x₁ … xₚ (các cột của X): các feature, như diện tích, số tầng.

  • w₁ … wₚ (model.coef_): hệ số của từng feature, theo đúng thứ tự cột của X.

  • b (model.intercept_): hệ số chặn.

  • ŷ (model.predict(X)): giá đoán.

LinearRegression vẫn chọn các hệ số cho MSE nhỏ nhất, chỉ là trên nhiều cột. Đặt hai căn chỉ khác nhau ở x₁, hơn nhau đúng 1 đơn vị: mọi số hạng khác triệt tiêu, giá đoán chênh đúng w₁. Đó là nghĩa của "giữ các feature khác cố định".

Tính tay một giá đoán và đọc hệ số

Sáu căn nhà có diện tích và số tầng như bảng dưới. Fit model hai feature và model chỉ có diện tích:

python
import pandas as pd
from sklearn.linear_model import LinearRegression

nha = pd.DataFrame({"dien_tich_m2": [50, 60, 60, 80, 80, 100],
                    "so_tang": [1, 1, 2, 2, 3, 3],
                    "gia_ty": [4.3, 5.0, 5.6, 7.0, 7.5, 9.1]})
X, y = nha[["dien_tich_m2", "so_tang"]], nha["gia_ty"]
hai_cot = LinearRegression().fit(X, y)
mot_cot = LinearRegression().fit(X[["dien_tich_m2"]], y)
print(hai_cot.coef_.round(4), round(hai_cot.intercept_, 2))
print(mot_cot.coef_.round(4))

KẾT QUẢ

[0.0744 0.5236] 0.04
[0.0961]

Đoán giá căn 80 m², 2 tầng bằng tay với model hai feature:

Bước

Việc

Kết quả

1

w₁ · x₁ = 0,0744 · 80

5,952

2

w₂ · x₂ = 0,5236 · 2

1,047

3

Cộng hệ số chặn 0,04

ŷ ≈ 7,04 tỷ

4

Cùng căn đó nhưng 3 tầng: cộng thêm w₂

≈ 7,56 tỷ

Giữ diện tích, thêm một tầng thì giá đoán tăng 0,52 tỷ. Giữ số tầng, thêm 1 m² thì tăng 74 triệu. Model một cột cho mỗi mét vuông tới 96 triệu: căn rộng ở bảng này cũng thường nhiều tầng hơn, nên khi đứng một mình, diện tích "nhận" luôn phần giá của số tầng.

Số phòng ngủ: hệ số đổi vì biến gây nhiễu

Trên 2.500 căn của gia_nha.csv (số giả lập của AIDev), fit giá theo riêng số phòng ngủ, rồi fit lại trong từng loại nhà, có thêm diện tích:

python
import pandas as pd
from sklearn.linear_model import LinearRegression

nha = pd.read_csv("gia_nha.csv")
print(nha.groupby("loai_nha")["so_phong_ngu"].mean().round(2))
w = LinearRegression().fit(nha[["so_phong_ngu"]], nha["gia_ty"]).coef_[0]
print("Cả bảng, chỉ số phòng ngủ:", round(w, 3))
for loai, nhom in nha.groupby("loai_nha"):
    X = nhom[["so_phong_ngu", "dien_tich_m2"]]
    w = LinearRegression().fit(X, nhom["gia_ty"]).coef_[0]
    print(loai, round(w, 3))

KẾT QUẢ

loai_nha
Căn hộ chung cư    2.37
Nhà hẻm            3.03
Nhà phố            4.96
Name: so_phong_ngu, dtype: float64
Cả bảng, chỉ số phòng ngủ: 1.971
Căn hộ chung cư -0.053
Nhà hẻm 0.006
Nhà phố -0.022

Trên cả bảng, mỗi phòng ngủ thêm gần 2 tỷ vào giá đoán; so các căn cùng loại, cùng diện tích thì gần như 0. Nhà phố trung bình có gần 5 phòng ngủ, căn hộ chưa tới 2,4, và nhà phố đắt hơn hẳn, nên đứng một mình, số phòng ngủ nhận luôn phần giá của loại nhà và diện tích. Dữ liệu này sinh ra mà giá không phụ thuộc trực tiếp vào số phòng ngủ, nên con số gần 0 mới đúng. Loại nhà là biến gây nhiễu: nó đẩy cả số phòng ngủ lẫn giá, như bài tương quan và nhân quả mô tả. Đổi ["so_phong_ngu", "dien_tich_m2"] thành ["so_phong_ngu"] rồi chạy lại: dòng cuối in Nhà phố 1.183, vì chưa giữ diện tích thì phòng ngủ lại gánh phần giá của diện tích.

Đo đa cộng tuyến: heatmap và VIF

Hệ số của số phòng ngủ đổi mạnh, nhưng chưa chắc vì đa cộng tuyến. Xem trước các feature số tương quan với nhau tới đâu:

python
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt

nha = pd.read_csv("gia_nha.csv")
cot = ["dien_tich_m2", "so_phong_ngu", "so_tang",
       "khoang_cach_trung_tam_km", "tuoi_nha"]
fig, ax = plt.subplots(figsize=(6.4, 4), layout="constrained")
sns.heatmap(nha[cot].corr().round(2) + 0.0, annot=True, fmt=".2f", vmin=-1, vmax=1,
            cmap="RdBu_r", ax=ax)
ax.set_title("Tương quan giữa năm feature số")
plt.show()
Heatmap 5 × 5 tương quan giữa diện tích, số phòng ngủ, số tầng, khoảng cách trung tâm, tuổi nhà; ô đậm nhất ngoài đường chéo là số phòng ngủ với số tầng 0,54, hàng khoảng cách gần 0 ở mọi ô.

Cặp đậm nhất chỉ là số phòng ngủ với số tầng, 0,54. Heatmap chỉ nhìn từng cặp; VIF (variance inflation factor) nhìn một cột so với mọi cột còn lại: fit cột đó theo các feature khác, lấy R², rồi tính

VIF=11−R2\text{VIF} = \frac{1}{1 - R^2}

Trong đó R² là tỉ lệ biến động của cột đó mà các feature khác giải thích được. VIF 1 là không liên quan; từ khoảng 5 tới 10 trở lên là cột gần như đoán được từ các cột kia:

python
import pandas as pd
from sklearn.linear_model import LinearRegression

nha = pd.read_csv("gia_nha.csv")
cot = ["dien_tich_m2", "so_phong_ngu", "so_tang",
       "khoang_cach_trung_tam_km", "tuoi_nha"]
for c in cot:
    khac = [k for k in cot if k != c]
    r2 = LinearRegression().fit(nha[khac], nha[c]).score(nha[khac], nha[c])
    print(c, round(1 / (1 - r2), 2))

KẾT QUẢ

dien_tich_m2 1.18
so_phong_ngu 1.67
so_tang 1.5
khoang_cach_trung_tam_km 1.0
tuoi_nha 1.06

VIF lớn nhất chỉ 1,67: cú rơi từ 1,97 về gần 0 ở mục trước là do biến gây nhiễu, không phải đa cộng tuyến.

Đa cộng tuyến thật: thêm diện tích sàn

Diện tích sàn bằng diện tích đất nhân số tầng, nên đưa cả ba cột vào thì biết hai cột là đoán được cột thứ ba. Lấy 20 mẫu 30 căn, so hệ số số tầng và giá đoán cho căn 80 m², 3 tầng, khi có và không có cột diện tích sàn:

python
import numpy as np
import pandas as pd
from sklearn.linear_model import LinearRegression
nha = pd.read_csv("gia_nha.csv")
nha["dien_tich_san"] = nha["dien_tich_m2"] * nha["so_tang"]
can = pd.DataFrame({"dien_tich_m2": [80], "so_tang": [3], "dien_tich_san": [240]})
for cot in [["dien_tich_m2", "so_tang"], ["dien_tich_m2", "so_tang", "dien_tich_san"]]:
    w, doan = [], []
    for k in range(20):
        mau = nha.sample(30, random_state=k)
        m = LinearRegression().fit(mau[cot], mau["gia_ty"])
        w.append(m.coef_[1])
        doan.append(m.predict(can[cot])[0])
    print(len(cot), "cột: hệ số số tầng", round(min(w), 2), "tới", round(max(w), 2),
          "| giá đoán căn mẫu", round(min(doan), 1), "tới", round(max(doan), 1))

KẾT QUẢ

2 cột: hệ số số tầng 0.06 tới 2.44 | giá đoán căn mẫu 5.6 tới 9.8
3 cột: hệ số số tầng -4.22 tới 4.83 | giá đoán căn mẫu 5.5 tới 10.9

Có cột diện tích sàn, hệ số số tầng nhảy từ −4,2 tới 4,8 giữa các mẫu, còn giá đoán dao động gần như cũ. Trên 200 mẫu, hệ số số tầng âm 129 lần (không có cột sàn: 0 lần), độ lệch chuẩn của nó tăng từ 0,61 lên 1,91, còn của giá đoán chỉ từ 1,15 lên 1,23 tỷ. Trên cả bảng, VIF của số tầng là 11,1, của diện tích sàn 13,7.

"Thêm một tầng, giữ nguyên diện tích đất và diện tích sàn" là căn nhà không thể có, nên dữ liệu không cho model tách phần giá của số tầng khỏi phần của diện tích sàn; nó chỉ biết chắc tổng tác động của cả cụm.

Kiểm tra nhanh

  1. Model có coef_ là [0.08, 0.5] cho hai cột diện tích, số tầng. Hai căn cùng diện tích, căn B hơn căn A một tầng. Giá đoán của B hơn A bao nhiêu?

    • 0,08 tỷ
    • 0,5 tỷ
    • 0,58 tỷ
  2. Sau import numpy as np và w = np.array([0.0744, 0.5236]), print(round(float(w @ [80, 2] + 0.04), 2)) in ra gì?

    • 7.04
    • 6.0
    • 7.56
  3. Những dấu hiệu nào cho thấy đa cộng tuyến?

    • VIF của một cột từ khoảng 10 trở lên
    • Hai cột trùng thông tin chia nhau hệ số tùy ý mà giá đoán không đổi
    • LinearRegression báo lỗi khi fit
    • Hệ số của một cột giảm khi thêm một cột khác
  4. Vì sao số phòng ngủ có hệ số 1,97 trên cả bảng nhưng gần 0 khi fit trong từng loại nhà có thêm diện tích?

    • Vì model trong từng loại nhà bị overfitting
    • Vì số phòng ngủ đi theo loại nhà và diện tích, nên một mình nó nhận luôn phần giá của hai thứ đó
    • Vì số phòng ngủ có VIF rất lớn
Đúng hết lần đầu +15 XP

Bài tập

Hệ số của một feature trước và sau khi thêm cột

nha là một DataFrame có cột gia_ty và các cột số khác. cot là tên một cột, cac_cot_them là list tên các cột khác (không chứa cot). Viết thân hàm he_so_truoc_sau(nha, cot, cac_cot_them): fit một LinearRegression đoán gia_ty chỉ từ cot, rồi fit một model nữa từ cot và mọi cột trong cac_cot_them, lấy hệ số của cot ở cả hai model.

Hàm không sửa bảng nha hay list cac_cot_them của nơi gọi.

Trả về: hệ số trước rồi hệ số sau, một tuple hai số float.

Ví dụ với bảng sáu căn của bài, he_so_truoc_sau(nha, "dien_tich_m2", ["so_tang"]) cho khoảng (0.0961, 0.0744).

python
from sklearn.linear_model import LinearRegression

def he_so_truoc_sau(nha, cot, cac_cot_them):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • Hồi quy đa biến cộng mỗi feature một số hạng w·x vào hệ số chặn; coef_ theo thứ tự cột của X.

  • Mỗi hệ số là mức đổi của giá đoán khi feature đó tăng 1 còn mọi feature khác đứng yên.

  • Hệ số đổi khi thêm cột có thể vì biến gây nhiễu: cột cũ từng gánh phần giá của cột mới, như số phòng ngủ gánh giá của loại nhà.

  • Đa cộng tuyến là khi một cột gần như đoán được từ các cột khác; VIF = 1 / (1 − R²) đo điều đó, từ khoảng 5 tới 10 trở lên là đáng ngại.

  • Dưới đa cộng tuyến, giá đoán vẫn ổn định; chỉ từng hệ số riêng lẻ là mất nghĩa.

Câu hỏi thường gặp

Đa cộng tuyến có làm model đoán kém đi không?

Trên dữ liệu giống lúc train thì gần như không: ở mục diện tích sàn, độ lệch chuẩn của giá đoán chỉ tăng từ 1,15 lên 1,23 tỷ. Rủi ro nằm ở dữ liệu mới mà các cột không còn đi cùng nhau như lúc train, và ở người đọc hệ số.

Làm sao xử lý đa cộng tuyến?

Tùy mục đích. Chỉ cần dự đoán thì thường để nguyên. Muốn hệ số bớt nhảy giữa các mẫu mà vẫn giữ mọi cột thì thêm phạt hệ số như Ridge, bài regularization. Muốn đọc nghĩa từng hệ số thì đặt lại câu hỏi bằng các cột không khóa nhau: diện tích sàn đã gồm số tầng, nên hỏi giá theo diện tích sàn và diện tích đất là một câu hỏi trả lời được, còn "thêm một tầng, giữ nguyên diện tích sàn" thì không.

Thêm cột chữ như quận, loại nhà vào X thế nào?

Model chỉ nhận số, nên cột chữ phải đổi thành các cột 0/1 trước. Bài pd.get_dummies làm việc đó.

Chủ đề

đa cộng tuyến

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập