Bỏ qua đến nội dung chính
Mục lục

Polynomial regression: PolynomialFeatures, hồi quy đa thức

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 6/10 · Chương 4

Hồi quy

  • 7 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Polynomial regression (hồi quy đa thức) là hồi quy tuyến tính chạy trên các cột x, x², x³… thay vì chỉ x, nên vẽ được đường cong. Trong scikit-learn, PolynomialFeatures tạo các cột lũy thừa và tích chéo đó, LinearRegression fit trên chúng, và cross validation chọn bậc để model không học thuộc dữ liệu.

Cần biết trước: pipeline trong sklearn, overfitting và underfitting và cross validation.

Công thức: vẫn tuyến tính, chỉ thêm cột

Hồi quy đa thức bậc d của một feature x:

y^=b+w1x+w2x2+⋯+wdxd\hat{y} = b + w_1 x + w_2 x^2 + \dots + w_d x^d

Trong đó:

  • x (X): feature gốc, như quãng đường giao (km).

  • d (degree): bậc của đa thức.

  • w₁ … w_d (coef_): một hệ số cho mỗi lũy thừa của x.

  • b (intercept_): hệ số chặn.

Đường là cong theo x, nhưng model vẫn tuyến tính theo các hệ số w: coi x² là một cột mới thì đây đúng là hồi quy đa biến. Vì vậy chỉ cần tạo cột mới rồi giao cho LinearRegression. Với nhiều feature, bậc 2 còn thêm các tích chéo như x₁·x₂, gọi là cột tương tác.

Các cột PolynomialFeatures tạo ra

Một đơn hàng đi 3 km và có 5 món. Bậc 2 cho các số hạng tính tay như sau:

Cột

Cách tính

Giá trị

1

hằng số

1

km

3

3

mon

5

5

km²

3 · 3

9

km · mon

3 · 5

15

mon²

5 · 5

25

PolynomialFeatures cho đúng sáu cột đó, và get_feature_names_out() đặt tên từng cột:

python
from sklearn.preprocessing import PolynomialFeatures

poly = PolynomialFeatures(degree=2)
print(poly.fit_transform([[3, 5]]))
print(poly.get_feature_names_out(["km", "mon"]))

KẾT QUẢ

[[ 1.  3.  5.  9. 15. 25.]]
['1' 'km' 'mon' 'km^2' 'km mon' 'mon^2']

Cột 1 đầu tiên toàn số 1, có mặt vì mặc định include_bias=True. Model đi sau trong pipeline thường tự học hệ số chặn của nó, nên cột này thừa; đặt include_bias=False để bỏ. Đổi PolynomialFeatures(degree=2) thành PolynomialFeatures(degree=2, include_bias=False) rồi chạy lại: dòng cuối in ['km' 'mon' 'km^2' 'km mon' 'mon^2'].

Số cột tăng nhanh theo bậc: p feature ở bậc d cho tổ hợp chập d của p + d cột, kể cả cột hằng số. 9 feature ở bậc 2 thành 54 cột không kể hằng số, ở bậc 3 thành 219; 13 feature ở bậc 3 đã thành 559.

Chọn bậc bằng cross validation

File thoi_gian_giao_hang.csv có 3.000 đơn giao hàng giả lập của AIDev: quãng đường, số món, giờ đặt, thời tiết, loại xe… và thời gian giao (phút). Mã hóa cột chữ bằng get_dummies, rồi so ba bậc bằng cross validation 3 phần. Để bậc 3 không sinh quá nhiều cột, bài bỏ hai cột chữ thành phố và loại đơn, còn 9 feature. Bước PolynomialFeatures nằm trong pipeline, nên mỗi lần chia nó chỉ chạy trên phần đang fit:

python
import pandas as pd
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import KFold, cross_validate
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import PolynomialFeatures

don = pd.read_csv("thoi_gian_giao_hang.csv")
y = don["thoi_gian_giao_phut"]
bo = ["thoi_gian_giao_phut", "thanh_pho", "loai_don"]
X = pd.get_dummies(don.drop(columns=bo), drop_first=True, dtype=int)
chia = KFold(3, shuffle=True, random_state=0)
for bac in [1, 2, 3]:
    model = make_pipeline(PolynomialFeatures(bac, include_bias=False), LinearRegression())
    kq = cross_validate(model, X, y, cv=chia, return_train_score=True)
    print(bac, round(kq["train_score"].mean(), 3), round(kq["test_score"].mean(), 3))

KẾT QUẢ

1 0.788 0.786
2 0.839 0.823
3 0.857 0.782

Cột giữa là điểm train, cột cuối là R² trên phần được giữ lại. Bậc 2 đẩy R² cross validation từ 0,786 lên 0,823: các cột tương tác như quãng đường × mưa lớn bắt được việc trời mưa làm mỗi km chậm thêm. Lên bậc 3, điểm train vẫn tăng tới 0,857 nhưng R² cross validation tụt về 0,782, thấp hơn cả bậc 1: 219 cột đủ nhiều để model bắt đầu học thuộc nhiễu. Overfitting quay lại, và chỉ điểm trên phần giữ lại mới thấy nó. Chọn bậc 2.

Đường cong trên một mẫu nhỏ

Dữ liệu càng ít, bậc cao càng nguy hiểm. Lấy 30 đơn, fit thời gian giao theo quãng đường với bậc 1, 2 và 9. Với một feature, np.polyfit của NumPy fit cùng đa thức bình phương nhỏ nhất như pipeline ở trên, nên dùng nó cho gọn khi vẽ:

python
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

mau = pd.read_csv("thoi_gian_giao_hang.csv").sample(30, random_state=4)
x, y = mau["khoang_cach_km"], mau["thoi_gian_giao_phut"]
luoi = np.linspace(0.3, 12, 200)
fig, ax = plt.subplots(figsize=(6.4, 4), layout="constrained")
ax.scatter(x, y, color="gray")
for bac in [1, 2, 9]:
    he_so = np.polyfit(x, y, bac)
    ax.plot(luoi, np.polyval(he_so, luoi), label=f"bậc {bac}")
ax.set(ylim=(0, 90), xlabel="Quãng đường (km)", ylabel="Thời gian giao (phút)")
ax.legend()
plt.show()
Biểu đồ 30 đơn hàng xám, trục x là quãng đường 0 đến 12 km, trục y là thời gian giao 0 đến 90 phút; đường bậc 1 và bậc 2 đi lên êm qua đám điểm, đường bậc 9 uốn lượn giữa các điểm rồi vọt khỏi khung sau 11 km.

Đường bậc 9 đi sát từng điểm của mẫu (điểm train 0,90 so với 0,75 của đường thẳng) nhưng uốn lượn vô lý giữa các điểm và vọt khỏi khung sau 11 km, nơi mẫu không còn đơn nào. Đo trên cả 3.000 đơn, đường thẳng đạt R² 0,50 còn bậc 9 ra một số âm khổng lồ. Bài overfitting và underfitting đo hiện tượng này kỹ hơn trên nhiều mẫu.

Kiểm tra nhanh

  1. Sau from sklearn.preprocessing import PolynomialFeatures, print(PolynomialFeatures(3).fit_transform([[2]])) in ra gì?

    • [[2. 4. 8.]]
    • [[1. 2. 4. 8.]]
    • [[1. 2. 4.]]
  2. Sau from sklearn.preprocessing import PolynomialFeatures, print(PolynomialFeatures(2, include_bias=False).fit_transform([[4, 7]]).shape) in ra gì?

    • (1, 5)
    • (1, 4)
    • (1, 6)
  3. Trong mục chọn bậc, vì sao không chọn bậc 3 dù điểm train của nó cao nhất?

    • Vì bậc 3 chạy chậm hơn
    • Vì R² cross validation của bậc 3 thấp hơn bậc 2: phần thêm vào là học thuộc nhiễu
    • Vì PolynomialFeatures không cho bậc lớn hơn 2
  4. Những câu nào đúng về hồi quy đa thức?

    • Model vẫn tuyến tính theo hệ số, nên LinearRegression fit được
    • Đặt PolynomialFeatures trong pipeline thì predict tự biến đổi dữ liệu mới
    • Bậc càng cao thì R² trên dữ liệu mới càng cao
    • PolynomialFeatures bậc 2 chỉ thêm cột bình phương, không thêm tích chéo
Đúng hết lần đầu +15 XP

Bài tập

Đoán bằng hồi quy đa thức bậc cho trước

bang là một DataFrame, cot_x và cot_y là tên hai cột số của nó, bac là một số nguyên ≥ 1, cac_x_moi là list các giá trị x mới. Viết thân hàm du_doan_da_thuc(bang, cot_x, cot_y, bac, cac_x_moi): fit hồi quy đa thức bậc bac đoán cot_y từ cot_x trên cả bảng, rồi đoán cot_y cho từng giá trị trong cac_x_moi.

Hàm không sửa bảng hay list của nơi gọi.

Trả về: các giá trị đoán theo đúng thứ tự cac_x_moi, một list số float.

Ví dụ với bảng pd.DataFrame({"x": [1, 2, 3, 4], "y": [2.0, 5, 10, 17]}), bậc 2 và cac_x_moi = [5], kết quả là khoảng [26.0].

python
import pandas as pd
from sklearn.linear_model import LinearRegression
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import PolynomialFeatures

def du_doan_da_thuc(bang, cot_x, cot_y, bac, cac_x_moi):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • Hồi quy đa thức là hồi quy tuyến tính trên các cột x, x², …, x^d và các tích chéo.

  • PolynomialFeatures(degree=d) tạo các cột đó; include_bias=False bỏ cột hằng số khi đi cùng LinearRegression.

  • Số cột tăng rất nhanh theo bậc và số feature, kéo theo nguy cơ overfitting.

  • Chọn bậc bằng điểm cross validation, không bằng điểm train.

  • Đặt PolynomialFeatures trong pipeline để dữ liệu mới được biến đổi y như lúc fit.

Câu hỏi thường gặp

Polynomial regression trong Python cần thư viện gì?

Chỉ cần scikit-learn: PolynomialFeatures tạo cột, LinearRegression fit, make_pipeline nối hai bước. Với một feature, np.polyfit của NumPy cũng fit được đa thức, nhưng không ghép vào pipeline hay cross validation được.

Có cần chuẩn hóa trước PolynomialFeatures không?

Với LinearRegression thường không cần cho dự đoán. Nhưng x⁹ của quãng đường 12 km là hàng tỷ, nên bậc cao dễ gặp sai số làm tròn; khi thêm phạt hệ số như Ridge thì phải chuẩn hóa, xem bài regularization.

Bậc cao mà vẫn muốn tránh overfitting thì làm gì?

Thêm dữ liệu, hoặc giữ bậc cao nhưng phạt hệ số lớn bằng Ridge hay Lasso. Bài regularization cho thấy phạt hệ số kéo đường bậc cao về gần đường êm.

interaction_only dùng khi nào?

PolynomialFeatures(2, interaction_only=True) chỉ thêm tích chéo như km · mưa, bỏ các cột bình phương. Dùng khi tin rằng tác động của một feature đổi theo feature khác nhưng từng feature vẫn đi thẳng.

Chủ đề

polynomial regression

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập