Đạo hàm, gradient và normal equation của hồi quy
Bài 6/8 · Chương 12
Toán vừa đủ cho Machine Learning
- 9 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 13
Phương trình chuẩn (normal equation) của hồi quy tuyến tính là XᵀXθ = Xᵀy: hệ số θ tốt nhất là nghiệm của hệ này, và NumPy tìm nghiệm đó bằng một lời gọi np.linalg.solve(). Hệ đó đến từ đạo hàm: ở đáy của MSE, đạo hàm riêng theo mỗi hệ số bằng 0.
Cần biết trước: gradient descent và vector và ma trận.
Đạo hàm riêng của MSE theo từng hệ số
Sóc Nhanh ghi bốn tuần quảng cáo cho gói Sóc Vàng: chi phí 1, 2, 4, 5 triệu đồng, hội viên mới 10, 14, 25, 27 người. Đường thử là ŷ = w·x + b. Đạo hàm riêng của MSE theo w trả lời câu hỏi: giữ b đứng yên, tăng w thêm một lượng rất nhỏ thì MSE đi lên hay đi xuống, và nhanh tới đâu.
MSE là trung bình của (ŷ − y)². Đạo hàm của một bình phương là hai lần phần bên trong, nhân với đạo hàm của phần bên trong. Phần bên trong là w·x + b − y, đạo hàm theo w là x, theo b là 1. Vì vậy:
∂MSE/∂w = (2/n) · Σ (ŷᵢ − yᵢ) · xᵢ
∂MSE/∂b = (2/n) · Σ (ŷᵢ − yᵢ)
Đây chính là hai gradient mà bài gradient descent dùng, giờ có nguồn gốc. Tại w = 5, b = 2:
Bước | Việc | Kết quả |
|---|---|---|
1 | ŷ = 5x + 2 | 7; 12; 22; 27 |
2 | Lệch ŷ − y | −3; −2; −3; 0 |
3 | Σ lệch · x | −3 − 4 − 12 + 0 = −19 |
4 | ∂MSE/∂w = 2/4 · (−19) | −9,5 |
5 | ∂MSE/∂b = 2/4 · (−8) | −4 |
x = [1, 2, 4, 5]
y = [10, 14, 25, 27]
w, b, n = 5, 2, len(x)
tong_x, tong = 0, 0
for xi, yi in zip(x, y):
lech = w * xi + b - yi
tong_x += lech * xi
tong += lech
print(xi, yi, "lệch:", lech)
print("g_w =", 2 / n * tong_x, " g_b =", 2 / n * tong)KẾT QUẢ
1 10 lệch: -3
2 14 lệch: -2
4 25 lệch: -3
5 27 lệch: 0
g_w = -9.5 g_b = -4.0Dấu của mỗi đạo hàm đọc được ngay từ cột lệch: không tuần nào có lệch dương, nên cả tổng lệch lẫn tổng lệch nhân x đều âm. Đạo hàm âm nghĩa là nhích hệ số đó lên một chút thì MSE nhỏ đi. Đổi w, b, n = 5, 2, len(x) thành w, b, n = 6, 2, len(x) rồi chạy lại: dòng cuối in g_w = 13.5 g_b = 2.0, đạo hàm đổi sang dương vì đường giờ đoán cao.
Gradient dạng ma trận
Gom hai đạo hàm riêng thành một vector, gọi là gradient. Với ma trận thiết kế A (cột số 1 rồi cột x) và θ = (b, w), cả vector gradient là một biểu thức: (2/n) · Aᵀ(Aθ − y). Aᵀ (A.T) là chuyển vị (transpose) của A: cột thứ i của A thành dòng thứ i của Aᵀ. Dòng đầu của Aᵀ toàn số 1 nên cho Σ lệch, dòng thứ hai là x nên cho Σ lệch · x, đúng hai tổng của bảng trên:
import numpy as np
x = np.array([1.0, 2, 4, 5])
y = np.array([10.0, 14, 25, 27])
A = np.hstack([np.ones((4, 1)), x.reshape(-1, 1)])
theta = np.array([2.0, 5])
print(A.T)
print(2 / len(y) * A.T @ (A @ theta - y))KẾT QUẢ
[[1. 1. 1. 1.]
[1. 2. 4. 5.]]
[-4. -9.5]Thứ tự là (∂/∂b, ∂/∂w) vì θ đặt b trước. x.reshape(-1, 1) biến x thành một cột để ghép cạnh cột số 1, như bài reshape. Biểu thức này không đổi khi bảng có 3 hay 30 feature: A thêm cột, θ thêm phần tử, gradient thêm phần tử.
Phương trình chuẩn: cho gradient bằng 0
MSE của hồi quy tuyến tính có một đáy duy nhất khi không cột nào của ma trận thiết kế, kể cả cột số 1, là tổ hợp tuyến tính của các cột còn lại. Ở đáy đó mọi đạo hàm riêng bằng 0. Đặt (2/n) · Aᵀ(Aθ − y) = 0, bỏ hằng số 2/n và chuyển vế:
Trong đó:
X (
A): ma trận thiết kế n dòng, có cột số 1 ở đầu.Xᵀ (
A.T): chuyển vị của X.θ (
theta): vector hệ số cần tìm, b rồi tới các trọng số.y (
y): giá trị thật của n dòng.
Với một feature, XᵀX là ma trận 2 × 2 gồm n, Σx, Σx², còn Xᵀy gồm Σy, Σxy. Bốn tuần quảng cáo cho:
Bước | Việc | Kết quả |
|---|---|---|
1 | n, Σx, Σx² | 4; 12; 46 |
2 | Σy, Σxy | 76; 273 |
3 | Định thức 4 · 46 − 12 · 12 | 40 |
4 | b = (46 · 76 − 12 · 273) / 40 | 5,5 |
5 | w = (4 · 273 − 12 · 76) / 40 | 4,5 |
x = [1, 2, 4, 5]
y = [10, 14, 25, 27]
n = len(x)
sx, sxx = sum(x), sum(xi * xi for xi in x)
sy, sxy = sum(y), sum(xi * yi for xi, yi in zip(x, y))
print("XtX:", [[n, sx], [sx, sxx]])
print("Xty:", [sy, sxy])
dinh_thuc = n * sxx - sx * sx
b = (sxx * sy - sx * sxy) / dinh_thuc
w = (n * sxy - sx * sy) / dinh_thuc
print("định thức:", dinh_thuc, " b =", b, " w =", w)KẾT QUẢ
XtX: [[4, 12], [12, 46]]
Xty: [76, 273]
định thức: 40 b = 5.5 w = 4.5Mỗi triệu đồng quảng cáo đi kèm khoảng 4,5 hội viên mới, và đường cắt trục ở 5,5 người. Con số này mô tả bốn tuần đã ghi. Tuần sau có thể lệch khỏi đường đó.
Một dòng np.linalg.solve() và so với sklearn
np.linalg.solve(M, v) giải hệ M·θ = v cho ma trận vuông M. Truyền M = XᵀX, v = Xᵀy là xong phương trình chuẩn. Khối dưới so với LinearRegression rồi tính lại gradient tại nghiệm:
import numpy as np
from sklearn.linear_model import LinearRegression
x = np.array([1.0, 2, 4, 5])
y = np.array([10.0, 14, 25, 27])
A = np.hstack([np.ones((4, 1)), x.reshape(-1, 1)])
theta = np.linalg.solve(A.T @ A, A.T @ y)
print("solve:", theta)
model = LinearRegression().fit(x.reshape(-1, 1), y)
print("sklearn:", round(model.intercept_, 6), model.coef_.round(6))
g = 2 / len(y) * A.T @ (A @ theta - y)
print("gradient bằng 0:", np.allclose(g, 0))KẾT QUẢ
solve: [5.5 4.5]
sklearn: 5.5 [4.5]
gradient bằng 0: Truesolve() và LinearRegression khớp tới chữ số thứ sáu, và gradient tại nghiệm bằng 0 đúng như phương trình chuẩn đòi. Cùng dòng solve đó chạy được cho tám hội viên ba feature của bài trước: A có 4 cột, XᵀX là 4 × 4, và θ ra [117.51 78.37 6.75 11.6 ], đúng intercept_ và coef_ mà linear regression trong sklearn học được trên bảng đó.
Kiểm tra nhanh
Sau
import numpy as np,print(np.linalg.solve(np.array([[2.0, 0], [0, 4]]), np.array([6.0, 8])))in ra gì?[12. 32.][3. 2.][3. 4.]
Tại w = 5, b = 2 của ví dụ tính tay, đạo hàm riêng theo w là −9,5. Giữ b, tăng w thêm một lượng rất nhỏ thì MSE đổi thế nào?
- MSE giảm
- MSE tăng
- MSE không đổi, vì b đứng yên
Những câu nào đúng về phương trình chuẩn?
- Nghiệm của nó là chỗ gradient của MSE bằng 0
- Hai cột trùng nhau làm XᵀX suy biến
- Cần chọn learning rate trước khi giải
np.linalg.solve(X, y)giải được hồi quy khi X có nhiều dòng hơn cột
Trong khung bẫy, cột số đơn có hai lần trong
X.np.linalg.solve()làm gì?- Báo lỗi
LinAlgErrorvì XᵀX suy biến - Báo lỗi
ValueErrorvì sai shape - Chạy êm và chia đều trọng số cho hai cột
- Báo lỗi
Bài tập
Giải phương trình chuẩn bằng NumPy
X là mảng hai chiều, mỗi dòng một tuần, mỗi cột một feature. y là mảng kết quả cùng số dòng.
Viết thân hàm he_so_chuan(X, y): thêm cột toàn số 1 vào bên trái X, rồi giải phương trình chuẩn bằng np.linalg.solve(). Không dùng LinearRegression và không dùng np.linalg.lstsq().
Hàm không sửa X, y của nơi gọi.
Trả về: hệ số theo thứ tự hệ số chặn rồi trọng số từng cột, một list số float.
Ví dụ: he_so_chuan(np.array([[1], [2], [4], [5]]), np.array([10, 14, 25, 27])) trả về [5.5, 4.5] (sai khác ở chữ số cuối vẫn được chấp nhận).
import numpy as np
def he_so_chuan(X, y):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Đạo hàm riêng theo một hệ số cho biết MSE tăng hay giảm khi chỉ nhích hệ số đó.
Với MSE: ∂/∂w = (2/n) · Σ (ŷ − y) · x, ∂/∂b là cùng tổng không nhân x.
Dạng ma trận: gradient = (2/n) · Xᵀ(Xθ − y), với X có cột số 1 và θ = (b, w).
Đặt gradient bằng 0 cho phương trình chuẩn XᵀXθ = Xᵀy.
np.linalg.solve(A.T @ A, A.T @ y)cho cùng hệ số với LinearRegression.Hai cột trùng nhau làm XᵀX suy biến: solve báo
LinAlgError: Singular matrix.
Câu hỏi thường gặp
Phương trình chuẩn (normal equation) là gì, khác gradient descent ở đâu?
Phương trình chuẩn là hệ XᵀXθ = Xᵀy, giải một lần ra hệ số của hồi quy tuyến tính. Gradient descent đi tới cùng hệ số bằng nhiều bước nhỏ, cần learning rate và số bước. Trên bốn tuần quảng cáo, hai cách cùng ra b = 5,5 và w = 4,5.
Đạo hàm trong machine learning dùng vào việc gì?
Đạo hàm của loss theo từng hệ số cho biết sửa hệ số theo chiều nào thì loss giảm. Mọi model học bằng gradient descent, từ logistic regression tới mạng nơ-ron, đều cần nó ở mỗi bước. Hồi quy tuyến tính là trường hợp hiếm có thể giải thẳng phương trình đạo hàm bằng 0.
LinearRegression của sklearn có giải đúng phương trình chuẩn không?
Không theo đúng cách đó. Nó giải bài bình phương nhỏ nhất bằng một phép phân rã ma trận, không dựng XᵀX, nên chịu được cả bảng có cột trùng như khung bẫy. Kết quả trùng với phương trình chuẩn khi XᵀX khả nghịch, như ví dụ so ở mục cuối và ở bài linear regression trong sklearn.
Ngoài cột trùng, cột nào khác làm phương trình chuẩn báo Singular matrix?
Mọi cột tính được từ các cột khác bằng cộng và nhân hằng số. Một cột hằng, ví dụ mọi hội viên đều ở gói 3 tháng, bằng 3 lần cột số 1. Một cột tổng đơn bằng cột đơn trên app cộng cột đơn tại quầy. Cả hai đều làm XᵀX suy biến dù không cột nào trùng hẳn cột khác. Cách sửa vẫn là bỏ cột tính ra được.
Có cách nào giải phương trình chuẩn khi hai cột gần trùng nhau?
Cộng thêm α vào đường chéo của XᵀX (trừ ô của hệ số chặn) rồi mới giải: đó là nghiệm đóng của Ridge, và ma trận mới luôn khả nghịch khi α > 0. Bài Ridge và Lasso dùng chính model này, với alpha chọn bằng cross validation.
Chủ đề
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.