Toán cho machine learning: vector và ma trận bằng NumPy
Bài 5/8 · Chương 12
Toán vừa đủ cho Machine Learning
- 9 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 12
Toán cho machine learning ở mức dùng hằng ngày bắt đầu từ hai thứ: vector, một dãy số mô tả một dòng dữ liệu, và ma trận, cả bảng xếp thành lưới số. Khi một model tuyến tính đoán cho một bảng hội viên, nó nhân ma trận feature với vector trọng số rồi cộng hệ số chặn, và NumPy viết việc đó trong một dòng X @ w + b.
Cần biết trước: linear regression trong sklearn và phép nhân ma trận với @.
Công thức: một dự đoán là tổng các tích
Chuỗi Sóc Nhanh muốn đoán chi tiêu tháng tới (nghìn đồng) của một hội viên Sóc Vàng từ ba feature: số đơn trong tháng này, số lần đăng nhập app, số tháng đã là hội viên. Ba con số của một hội viên xếp theo thứ tự cố định là một vector feature. Model tuyến tính giữ một vector trọng số cùng độ dài, mỗi cột một trọng số, cộng thêm hệ số chặn:
Trong đó:
p (
X.shape[1]): số feature, ở đây là 3.x với chỉ số j (
x[j]): giá trị của feature thứ j ở hội viên đang xét.w với chỉ số j (
w[j]): trọng số của feature đó, tính bằng nghìn đồng cho mỗi đơn vị của cột.b (
b): hệ số chặn (intercept), con số model đoán cho một hội viên có cả ba feature bằng 0.ŷ (
du_doan): chi tiêu đoán được.
Phần tổng Σ xⱼwⱼ gọi là tích vô hướng (dot product) giữa hai vector: nhân từng cặp cùng vị trí rồi cộng lại. Với trọng số giả định 85, 4, 12 và b = 150, một hội viên có 6 đơn, 20 lần đăng nhập, 9 tháng hội viên được tính như sau:
Bước | Việc | Kết quả |
|---|---|---|
1 | Số đơn nhân trọng số | 6 · 85 = 510 |
2 | Lần đăng nhập nhân trọng số | 20 · 4 = 80 |
3 | Tháng hội viên nhân trọng số | 9 · 12 = 108 |
4 | Cộng ba tích và b | 510 + 80 + 108 + 150 = 848 |
Khối dưới làm đúng bốn bước đó bằng Python thuần. Sửa số trong x rồi chạy lại để tính cho hội viên khác:
x = [6, 20, 9]
w = [85, 4, 12]
b = 150
du_doan = b
for xj, wj in zip(x, w):
du_doan += xj * wj
print(xj, "x", wj, "=", xj * wj)
print("dự đoán:", du_doan, "nghìn đồng")KẾT QUẢ
6 x 85 = 510
20 x 4 = 80
9 x 12 = 108
dự đoán: 848 nghìn đồngCả bảng trong một phép nhân
Bảng bốn hội viên là ma trận X có 4 dòng, 3 cột. Phép @ giữa ma trận và vector lấy tích vô hướng của từng dòng với w, nên vòng lặp ở trên chạy cho cả bốn dòng cùng lúc. Viết gọn bằng ký hiệu: ŷ = X·w + b, với ŷ giờ là một vector, mỗi hội viên một số.
import numpy as np
X = np.array([[6, 20, 9],
[2, 5, 1],
[9, 31, 24],
[4, 12, 3]])
w = np.array([85, 4, 12])
b = 150
print(X.shape, w.shape)
du_doan = X @ w + b
print(du_doan, du_doan.shape)KẾT QUẢ
(4, 3) (3,)
[ 848 352 1327 574] (4,)Số đầu khớp 848 của bảng tính tay. Quy tắc shape: (4, 3) nhân (3,) cho (4,), vì số cột của X phải bằng số phần tử của w, và mỗi dòng của X cho ra một số. Số b được cộng vào cả bốn phần tử. Đổi b = 150 thành b = 0 rồi chạy lại: dòng thứ hai in [ 698 202 1177 424] (4,).
Ma trận thiết kế: cột số 1 thay cho b
Hệ số chặn đứng riêng làm công thức có hai phần. Cách gộp thường dùng là ghép thêm bên trái X một cột chỉ gồm số 1, gọi là ma trận thiết kế (design matrix), rồi đặt b lên đầu vector hệ số, thường đặt tên θ (theta). Ở mỗi dòng, θ₀ (theta[0]) gặp đúng số 1, nên nó được cộng nguyên vào dự đoán của dòng đó, đúng vai trò của b. np.ones() tạo cột số 1, còn np.hstack() ghép nó cạnh X:
import numpy as np
X = np.array([[6, 20, 9],
[2, 5, 1],
[9, 31, 24],
[4, 12, 3]])
X_tk = np.hstack([np.ones((4, 1)), X])
theta = np.array([150, 85, 4, 12])
print(X_tk)
print(X_tk @ theta)KẾT QUẢ
[[ 1. 6. 20. 9.]
[ 1. 2. 5. 1.]
[ 1. 9. 31. 24.]
[ 1. 4. 12. 3.]]
[ 848. 352. 1327. 574.]Bốn dự đoán y hệt khối trước, chỉ đổi sang số thực vì np.ones() tạo số thực. Ma trận thiết kế có p + 1 cột, θ có p + 1 phần tử. Dạng gọn này là thứ phương trình chuẩn ở bài đạo hàm, gradient và normal equation dùng để giải cả b lẫn các trọng số trong một lần.
So với LinearRegression trên tám hội viên
LinearRegression của scikit-learn học đúng các con số này: coef_ là vector w, intercept_ là b. Khối dưới fit trên tám hội viên, rồi tự tính dự đoán cho một hội viên mới bằng phép nhân, cạnh kết quả của predict():
import numpy as np
from sklearn.linear_model import LinearRegression
X = np.array([[6, 20, 9], [2, 5, 1], [9, 31, 24], [4, 12, 3],
[7, 18, 15], [1, 4, 2], [5, 25, 11], [8, 22, 6]])
y = np.array([880, 330, 1350, 540, 900, 260, 760, 960])
model = LinearRegression().fit(X, y)
print(model.coef_.shape, model.coef_.round(1))
print(round(model.intercept_, 1))
moi = np.array([[3, 15, 7]])
print((moi @ model.coef_ + model.intercept_).round(1))
print(model.predict(moi).round(1))KẾT QUẢ
(3,) [78.4 6.8 11.6]
117.5
[535.1]
[535.1]coef_ có ba số, đúng bằng số cột của X, và hệ số chặn nằm riêng ở intercept_. Hai dòng cuối trùng nhau: predict() của model tuyến tính chính là X @ coef_ + intercept_. Trên tám dòng này model học được 78,4 nghìn đồng cho mỗi đơn, khá gần trọng số giả định 85 ở đầu bài. Khi bảng có thêm cột, như ở bài hồi quy đa biến, coef_ dài thêm và phép nhân vẫn y nguyên.
Kiểm tra nhanh
Sau
import numpy as np,print(np.array([[1, 2], [3, 4]]) @ np.array([10, 1]))in ra gì?[12 34][13 24][[10 2] [30 4]]
Sau
import numpy as np,print((np.ones((5, 3)) @ np.ones(3)).shape)in ra gì?(3,)(5, 3)(5,)(5, 1)
Những câu nào đúng về ma trận thiết kế trong bài?
- Ở mỗi dòng,
theta[0]gặp số 1 nên được cộng nguyên vào dự đoán, như b X_tk @ thetacho cùng dự đoán vớiX @ w + bkhi theta là b rồi tới w- Thêm cột số 1 làm mọi dự đoán tăng thêm đúng 1
- Ma trận thiết kế có ít cột hơn X
- Ở mỗi dòng,
Trong khung bẫy,
wlà cột shape(3, 1). Phép trừy - du_doancho shape nào?(4,)(4, 1)(4, 4)
Bài tập
Tính MSE của cả bảng bằng ma trận
X là mảng hai chiều, mỗi dòng một hội viên. y là mảng chi tiêu thật cùng số dòng. theta là list hệ số: phần tử đầu là hệ số chặn, các phần tử sau là trọng số theo thứ tự cột của X.
Viết thân hàm mse_bang(X, y, theta): thêm một cột toàn số 1 vào bên trái X để có ma trận thiết kế, rồi nhân một lần với theta để có dự đoán của từng dòng. Sau đó tính MSE, trung bình bình phương của chênh lệch giữa dự đoán và y.
Hàm không sửa X, y, theta của nơi gọi.
Trả về: MSE, một float.
Ví dụ: với bảng bốn hội viên của bài, y = [880, 330, 1350, 540] và theta = [150, 85, 4, 12], hàm trả về 798.25.
import numpy as np
def mse_bang(X, y, theta):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Một dòng dữ liệu là vector feature; model tuyến tính giữ vector trọng số cùng độ dài và hệ số chặn b.
Một dự đoán là tích vô hướng của hai vector cộng b: nhân từng cặp rồi cộng.
X @ w + btính dự đoán cho mọi dòng; shape (n, p) nhân (p,) cho (n,).Ma trận thiết kế thêm cột số 1 bên trái X, b đứng đầu theta, và
X_tk @ thetacho cùng dự đoán.predict()của LinearRegression bằngX @ coef_ + intercept_.Vector trọng số dạng cột (p, 1) làm
y - du_doanthành ma trận n × n mà không báo lỗi.
Câu hỏi thường gặp
Cần biết bao nhiêu đại số tuyến tính cho machine learning?
Để dùng scikit-learn trên dữ liệu bảng, đủ dùng là vector, ma trận, phép nhân ma trận và chuyển vị như bài này cùng bài đạo hàm, gradient và normal equation. Hai bài sau dùng thêm định thức (để giải phương trình chuẩn) và trị riêng (để hiểu PCA); phân rã ma trận chỉ cần khi bạn đọc sâu một thuật toán.
X @ w với np.dot() khác nhau thế nào?
Với ma trận hai chiều và vector, X @ w, np.dot(X, w) và np.matmul(X, w) cho cùng kết quả. Hai cách khác nhau khi mảng có từ ba chiều trở lên. Bài phép nhân ma trận với @ so kỹ các cách viết.
Vì sao LinearRegression cất hệ số chặn riêng?
Vì bạn không phải tự thêm cột số 1: fit_intercept=True mặc định để model tự học b và cất ở intercept_, còn coef_ chỉ chứa trọng số của các cột bạn đưa vào. Bài linear regression trong sklearn đọc hai thuộc tính này trên bảng giá nhà.
Đưa list Python vào phép @ có được không?
Phép @ giữa hai list báo lỗi, vì list không có phép nhân ma trận. Chỉ cần một vế là mảng NumPy thì vế kia được đổi theo, nhưng đổi cả hai bằng np.array() cho rõ ràng và để xem được .shape.
Chủ đề
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.