Eigenvector là gì? PCA là phép xoay trục, tự tính NumPy
Bài 7/8 · Chương 12
Toán vừa đủ cho Machine Learning
- 8 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 12
Eigenvector là gì? Eigenvector (vector riêng) của một ma trận vuông C là một vector v khác 0 mà phép nhân với C chỉ co giãn nó, C · v = λ · v, với hệ số λ là trị riêng. PCA tìm vector riêng của ma trận hiệp phương sai của bảng (ở đó mọi λ ≥ 0, nên v giữ nguyên hướng) rồi dùng chúng làm hệ trục mới: một phép xoay, dữ liệu không bị kéo méo.
Cần biết trước: PCA và hiệp phương sai.
Từ bảng điểm tới ma trận C
Bảy hội viên Sóc Vàng chấm hai điểm hài lòng trên thang 10: giao hàng và món ăn. Ma trận hiệp phương sai đặt phương sai của từng cột trên đường chéo, hiệp phương sai giữa hai cột ở hai ô còn lại:
import numpy as np
X = np.array([[6, 8], [3, 5], [10, 8], [6, 6],
[7, 7], [4, 6], [6, 9]])
print("trung bình:", X.mean(axis=0))
C = np.cov(X, rowvar=False, ddof=1)
print(C)
Z = X - X.mean(axis=0)
print(Z.T @ Z / (len(X) - 1))KẾT QUẢ
trung bình: [6. 7.]
[[5. 2.]
[2. 2.]]
[[5. 2.]
[2. 2.]]Bảng của bài xếp mỗi hội viên trên một dòng, nên phải truyền rowvar=False để np.cov() lấy cột làm biến; bỏ tham số này thì nó dựng ma trận 7 × 7 giữa các hội viên. Dòng cuối tính lại cùng ma trận bằng tay: trừ trung bình từng cột được Z, rồi Zᵀ · Z chia n − 1. Phương sai giao hàng là 5, món ăn là 2, hiệp phương sai dương 2: ai chấm giao hàng cao thường chấm món ăn cao.
Eigenvector là gì: vector chỉ bị kéo dài
Nhân C với một vector bất kỳ thường làm nó vừa dài ra vừa xoay đi. Vector riêng thì không xoay:
Trong đó:
C (
C): ma trận hiệp phương sai, vuông và đối xứng.v (
v): vector riêng, khác 0, một hướng trong không gian hai cột.λ (
gia_tri): trị riêng đi kèm v, độ kéo dài theo hướng đó.
Với ma trận 2 × 2, hai trị riêng có tổng bằng tổng đường chéo và tích bằng định thức:
Bước | Việc | Kết quả |
|---|---|---|
1 | Tổng đường chéo 5 + 2 | 7 |
2 | Định thức 5 · 2 − 2 · 2 | 6 |
3 | Hai số có tổng 7, tích 6 | λ = 6 và λ = 1 |
4 | (C − 6I) · v = 0 cho −v₁ + 2v₂ = 0 | v = (2; 1) |
5 | Chia cho độ dài √5 | (0,894; 0,447) |
import numpy as np
C = np.array([[5.0, 2.0], [2.0, 2.0]])
v = np.array([2.0, 1.0])
print("C @ v:", C @ v, " tỉ số:", (C @ v) / v)
u = np.array([1.0, 1.0])
print("C @ u:", C @ u, " tỉ số:", (C @ u) / u)KẾT QUẢ
C @ v: [12. 6.] tỉ số: [6. 6.]
C @ u: [7. 4.] tỉ số: [7. 4.]Với v = (2; 1), cả hai tọa độ cùng nhân 6: v là vector riêng, trị riêng 6. Với u = (1; 1), hai tỉ số khác nhau nên u bị xoay hướng. Đổi u = np.array([1.0, 1.0]) thành u = np.array([1.0, -2.0]) rồi chạy lại: dòng cuối in C @ u: [ 1. -2.] tỉ số: [1. 1.], vector riêng thứ hai với trị riêng 1.
np.linalg.eigh(): trị riêng và vector riêng
np.linalg.eigh() dành cho ma trận đối xứng như ma trận hiệp phương sai. Nó trả về trị riêng xếp tăng dần và một ma trận có mỗi cột là một vector riêng dài 1:
import numpy as np
C = np.array([[5.0, 2.0], [2.0, 2.0]])
tri_rieng, vec_rieng = np.linalg.eigh(C)
print(tri_rieng)
print(vec_rieng.round(4))
tri_rieng, vec_rieng = tri_rieng[::-1], vec_rieng[:, ::-1]
print(tri_rieng, vec_rieng[:, 0].round(4))KẾT QUẢ
[1. 6.]
[[ 0.4472 -0.8944]
[-0.8944 -0.4472]]
[6. 1.] [-0.8944 -0.4472]Vì thứ tự tăng dần, chỉ cần đảo ngược bằng [::-1], cả mảng trị riêng lẫn các cột vector, để thành phần chính thứ nhất ứng với trị riêng 6. Vector ra (−0,894; −0,447), ngược dấu với số tính tay: nếu v là vector riêng thì −v cũng là, và thư viện chọn dấu tùy ý.
PCA là phép xoay trục
Hai vector riêng vuông góc và dài 1, nên nhân Z với ma trận vector riêng chỉ xoay hệ trục. Tọa độ mới của mỗi hội viên là Z @ vec. Khối dưới so với PCA của sklearn:
import numpy as np
from sklearn.decomposition import PCA
X = np.array([[6, 8], [3, 5], [10, 8], [6, 6],
[7, 7], [4, 6], [6, 9]])
Z = X - X.mean(axis=0)
_, vec = np.linalg.eigh(np.cov(X, rowvar=False, ddof=1))
vec = vec[:, ::-1] * np.sign(vec[0, ::-1])
moi = Z @ vec
hiep = np.cov(moi, rowvar=False, ddof=1)[0, 1]
print(moi.var(axis=0, ddof=1).round(4), np.isclose(hiep, 0))
pca = PCA(n_components=2).fit(X)
print(pca.explained_variance_.round(4))
huong = pca.components_ * np.sign(pca.components_[:, [0]])
print(np.allclose(huong, vec.T), np.allclose(Z @ huong.T, moi))KẾT QUẢ
[6. 1.] True
[6. 1.]
True TruePhương sai trên hai trục mới đúng bằng hai trị riêng, và hai trục mới không còn hiệp phương sai. Tổng 6 + 1 = 7 bằng tổng phương sai hai cột gốc 5 + 2: xoay không làm mất phương sai, chỉ dồn phần lớn vào trục đầu (6/7 ≈ 86%). explained_variance_ của sklearn là các trị riêng, components_ cất vector riêng theo dòng. Hai bên chọn dấu độc lập, nên cả hai được chuẩn dấu như trong bài tập (phần tử đầu của mỗi vector dương) rồi mới so: hướng và tọa độ khớp trực tiếp. Hai cột ở đây cùng thang 10. Cột khác đơn vị thì cần StandardScaler trước, nếu không cột số lớn chiếm trục đầu.
Kiểm tra nhanh
Sau
import numpy as np,print(np.array([[3.0, 0], [0, 1]]) @ np.array([0.0, 2]))in ra gì?[0. 2.][0. 6.][6. 2.]
Bảy hội viên có phương sai hai cột 5 và 2. Sau khi xoay sang hai trục PCA, phương sai hai trục mới là bao nhiêu?
- 6 và 1, tổng vẫn là 7
- 5 và 2, vì xoay không đổi gì
- 7 và 0, vì PCA dồn hết vào trục đầu
Những câu nào đúng về vector riêng của ma trận hiệp phương sai?
- Nếu v là vector riêng thì −v cũng là vector riêng
np.linalg.eigh()trả mỗi vector riêng thành một cộteigh()xếp trị riêng giảm dầnPCA.components_cất vector riêng theo cột
Trong khung bẫy, vì sao
tp1chỉ có phương sai 1?- Vì quên trừ trung bình
- Vì cột đầu của
eigh()ứng với trị riêng nhỏ nhất - Vì
ddof=1làm phương sai nhỏ đi
Bài tập
Chiếu bảng lên thành phần chính thứ nhất
X là mảng hai chiều, mỗi dòng một hội viên, mỗi cột một điểm số.
Viết thân hàm toa_do_tp1(X): trừ trung bình từng cột, tính ma trận hiệp phương sai (ddof=1), lấy vector riêng của trị riêng lớn nhất bằng np.linalg.eigh(). Nếu phần tử đầu của vector đó âm thì đổi dấu cả vector. Cuối cùng chiếu bảng đã trừ trung bình lên vector đó. Không dùng PCA của sklearn.
Hàm không sửa X của nơi gọi.
Trả về: tọa độ của từng dòng trên thành phần chính thứ nhất, một list số float.
Ví dụ: với bảng bảy hội viên của bài, phần tử thứ hai của kết quả là khoảng -3.5777, vì hội viên (3; 5) nằm xa trung bình về phía điểm thấp.
import numpy as np
def toa_do_tp1(X):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Ma trận hiệp phương sai có phương sai từng cột trên đường chéo:
np.cov(X, rowvar=False, ddof=1).Vector riêng v thỏa C · v = λ · v: nhân với C chỉ kéo dài v theo hệ số λ.
np.linalg.eigh()trả trị riêng tăng dần và vector riêng theo cột; dấu của vector là tùy ý.PCA xoay hệ trục theo vector riêng: phương sai trên mỗi trục mới là trị riêng, tổng phương sai không đổi.
PCA.explained_variance_là trị riêng,components_là vector riêng xếp theo dòng.Thành phần chính thứ nhất là cột cuối của
eigh(), không phải cột đầu.
Câu hỏi thường gặp
Vector riêng (eigenvector) và trị riêng (eigenvalue) khác nhau thế nào?
Vector riêng là một hướng, trị riêng là con số cho biết ma trận kéo dài hướng đó bao nhiêu lần. Với ma trận hiệp phương sai của bảy hội viên, hướng (0,894; 0,447) có trị riêng 6: dữ liệu biến động nhiều nhất theo hướng đó, phương sai 6.
Vì sao dùng eigh() thay cho eig()?
eigh() dành riêng cho ma trận đối xứng, luôn trả trị riêng thực, xếp sẵn tăng dần, và vector riêng vuông góc nhau. eig() dùng cho ma trận bất kỳ, có thể trả số phức và không xếp thứ tự. Ma trận hiệp phương sai đối xứng nên eigh() là lựa chọn hợp.
PCA của sklearn có tính bằng vector riêng không?
Tùy svd_solver. Từ bản 1.5, với bảng nhiều dòng ít cột (số dòng ít nhất gấp 10 lần số cột), svd_solver="auto" chọn "covariance_eigh": sklearn dựng ma trận hiệp phương sai rồi tính trị riêng và vector riêng của nó, đúng như bài này. Các trường hợp khác, kể cả bảng bảy dòng hai cột ở trên, dùng phân rã SVD của bảng đã trừ trung bình, cho cùng hướng và cùng phương sai. Kết quả khớp phép tự tính sau khi chuẩn dấu, như ví dụ ở trên và bài PCA.
Giữ bao nhiêu thành phần chính là đủ?
Cộng dồn tỉ lệ trị riêng trên tổng, ở đây trục đầu đã giữ 6/7 ≈ 86% phương sai. Một cách hay dùng là giữ đủ thành phần cho khoảng 90–95%, nhưng khi PCA là bước trong pipeline thì nên chọn n_components bằng cross validation như bài GridSearchCV.
Chủ đề
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.