Bỏ qua đến nội dung chính
Mục lục

Eigenvector là gì? PCA là phép xoay trục, tự tính NumPy

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 7/8 · Chương 12

Toán vừa đủ cho Machine Learning

  • 8 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Eigenvector là gì? Eigenvector (vector riêng) của một ma trận vuông C là một vector v khác 0 mà phép nhân với C chỉ co giãn nó, C · v = λ · v, với hệ số λ là trị riêng. PCA tìm vector riêng của ma trận hiệp phương sai của bảng (ở đó mọi λ ≥ 0, nên v giữ nguyên hướng) rồi dùng chúng làm hệ trục mới: một phép xoay, dữ liệu không bị kéo méo.

Cần biết trước: PCA và hiệp phương sai.

Từ bảng điểm tới ma trận C

Bảy hội viên Sóc Vàng chấm hai điểm hài lòng trên thang 10: giao hàng và món ăn. Ma trận hiệp phương sai đặt phương sai của từng cột trên đường chéo, hiệp phương sai giữa hai cột ở hai ô còn lại:

python
import numpy as np

X = np.array([[6, 8], [3, 5], [10, 8], [6, 6],
              [7, 7], [4, 6], [6, 9]])
print("trung bình:", X.mean(axis=0))
C = np.cov(X, rowvar=False, ddof=1)
print(C)
Z = X - X.mean(axis=0)
print(Z.T @ Z / (len(X) - 1))

KẾT QUẢ

trung bình: [6. 7.]
[[5. 2.]
 [2. 2.]]
[[5. 2.]
 [2. 2.]]

Bảng của bài xếp mỗi hội viên trên một dòng, nên phải truyền rowvar=False để np.cov() lấy cột làm biến; bỏ tham số này thì nó dựng ma trận 7 × 7 giữa các hội viên. Dòng cuối tính lại cùng ma trận bằng tay: trừ trung bình từng cột được Z, rồi Zᵀ · Z chia n − 1. Phương sai giao hàng là 5, món ăn là 2, hiệp phương sai dương 2: ai chấm giao hàng cao thường chấm món ăn cao.

Eigenvector là gì: vector chỉ bị kéo dài

Nhân C với một vector bất kỳ thường làm nó vừa dài ra vừa xoay đi. Vector riêng thì không xoay:

Cv=λvC v = \lambda v

Trong đó:

  • C (C): ma trận hiệp phương sai, vuông và đối xứng.

  • v (v): vector riêng, khác 0, một hướng trong không gian hai cột.

  • λ (gia_tri): trị riêng đi kèm v, độ kéo dài theo hướng đó.

Với ma trận 2 × 2, hai trị riêng có tổng bằng tổng đường chéo và tích bằng định thức:

Bước

Việc

Kết quả

1

Tổng đường chéo 5 + 2

7

2

Định thức 5 · 2 − 2 · 2

6

3

Hai số có tổng 7, tích 6

λ = 6 và λ = 1

4

(C − 6I) · v = 0 cho −v₁ + 2v₂ = 0

v = (2; 1)

5

Chia cho độ dài √5

(0,894; 0,447)

python
import numpy as np

C = np.array([[5.0, 2.0], [2.0, 2.0]])
v = np.array([2.0, 1.0])
print("C @ v:", C @ v, " tỉ số:", (C @ v) / v)
u = np.array([1.0, 1.0])
print("C @ u:", C @ u, " tỉ số:", (C @ u) / u)

KẾT QUẢ

C @ v: [12.  6.]  tỉ số: [6. 6.]
C @ u: [7. 4.]  tỉ số: [7. 4.]

Với v = (2; 1), cả hai tọa độ cùng nhân 6: v là vector riêng, trị riêng 6. Với u = (1; 1), hai tỉ số khác nhau nên u bị xoay hướng. Đổi u = np.array([1.0, 1.0]) thành u = np.array([1.0, -2.0]) rồi chạy lại: dòng cuối in C @ u: [ 1. -2.] tỉ số: [1. 1.], vector riêng thứ hai với trị riêng 1.

np.linalg.eigh(): trị riêng và vector riêng

np.linalg.eigh() dành cho ma trận đối xứng như ma trận hiệp phương sai. Nó trả về trị riêng xếp tăng dần và một ma trận có mỗi cột là một vector riêng dài 1:

python
import numpy as np

C = np.array([[5.0, 2.0], [2.0, 2.0]])
tri_rieng, vec_rieng = np.linalg.eigh(C)
print(tri_rieng)
print(vec_rieng.round(4))
tri_rieng, vec_rieng = tri_rieng[::-1], vec_rieng[:, ::-1]
print(tri_rieng, vec_rieng[:, 0].round(4))

KẾT QUẢ

[1. 6.]
[[ 0.4472 -0.8944]
 [-0.8944 -0.4472]]
[6. 1.] [-0.8944 -0.4472]

Vì thứ tự tăng dần, chỉ cần đảo ngược bằng [::-1], cả mảng trị riêng lẫn các cột vector, để thành phần chính thứ nhất ứng với trị riêng 6. Vector ra (−0,894; −0,447), ngược dấu với số tính tay: nếu v là vector riêng thì −v cũng là, và thư viện chọn dấu tùy ý.

PCA là phép xoay trục

Hai vector riêng vuông góc và dài 1, nên nhân Z với ma trận vector riêng chỉ xoay hệ trục. Tọa độ mới của mỗi hội viên là Z @ vec. Khối dưới so với PCA của sklearn:

python
import numpy as np
from sklearn.decomposition import PCA

X = np.array([[6, 8], [3, 5], [10, 8], [6, 6],
              [7, 7], [4, 6], [6, 9]])
Z = X - X.mean(axis=0)
_, vec = np.linalg.eigh(np.cov(X, rowvar=False, ddof=1))
vec = vec[:, ::-1] * np.sign(vec[0, ::-1])
moi = Z @ vec
hiep = np.cov(moi, rowvar=False, ddof=1)[0, 1]
print(moi.var(axis=0, ddof=1).round(4), np.isclose(hiep, 0))
pca = PCA(n_components=2).fit(X)
print(pca.explained_variance_.round(4))
huong = pca.components_ * np.sign(pca.components_[:, [0]])
print(np.allclose(huong, vec.T), np.allclose(Z @ huong.T, moi))

KẾT QUẢ

[6. 1.] True
[6. 1.]
True True

Phương sai trên hai trục mới đúng bằng hai trị riêng, và hai trục mới không còn hiệp phương sai. Tổng 6 + 1 = 7 bằng tổng phương sai hai cột gốc 5 + 2: xoay không làm mất phương sai, chỉ dồn phần lớn vào trục đầu (6/7 ≈ 86%). explained_variance_ của sklearn là các trị riêng, components_ cất vector riêng theo dòng. Hai bên chọn dấu độc lập, nên cả hai được chuẩn dấu như trong bài tập (phần tử đầu của mỗi vector dương) rồi mới so: hướng và tọa độ khớp trực tiếp. Hai cột ở đây cùng thang 10. Cột khác đơn vị thì cần StandardScaler trước, nếu không cột số lớn chiếm trục đầu.

Kiểm tra nhanh

  1. Sau import numpy as np, print(np.array([[3.0, 0], [0, 1]]) @ np.array([0.0, 2])) in ra gì?

    • [0. 2.]
    • [0. 6.]
    • [6. 2.]
  2. Bảy hội viên có phương sai hai cột 5 và 2. Sau khi xoay sang hai trục PCA, phương sai hai trục mới là bao nhiêu?

    • 6 và 1, tổng vẫn là 7
    • 5 và 2, vì xoay không đổi gì
    • 7 và 0, vì PCA dồn hết vào trục đầu
  3. Những câu nào đúng về vector riêng của ma trận hiệp phương sai?

    • Nếu v là vector riêng thì −v cũng là vector riêng
    • np.linalg.eigh() trả mỗi vector riêng thành một cột
    • eigh() xếp trị riêng giảm dần
    • PCA.components_ cất vector riêng theo cột
  4. Trong khung bẫy, vì sao tp1 chỉ có phương sai 1?

    • Vì quên trừ trung bình
    • Vì cột đầu của eigh() ứng với trị riêng nhỏ nhất
    • Vì ddof=1 làm phương sai nhỏ đi
Đúng hết lần đầu +15 XP

Bài tập

Chiếu bảng lên thành phần chính thứ nhất

X là mảng hai chiều, mỗi dòng một hội viên, mỗi cột một điểm số.

Viết thân hàm toa_do_tp1(X): trừ trung bình từng cột, tính ma trận hiệp phương sai (ddof=1), lấy vector riêng của trị riêng lớn nhất bằng np.linalg.eigh(). Nếu phần tử đầu của vector đó âm thì đổi dấu cả vector. Cuối cùng chiếu bảng đã trừ trung bình lên vector đó. Không dùng PCA của sklearn.

Hàm không sửa X của nơi gọi.

Trả về: tọa độ của từng dòng trên thành phần chính thứ nhất, một list số float.

Ví dụ: với bảng bảy hội viên của bài, phần tử thứ hai của kết quả là khoảng -3.5777, vì hội viên (3; 5) nằm xa trung bình về phía điểm thấp.

python
import numpy as np

def toa_do_tp1(X):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • Ma trận hiệp phương sai có phương sai từng cột trên đường chéo: np.cov(X, rowvar=False, ddof=1).

  • Vector riêng v thỏa C · v = λ · v: nhân với C chỉ kéo dài v theo hệ số λ.

  • np.linalg.eigh() trả trị riêng tăng dần và vector riêng theo cột; dấu của vector là tùy ý.

  • PCA xoay hệ trục theo vector riêng: phương sai trên mỗi trục mới là trị riêng, tổng phương sai không đổi.

  • PCA.explained_variance_ là trị riêng, components_ là vector riêng xếp theo dòng.

  • Thành phần chính thứ nhất là cột cuối của eigh(), không phải cột đầu.

Câu hỏi thường gặp

Vector riêng (eigenvector) và trị riêng (eigenvalue) khác nhau thế nào?

Vector riêng là một hướng, trị riêng là con số cho biết ma trận kéo dài hướng đó bao nhiêu lần. Với ma trận hiệp phương sai của bảy hội viên, hướng (0,894; 0,447) có trị riêng 6: dữ liệu biến động nhiều nhất theo hướng đó, phương sai 6.

Vì sao dùng eigh() thay cho eig()?

eigh() dành riêng cho ma trận đối xứng, luôn trả trị riêng thực, xếp sẵn tăng dần, và vector riêng vuông góc nhau. eig() dùng cho ma trận bất kỳ, có thể trả số phức và không xếp thứ tự. Ma trận hiệp phương sai đối xứng nên eigh() là lựa chọn hợp.

PCA của sklearn có tính bằng vector riêng không?

Tùy svd_solver. Từ bản 1.5, với bảng nhiều dòng ít cột (số dòng ít nhất gấp 10 lần số cột), svd_solver="auto" chọn "covariance_eigh": sklearn dựng ma trận hiệp phương sai rồi tính trị riêng và vector riêng của nó, đúng như bài này. Các trường hợp khác, kể cả bảng bảy dòng hai cột ở trên, dùng phân rã SVD của bảng đã trừ trung bình, cho cùng hướng và cùng phương sai. Kết quả khớp phép tự tính sau khi chuẩn dấu, như ví dụ ở trên và bài PCA.

Giữ bao nhiêu thành phần chính là đủ?

Cộng dồn tỉ lệ trị riêng trên tổng, ở đây trục đầu đã giữ 6/7 ≈ 86% phương sai. Một cách hay dùng là giữ đủ thành phần cho khoảng 90–95%, nhưng khi PCA là bước trong pipeline thì nên chọn n_components bằng cross validation như bài GridSearchCV.

Chủ đề

eigenvector là gì

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập