PCA là gì? Giảm chiều dữ liệu, explained_variance_ratio_
Bài 5/7 · Chương 8
Học không giám sát
- 9 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 11
PCA (principal component analysis, phân tích thành phần chính) là một cách giảm chiều dữ liệu: nó tìm các hướng mới, mỗi hướng là tổ hợp tuyến tính của các cột cũ, sắp theo phương sai giữ lại từ nhiều tới ít. Giữ hai hướng đầu là có thể vẽ một bảng sáu cột lên mặt phẳng, và explained_variance_ratio_ cho biết hai hướng đó giữ bao nhiêu phần phương sai của bảng.
Cần biết trước: StandardScaler, phương sai và phép nhân ma trận @.
PCA là gì: chiếu lên hướng giữ nhiều phương sai nhất
Sau khi chuẩn hóa, mỗi cột có phương sai 1, nên tổng phương sai bằng số cột. PCA tìm hướng mà dữ liệu chiếu lên đó trải rộng nhất, rồi hướng thứ hai vuông góc với hướng đầu, và cứ thế. Tỉ lệ phương sai giữ lại của thành phần thứ k là:
Trong đó:
p: số cột; PCA cho tối đa p thành phần.
λ_k (
explained_variance_): phương sai của dữ liệu khi chiếu lên thành phần thứ k.r_k (
explained_variance_ratio_[k-1]): phần phương sai của cả bảng mà thành phần thứ k giữ; các r_k cộng lại bằng 1.
Tính tay với hai cột của bảng chi_tieu_khach_hang.csv (số giả lập của AIDev, 1.500 khách của chuỗi Sóc Nhanh): log số đơn và log tổng chi, chuẩn hóa với ddof=0 như StandardScaler. Hai cột tương quan r ≈ 0,937. Chiếu lên hướng (1, 1)/√2, phương sai của hình chiếu là (1 + 1 + 2r)/2 = 1 + r ≈ 1,937, trên tổng 2, nên r_1 ≈ 0,968:
import numpy as np
import pandas as pd
from sklearn.decomposition import PCA
kh = pd.read_csv("chi_tieu_khach_hang.csv")
L = np.log1p(kh[["so_don_12_thang", "tong_chi_12_thang_nghin"]])
z = ((L - L.mean()) / L.std(ddof=0)).to_numpy()
huong = np.array([1, 1]) / np.sqrt(2)
chieu = z @ huong
print("phương sai hình chiếu:", round(chieu.var(ddof=0), 3))
print("tỉ lệ tính tay:", round(chieu.var(ddof=0) / 2, 3))
print("sklearn:", PCA().fit(z).explained_variance_ratio_.round(3))KẾT QUẢ
phương sai hình chiếu: 1.937
tỉ lệ tính tay: 0.968
sklearn: [0.968 0.032]Hai cột gần như đi cùng nhau, nên một hướng đã giữ gần 97% phương sai. Hai cột độc lập thì mỗi hướng chỉ giữ quanh 50%, và giảm chiều mất nhiều thông tin. Hiệp phương sai giữa các cột là thứ PCA thật sự đọc; bài toán của PCA sẽ tự tính các hướng này bằng NumPy.
explained_variance_ratio_ và components_ trên sáu cột
Với cả sáu cột, log bốn cột lệch phải rồi đưa StandardScaler và PCA vào một pipeline. np.cumsum cộng dồn tỉ lệ để biết giữ bao nhiêu thành phần thì đủ:
import numpy as np
import pandas as pd
from sklearn.decomposition import PCA
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
kh = pd.read_csv("chi_tieu_khach_hang.csv").drop(columns="ma_kh")
kh[kh.columns[:4]] = np.log1p(kh[kh.columns[:4]])
pca = make_pipeline(StandardScaler(), PCA()).fit(kh)[-1]
ti_le = pca.explained_variance_ratio_
print("tỉ lệ: ", ti_le.round(3))
print("cộng dồn:", np.cumsum(ti_le).round(3))
print(pd.DataFrame(pca.components_[:2].T, index=kh.columns,
columns=["PC1", "PC2"]).round(2))KẾT QUẢ
tỉ lệ: [0.556 0.257 0.1 0.05 0.037 0. ]
cộng dồn: [0.556 0.813 0.913 0.963 1. 1. ]
PC1 PC2
so_ngay_tu_lan_mua_cuoi -0.45 -0.27
so_don_12_thang 0.50 0.23
tong_chi_12_thang_nghin 0.52 -0.02
gia_tri_don_tb_nghin 0.32 -0.57
ti_le_don_giam_gia -0.06 0.74
so_danh_muc 0.42 -0.01Hai thành phần đầu giữ 81,3% phương sai, ba thành phần giữ 91,3%. Thành phần cuối giữ gần 0 (0,04%, in ra 0. vì làm tròn): tổng chi gần bằng số đơn nhân giá trị đơn trung bình, nên sau khi log, cột tổng chi gần như là tổng của hai cột kia và hầu như không mang thêm thông tin nào.
Mỗi cột của bảng components_ là trọng số của một cột gốc. PC1 có trọng số dương lớn ở số đơn, tổng chi, số danh mục và trọng số âm ở số ngày từ lần mua cuối: khách có PC1 cao mua nhiều, mua gần đây. PC2 dương mạnh ở tỉ lệ đơn giảm giá và âm ở giá trị đơn trung bình: khách có PC2 cao hay mua đơn nhỏ có mã giảm giá. Dấu của cả một thành phần có thể đảo giữa các phiên bản thư viện; chỉ trọng số tương đối mới có nghĩa.
Vẽ bảng sáu cột trên mặt phẳng
PCA(n_components=2) chỉ giữ hai thành phần, và fit_transform trả mỗi khách hai tọa độ. Tô màu từng điểm theo nhãn K-means bốn cụm để xem các cụm nằm đâu:
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.cluster import KMeans
from sklearn.decomposition import PCA
from sklearn.preprocessing import StandardScaler
kh = pd.read_csv("chi_tieu_khach_hang.csv").drop(columns="ma_kh")
kh[kh.columns[:4]] = np.log1p(kh[kh.columns[:4]])
Z = StandardScaler().fit_transform(kh)
nhan = KMeans(4, n_init=10, random_state=0).fit_predict(Z)
P = PCA(n_components=2).fit_transform(Z)
fig, ax = plt.subplots(figsize=(6.4, 4), layout="constrained")
ax.scatter(P[:, 0], P[:, 1], c=nhan, s=8, cmap="tab10")
ax.set(title="Hai thành phần chính", xlabel="PC1", ylabel="PC2")
plt.show()Trục ngang là PC1, mua nhiều và gần đây; trục dọc là PC2, đơn nhỏ có mã giảm giá. Cụm săn khuyến mãi nằm cao trên PC2, cụm mua nhiều nằm xa bên phải, còn hai cụm mua thưa nằm sát nhau bên trái: hình này gợi ý vì sao silhouette ở K = 4 thấp hơn ở K = 3.
Lời nguyền số chiều
Vì sao cần giảm chiều? Khi số cột tăng, các điểm ngẫu nhiên trở nên cách đều nhau: khoảng cách tới điểm gần nhất và điểm xa nhất sát lại, nên "gần" mất nghĩa với K-means, DBSCAN hay KNN. Khối dưới rải 200 điểm đều trong hình hộp d chiều và đo từ điểm đầu tới 199 điểm còn lại:
import numpy as np
rng = np.random.default_rng(0)
for d in [2, 10, 100, 1000]:
X = rng.uniform(size=(200, d))
kc = np.sqrt(((X[1:] - X[0]) ** 2).sum(axis=1))
lech = (kc.max() - kc.min()) / kc.min()
print(d, "chiều: gần nhất", round(kc.min(), 2),
"xa nhất", round(kc.max(), 2), "chênh", round(lech, 2))KẾT QUẢ
2 chiều: gần nhất 0.06 xa nhất 0.86 chênh 13.18
10 chiều: gần nhất 0.59 xa nhất 1.99 chênh 2.36
100 chiều: gần nhất 3.48 xa nhất 4.81 chênh 0.38
1000 chiều: gần nhất 12.14 xa nhất 13.49 chênh 0.11Ở 2 chiều, điểm xa nhất cách gấp hơn mười lần điểm gần nhất; ở 1.000 chiều chỉ chênh khoảng 11%. Đó là lời nguyền số chiều. Khi dữ liệu thật sự nằm gần vài hướng chính, giảm về vài thành phần giữ phần lớn phương sai giúp khoảng cách có nghĩa trở lại; dữ liệu ngẫu nhiên như khối trên thì không có hướng nào để giữ. Đổi 200 thành 50 rồi chạy lại: ít điểm hơn nhưng hiện tượng vẫn vậy, dòng 1.000 chiều in chênh 0.07.
Kiểm tra nhanh
Hai cột đã chuẩn hóa có tương quan r = 0,6. Thành phần chính đầu tiên giữ bao nhiêu phần phương sai?
- 0,8
- 0,6
- 0,36
- 1,6
explained_variance_ratio_của một PCA là[0.556, 0.257, 0.1, 0.05, 0.037, 0.0]. Cần ít nhất mấy thành phần để giữ 90% phương sai?- 2
- 3
- 4
- 6
Những câu nào đúng về
components_của PCA?- Mỗi dòng là một thành phần chính, mỗi cột ứng với một cột gốc
- Trọng số có trị tuyệt đối lớn cho biết cột gốc nào đóng góp nhiều vào thành phần đó
- Dấu của trọng số cho biết cột đó tốt hay xấu
- Các dòng sắp theo thứ tự cột gốc
Trong mô phỏng lời nguyền số chiều, vì sao khoảng cách mất nghĩa khi số chiều lớn?
- Vì máy không tính được căn bậc hai của số lớn
- Vì khoảng cách tới điểm gần nhất và xa nhất sát nhau, nên khó phân biệt điểm gần với điểm xa
- Vì PCA chưa được chạy trước
Bài tập
Cột nặng nhất của một thành phần
bang là DataFrame các cột số, thanh_phan là số thứ tự thành phần chính, đếm từ 0. Viết thân hàm cot_nang_nhat(bang, thanh_phan):
chuẩn hóa
bangbằngStandardScaler, rồiPCA()(giữ mọi thành phần);lấy dòng
thanh_phancủacomponents_;trả tên cột gốc có trọng số với trị tuyệt đối lớn nhất.
Hàm không sửa bảng bang của nơi gọi.
Trả về: tên cột, một str.
Ví dụ: với bảng 40 khách trong phần chấm có bốn cột so_ngay, so_don, tong_chi, ti_le_giam, thành phần 0 cho "so_ngay" và thành phần 1 cho "ti_le_giam".
import numpy as np
import pandas as pd
from sklearn.decomposition import PCA
from sklearn.preprocessing import StandardScaler
def cot_nang_nhat(bang, thanh_phan):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
PCA tìm các hướng mới, tổ hợp tuyến tính của các cột cũ, sắp theo phương sai giữ lại giảm dần.
Luôn log các cột lệch phải và scale trước PCA, nếu không cột có số lớn nhất chiếm trọn thành phần đầu.
explained_variance_ratio_là phần phương sai mỗi thành phần giữ;np.cumsumcho biết cần bao nhiêu thành phần.components_có mỗi dòng là một thành phần; trọng số có trị tuyệt đối lớn cho biết cột gốc nào quan trọng, dấu cả dòng có thể đảo.PCA(n_components=2)đưa bảng nhiều cột về hai tọa độ để vẽ lên mặt phẳng.Lời nguyền số chiều: nhiều cột làm khoảng cách gần và xa sát nhau; khi dữ liệu nằm gần vài hướng chính, giảm chiều giúp khoảng cách có nghĩa trở lại.
Câu hỏi thường gặp
Nên giữ bao nhiêu thành phần chính?
Không có số cố định. Để vẽ, giữ 2. Để đưa vào model khác, thường chọn số nhỏ nhất mà tổng cộng dồn vượt 80% tới 95%, rồi kiểm lại điểm của model trên tập validation; trên bảng khách ở bài này, 3 thành phần đã giữ 91,3%.
PCA có làm model dự đoán tốt hơn không?
Không chắc. PCA không nhìn cột đích, nên hướng giữ nhiều phương sai chưa chắc là hướng giúp dự đoán. Nó hữu ích khi có nhiều cột tương quan mạnh hoặc model chạy chậm vì quá nhiều cột; khi đó, so điểm có và không có PCA trên cùng tập validation rồi mới quyết định.
Đọc thành phần chính thế nào cho người không làm kỹ thuật?
Xếp các cột theo trọng số của thành phần đó, đọc ba bốn cột đầu và dấu của chúng, rồi đặt một tên ngắn như ở bài này: PC1 là "mua nhiều, mua gần đây", PC2 là "đơn nhỏ, có mã giảm giá". Nhắc kèm phần phương sai mà thành phần đó giữ.
Chủ đề
Dữ liệu của bài
- Tải xuống
chi_tieu_khach_hang.csv
CSV · 41.72 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.