Bài tập phân cụm: K-means, silhouette và PCA
Bài 6/7 · Chương 8
Học không giám sát
- 7 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 8
Sáu bài tập phân cụm dưới đây được chấm tự động ngay trên trang: mỗi bài bạn viết thân một hàm Python, bấm Chạy, và từng dòng kiểm tra báo đạt hay chưa. Các bài đi qua cả chương học không giám sát: chuẩn bị bảng cho K-means, chọn K, DBSCAN, dendrogram và PCA.
Cần biết trước: K-means, chọn số cụm K và PCA.
Cách làm các bài tập
Mỗi bài cho sẵn các dòng import và dòng def với thân là pass. Bạn thay pass bằng thân hàm. Trình chấm không đọc những gì bạn in ra: nó gọi hàm với nhiều bảng khác nhau rồi so giá trị trả về, nên hàm phải return. Số thực được so gần đúng, nên đừng làm tròn.
Mỗi hàm có vài dòng kiểm tra: ví dụ trong đề, vài trường hợp dễ sai và một dòng kiểm hàm không sửa dữ liệu của nơi gọi. Dòng cuối gọi hàm trên tối đa 12 mẫu ngẫu nhiên có hạt giống, phần lớn lấy từ chi_tieu_khach_hang.csv (1.500 khách giả lập của chuỗi Sóc Nhanh), rồi so với một cách tính khác. Bí thì mở gợi ý theo thứ tự: gợi ý một chỉ chỗ cần nhìn, gợi ý hai nêu cách làm, gợi ý ba gần như là lời giải.
Mức dễ: chuẩn bị bảng và đọc K gợi ý
Hai bài đầu chưa phân cụm: một bài chuẩn bị bảng, một bài đọc hai danh sách số đã tính sẵn.
Log các cột lệch phải rồi scale
kh là DataFrame các cột số, cot_lech là list tên các cột lệch phải (có thể rỗng). Viết thân hàm log_va_scale(kh, cot_lech): lấy np.log1p của các cột trong cot_lech, giữ nguyên các cột khác, rồi chuẩn hóa mọi cột bằng StandardScaler. Hàm không sửa kh của nơi gọi.
Trả về: bảng đã chuẩn hóa, cột theo thứ tự của kh, một ndarray.
Ví dụ với bảng bốn khách so_don = 1, 3, 7, 15 và ti_le = 0,1; 0,5; 0,2; 0,9 cùng cot_lech = ["so_don"]: cột đầu thành khoảng −1,342; −0,447; 0,447; 1,342, vì log của 2, 4, 8, 16 cách đều nhau. Ôn lại: K-means.
import numpy as np
import pandas as pd
from sklearn.preprocessing import StandardScaler
def log_va_scale(kh, cot_lech):
pass # Viết thân hàm thay cho dòng nàyK gợi ý từ elbow và silhouette
cac_k là list các giá trị K tăng dần, inertia và silhouette là hai list cùng độ dài, phần tử thứ i ứng với cac_k[i]. Viết thân hàm goi_y_k(cac_k, inertia, silhouette):
mức giảm thứ i là
inertia[i] - inertia[i + 1];K ở khuỷu là K mà mức giảm ngay trước nó trừ mức giảm ngay sau nó lớn nhất (chỉ xét các K có cả hai mức giảm, nên bỏ K đầu và K cuối); nếu bằng nhau, lấy K nhỏ hơn;
K theo silhouette là K có silhouette cao nhất; nếu bằng nhau, lấy K nhỏ hơn.
Hàm không sửa ba list của nơi gọi.
Trả về: (K ở khuỷu, K theo silhouette), một tuple hai int.
Ví dụ với số của bài chọn K: cac_k = [2, 3, 4, 5, 6, 7], inertia 5263, 2909, 2404, 2119, 1929, 1757 và silhouette 0,462; 0,477; 0,387; 0,368; 0,341; 0,334 cho (3, 3). Ôn lại: chọn số cụm K.
def goi_y_k(cac_k, inertia, silhouette):
pass # Viết thân hàm thay cho dòng nàyMức vừa: DBSCAN và dendrogram
Hai bài này phân cụm thật: một bài đếm nhiễu của DBSCAN, một bài đọc khoảng trống trên cây gộp.
Tỉ lệ điểm nhiễu của DBSCAN
Z là mảng NumPy đã log và scale, eps và min_samples là hai tham số của DBSCAN. Viết thân hàm ti_le_nhieu(Z, eps, min_samples): chạy DBSCAN(eps=eps, min_samples=min_samples) trên Z rồi tính tỉ lệ điểm mang nhãn −1 trên tổng số điểm. Hàm không sửa Z của nơi gọi.
Trả về: tỉ lệ nhiễu từ 0 tới 1, một float.
Ví dụ với cả bảng khách đã log bốn cột đầu và scale, eps = 1.0, min_samples = 10 cho khoảng 0.0233 (35 trên 1.500 khách). Ôn lại: DBSCAN.
import numpy as np
from sklearn.cluster import DBSCAN
def ti_le_nhieu(Z, eps, min_samples):
pass # Viết thân hàm thay cho dòng nàySố cụm khi cắt ở khoảng trống lớn nhất
X là mảng NumPy hai chiều, cach_noi là một trong "ward", "complete", "average", "single". Viết thân hàm cum_o_khoang_trong(X, cach_noi):
lấy độ cao các lần gộp: cột thứ ba (chỉ số 2) của
linkage(X, method=cach_noi)từscipy.cluster.hierarchy;tìm hai lần gộp liền nhau có độ cao chênh nhau nhiều nhất (nếu bằng nhau, lấy cặp đầu);
cắt cây giữa hai lần gộp đó và đếm số cụm còn lại.
Hàm không sửa X của nơi gọi.
Trả về: số cụm, một int.
Ví dụ với năm khách 0, 1, 10, 11, 30 đơn (mỗi khách một dòng) và "single": độ cao các lần gộp là 1, 1, 9, 19, khoảng trống lớn nhất nằm giữa 9 và 19, nên kết quả là 2. Ôn lại: phân cụm phân cấp.
import numpy as np
from scipy.cluster.hierarchy import linkage
def cum_o_khoang_trong(X, cach_noi):
pass # Viết thân hàm thay cho dòng nàyMức khó: PCA và so cách chia
Hai bài cuối dùng PCA: một bài đo phương sai giữ lại, một bài xem K-means có đổi cách chia khi chạy trên vài thành phần chính không.
Phương sai giữ lại với vài thành phần
bang là DataFrame các cột số, so_tp là số thành phần chính muốn giữ, từ 1 tới số cột. Viết thân hàm phan_giu_lai(bang, so_tp): chuẩn hóa bang bằng StandardScaler, chạy PCA(), rồi cộng explained_variance_ratio_ của so_tp thành phần đầu. Hàm không sửa bang của nơi gọi.
Trả về: phần phương sai giữ lại từ 0 tới 1, một float.
Ví dụ với cả bảng khách (bỏ cột ma_kh, log bốn cột đầu) và so_tp = 2, kết quả là khoảng 0.8134. Ôn lại: PCA.
import numpy as np
import pandas as pd
from sklearn.decomposition import PCA
from sklearn.preprocessing import StandardScaler
def phan_giu_lai(bang, so_tp):
pass # Viết thân hàm thay cho dòng nàyK-means trước và sau PCA khớp nhau bao nhiêu
Z là mảng NumPy đã log và scale, k là số cụm, so_tp là số thành phần chính. Viết thân hàm ari_sau_pca(Z, k, so_tp):
phân cụm
ZbằngKMeans(n_clusters=k, n_init=10, random_state=0);chiếu
Zlênso_tpthành phần bằngPCA(n_components=so_tp)rồi phân cụm các tọa độ mới bằng mộtKMeansvới cùng tham số;so hai cách chia bằng
adjusted_rand_score().
Hàm không sửa Z của nơi gọi.
Trả về: ARI của hai cách chia, một float.
Ví dụ với 300 khách lấy bằng sample(300, random_state=0) từ bảng khách đã log bốn cột đầu, rồi scale, k = 4 và so_tp = 2 cho khoảng 0.974. Ôn lại: phân cụm phân cấp (phần ARI) và PCA.
import numpy as np
from sklearn.cluster import KMeans
from sklearn.decomposition import PCA
from sklearn.metrics import adjusted_rand_score
def ari_sau_pca(Z, k, so_tp):
pass # Viết thân hàm thay cho dòng nàyCâu hỏi thường gặp
Bài tập phân cụm có lời giải xem ở đâu?
Mỗi bài có lời giải mẫu, mở sau khi bạn đã chạy thử. Lời giải chỉ là một cách đúng: trình chấm so giá trị trả về, nên cách viết khác vẫn đạt nếu ra cùng kết quả trên mọi dòng kiểm tra.
Vì sao ở bài K gợi ý, khuỷu không nằm ở K có mức giảm lớn nhất?
Mức giảm lớn nhất là bước đi vào khuỷu. Khuỷu là chỗ đường cong đổi từ dốc sang thoải, tức chỗ mức giảm trước lớn mà mức giảm sau nhỏ. Dòng kiểm tra thứ hai có đúng trường hợp này: mức giảm 400 đi vào K = 4, và sau đó chỉ còn 50.
ARI gần 1 ở bài cuối nói lên điều gì?
Hai thành phần chính giữ khoảng 81% phương sai của bảng khách, và K-means trên hai tọa độ đó chia gần giống K-means trên sáu cột. Vậy hình vẽ hai chiều ở bài PCA phản ánh khá đúng cách chia thật. Với bảng có nhiều cột ít tương quan, ARI này có thể thấp hơn nhiều.
Chủ đề
Dữ liệu của bài
- Tải xuống
chi_tieu_khach_hang.csv
CSV · 41.72 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.