MinMaxScaler, RobustScaler hay StandardScaler: chọn sao
Bài 6/11 · Chương 5
Phân loại: logistic regression, KNN, SVM, Naive Bayes
- 9 phút
- Cơ bản
- Python 3.14
- Cập nhật
Trong bài này · 11
MinMaxScaler co giãn một cột sao cho giá trị nhỏ nhất thành 0 và lớn nhất thành 1. StandardScaler lấy trung bình làm tâm và độ lệch chuẩn làm thước đo, còn RobustScaler lấy trung vị làm tâm và khoảng tứ phân vị (IQR) làm thước đo. Ba cách cho kết quả gần nhau trên một cột sạch; chúng tách ra khi cột có vài giá trị sai hay quá xa phần còn lại, vì mỗi cách để những giá trị đó chạm vào tâm và thước đo theo một mức khác nhau.
Cần biết trước: StandardScaler, KNN và trung vị.
Ba công thức feature scaling
Cả ba scaler đều trừ một số "tâm" rồi chia cho một số "độ rộng"; chỉ khác ở chỗ lấy hai số đó từ đâu:
Trong đó:
, là giá trị nhỏ nhất và lớn nhất của cột trên tập train;
là trung bình, là độ lệch chuẩn tính với
ddof=0như StandardScaler;, , là phân vị 25%, 50% (trung vị) và 75%; là IQR.
Cột tuoi của bảng hội viên Sóc Vàng (3.000 dòng, số giả lập của AIDev) đi từ 18 tới 61. Giả sử lúc nhập liệu, cứ 100 dòng có một dòng bị gõ thành 999, tức 30 dòng lỗi. Tính tay tâm và độ rộng mà mỗi scaler học được, trên cột sạch và trên cột có lỗi. ban[::100] chọn dòng 0, 100, 200…:
import numpy as np
import pandas as pd
tuoi = pd.read_csv("hoi_vien.csv")["tuoi"].to_numpy(dtype=float)
ban = tuoi.copy()
ban[::100] = 999
for ten, x in [("sạch", tuoi), ("lỗi", ban)]:
q1, q2, q3 = np.percentile(x, [25, 50, 75])
print(ten, "| MinMax", x.min(), x.max() - x.min(),
"| Standard", x.mean().round(1), x.std().round(1),
"| Robust", q2, q3 - q1)KẾT QUẢ
sạch | MinMax 18.0 43.0 | Standard 31.0 7.8 | Robust 31.0 11.0
lỗi | MinMax 18.0 981.0 | Standard 40.7 96.6 | Robust 31.0 12.0Một phần trăm số dòng là đủ đẩy max từ 61 lên 999, nên độ rộng của MinMax tăng từ 43 lên 981. Trung bình nhích từ 31 lên 40,7, còn độ lệch chuẩn tăng từ 7,8 lên 96,6, gấp hơn mười hai lần. Trung vị đứng yên ở 31 và IQR chỉ đổi từ 11 sang 12: 30 dòng lỗi nằm hết ở đuôi trên, không chạm tới phân vị 25 hay 75.
Ba scaler trong scikit-learn
Ba lớp có cùng giao diện fit(), transform(), fit_transform() và nhận bảng hai chiều. Độ rộng to ra thì hậu quả thấy rõ nhất ở khoảng cách: hai hội viên 25 và 45 tuổi, sau khi scale, còn cách nhau bao xa? Fit mỗi scaler trên cột sạch rồi trên cột lỗi, biến đổi tuổi của hai người và in hiệu của họ:
import pandas as pd
from sklearn.preprocessing import (MinMaxScaler, RobustScaler,
StandardScaler)
sach = pd.read_csv("hoi_vien.csv")[["tuoi"]]
loi = sach.copy()
loi.iloc[::100, 0] = 999
hai = pd.DataFrame({"tuoi": [25, 45]})
for scaler in [MinMaxScaler(), StandardScaler(), RobustScaler()]:
a, b = scaler.fit(sach).transform(hai).ravel()
c, d = scaler.fit(loi).transform(hai).ravel()
print(f"{type(scaler).__name__:15} {b - a:.2f} {d - c:.2f}")KẾT QUẢ
MinMaxScaler 0.47 0.02
StandardScaler 2.55 0.21
RobustScaler 1.82 1.67Hai mươi năm tuổi là chênh lệch thật. Sau MinMaxScaler trên cột lỗi, nó chỉ còn 0,02, nhỏ hơn một bước của cột nhị phân như tự động gia hạn (từ 0 lên 1) tới năm mươi lần: trong khoảng cách của KNN, tuổi gần như biến mất. StandardScaler giữ được một phần mười, RobustScaler giữ gần nguyên. Lỗi gõ nên sửa ở bước làm sạch; khi chưa chắc cột có giá trị lạ, RobustScaler ít bị vài dòng quyết định nhất.
Không có lỗi gõ, một cột lệch phải tự nhiên cũng có đuôi dài. Trên cột chi tiêu 90 ngày (nghìn đồng), in năm mốc: nhỏ nhất, Q1, trung vị, Q3, lớn nhất trước và sau khi scale:
import numpy as np
import pandas as pd
from sklearn.preprocessing import (MinMaxScaler, RobustScaler,
StandardScaler)
hv = pd.read_csv("hoi_vien.csv")
cot = hv[["chi_tieu_90_ngay_nghin"]]
print(np.percentile(cot, [0, 25, 50, 75, 100]))
for scaler in [MinMaxScaler(), StandardScaler(), RobustScaler()]:
z = scaler.fit_transform(cot)
moc = np.percentile(z, [0, 25, 50, 75, 100]).round(2)
print(type(scaler).__name__, moc)KẾT QUẢ
[ 0. 288. 617. 1115.25 7316. ]
MinMaxScaler [0. 0.04 0.08 0.15 1. ]
StandardScaler [-1.04 -0.67 -0.26 0.36 8.15]
RobustScaler [-0.75 -0.4 0. 0.6 8.1 ]Sau MinMaxScaler, ba phần tư hội viên nằm dưới 0,15, trong khi một cột nhị phân như tự động gia hạn vẫn đi từ 0 đến 1. Trong một phép đo khoảng cách, chênh lệch chi tiêu giữa phần đông khách vì thế gần như không được tính.
Normalization vs standardization
Trong tài liệu tiếng Anh, normalization thường chỉ MinMaxScaler (đưa cột về 0 đến 1), còn standardization là StandardScaler (trung bình 0, độ lệch chuẩn 1). Khi chọn, câu hỏi quyết định là cột có vài giá trị lạ không và cột đó có quan trọng với model không.
Vài dòng lỗi trong một cột có ích cho KNN
KNN cộng hiệu của mọi cột vào khoảng cách, nên cột nào bị nén sau khi scale thì gần như không còn được tính. Lấy mẫu 500 hội viên, chấm KNN với K = 50 bằng ROC-AUC 3 fold, rồi làm hỏng 5 dòng (1%) của cột số ngày từ lần mua cuối thành 9999:
import pandas as pd
from sklearn.model_selection import cross_val_score
from sklearn.neighbors import KNeighborsClassifier
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import MinMaxScaler, RobustScaler, StandardScaler
hv = pd.read_csv("hoi_vien.csv").sample(500, random_state=0)
X, y = hv.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"], hv.roi_bo
loi = X.copy()
loi.iloc[::100, loi.columns.get_loc("so_ngay_tu_lan_mua_cuoi")] = 9999
for scaler in [MinMaxScaler(), StandardScaler(), RobustScaler()]:
knn = make_pipeline(scaler, KNeighborsClassifier(50))
a = cross_val_score(knn, X, y, cv=3, scoring="roc_auc").mean()
b = cross_val_score(knn, loi, y, cv=3, scoring="roc_auc").mean()
print(f"{type(scaler).__name__:15} {a:.3f} {b:.3f}")KẾT QUẢ
MinMaxScaler 0.712 0.640
StandardScaler 0.735 0.699
RobustScaler 0.729 0.721Cột đầu là bảng sạch, cột sau là bảng lỗi. Năm dòng kéo MinMax từ 0,712 xuống 0,640 và Standard từ 0,735 xuống 0,699, còn Robust chỉ mất 0,008. Một mẫu chưa đủ để tin, nên lặp lại trên 200 mẫu 500 hội viên khác: MinMax và Standard mất trung bình 0,04 ROC-AUC (90% số mẫu mất từ 0,01 tới 0,07), Robust mất 0,004, và Robust là cách mất ít nhất ở 191 trong 200 mẫu. Lý do là phép đo ở mục trước: sau MinMax hay Standard, mọi giá trị thật của cột bị nén vào một dải hẹp.
Cột ít đóng góp thì khác. Cùng thí nghiệm nhưng làm hỏng cột chi tiêu (nhân 50 cho 1% số dòng): trên 200 mẫu, không scaler nào mất quá 0,002 ROC-AUC trung bình, nhỏ hơn mức điểm dao động giữa các mẫu. Vì vậy trước khi scale, xem min và max của từng cột; khi chưa rõ cột nào có giá trị lạ, chạy lại vòng lặp trên với dữ liệu của bạn thay vì đoán. Giữ scaler trong pipeline để mỗi fold tự học các mốc của nó từ phần train.
Kiểm tra nhanh
IQR (Q3 − Q1, theo
np.percentile) của dãy[1, 2, 3, 4, 100]là bao nhiêu?2.099.03.0
Cột tuổi có 1% dòng bị gõ nhầm thành 999. Sau scaler nào, hai hội viên 25 và 45 tuổi vẫn cách nhau gần như trên cột sạch?
- MinMaxScaler
- StandardScaler
- RobustScaler
Những câu nào đúng về MinMaxScaler?
- Min và max được học trên tập train
- Dữ liệu mới lớn hơn max của train cho kết quả lớn hơn 1
- Kết quả luôn nằm trong [0, 1] với mọi dữ liệu
- Nó trừ trung vị rồi chia IQR
Vì sao đổi scaler làm đổi ROC-AUC của KNN?
- Vì scaler đổi nhãn của tập train
- Vì scaler đổi độ lớn tương đối của các cột, nên đổi ai là hàng xóm gần nhất
- Vì KNN chỉ chạy được trên dữ liệu trong [0, 1]
Bài tập
RobustScaler bằng tay
train là list số của một cột trên tập train, moi là list số cần biến đổi. Viết thân hàm robust_tay(train, moi) làm đúng việc của RobustScaler mặc định: học trung vị Q2 và IQR = Q3 − Q1 (phân vị 25 và 75, cách nội suy mặc định của np.percentile) từ train, rồi trả (x − Q2) / IQR cho từng x trong moi. Không dùng RobustScaler, StandardScaler hay MinMaxScaler của scikit-learn. Các list chấm có IQR khác 0. Hàm không sửa hai list của nơi gọi.
Trả về: giá trị đã biến đổi theo thứ tự của moi, một ndarray một chiều.
Ví dụ: robust_tay([41, 23, 999, 35, 29, 52, 47, 38], [23, 999]) trả khoảng array([-1.12, 65.05]): trung vị 39,5, IQR 14,75.
import numpy as np
def robust_tay(train, moi):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
MinMaxScaler dùng min và max, StandardScaler dùng và , RobustScaler dùng và IQR, đều học trên tập train.
Vài dòng lỗi kéo max và độ lệch chuẩn, nén mọi giá trị thật về một dải hẹp; trung vị và IQR thì gần như không đổi.
MinMaxScaler chỉ đảm bảo [0, 1] trên dữ liệu đã fit; dữ liệu mới có thể ra ngoài.
Với KNN, 1% dòng lỗi ở một cột có ích làm MinMax và Standard mất khoảng 0,04 ROC-AUC, Robust gần như không; ở một cột ít đóng góp thì không cách nào mất đáng kể. Đo bằng cross-validation với scaler trong pipeline.
Câu hỏi thường gặp
Feature scaling có đổi dự đoán của logistic regression không?
Ít hơn nhiều so với KNN. Không có khoản phạt, nhân một cột với một hằng số chỉ làm hệ số của nó chia cho đúng hằng số đó, nên xác suất giữ nguyên. LogisticRegression mặc định có phạt L2 (C=1), mà khoản phạt tính trên độ lớn của hệ số, nên thang đo của cột làm dự đoán lệch đi chút ít. Chỗ thấy rõ là tốc độ: bài logistic regression đo 11 vòng tối ưu khi có scale và chạm trần 100 vòng khi chưa scale.
RobustScaler có loại bỏ ngoại lai không?
Không. Giá trị lạ vẫn còn và vẫn lớn: dòng 999 tuổi thành (999 − 31) / 12, khoảng 80,7. RobustScaler chỉ không để chúng quyết định tâm và độ rộng của cả cột. Muốn xử lý chính các ngoại lai thì cắt ngưỡng hay biến đổi log, như bài ngoại lai và IQR.
Có nên dùng scaler khác nhau cho từng cột không?
Được, bằng ColumnTransformer: ví dụ RobustScaler cho các cột tiền, MinMaxScaler cho các cột tỉ lệ. Hãy so cách đó với một scaler chung bằng cross-validation trước khi giữ lại, vì thêm lựa chọn cũng là thêm chỗ để chọn nhầm.
Chủ đề
Dữ liệu của bài
- Tải xuống
hoi_vien.csv
CSV · 207.25 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.