Bỏ qua đến nội dung chính
Mục lục

MinMaxScaler, RobustScaler hay StandardScaler: chọn sao

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 6/11 · Chương 5

Phân loại: logistic regression, KNN, SVM, Naive Bayes

  • 9 phút
  • Cơ bản
  • Python 3.14
  • Cập nhật

MinMaxScaler co giãn một cột sao cho giá trị nhỏ nhất thành 0 và lớn nhất thành 1. StandardScaler lấy trung bình làm tâm và độ lệch chuẩn làm thước đo, còn RobustScaler lấy trung vị làm tâm và khoảng tứ phân vị (IQR) làm thước đo. Ba cách cho kết quả gần nhau trên một cột sạch; chúng tách ra khi cột có vài giá trị sai hay quá xa phần còn lại, vì mỗi cách để những giá trị đó chạm vào tâm và thước đo theo một mức khác nhau.

Cần biết trước: StandardScaler, KNN và trung vị.

Ba công thức feature scaling

Cả ba scaler đều trừ một số "tâm" rồi chia cho một số "độ rộng"; chỉ khác ở chỗ lấy hai số đó từ đâu:

xminmax=x−min⁡max⁡−min⁡,xstd=x−xˉs,xrobust=x−Q2Q3−Q1x_{\text{minmax}} = \frac{x - \min}{\max - \min}, \qquad x_{\text{std}} = \frac{x - \bar{x}}{s}, \qquad x_{\text{robust}} = \frac{x - Q_2}{Q_3 - Q_1}

Trong đó:

  • min⁡\min, max⁡\max là giá trị nhỏ nhất và lớn nhất của cột trên tập train;

  • xˉ\bar{x} là trung bình, ss là độ lệch chuẩn tính với ddof=0 như StandardScaler;

  • Q1Q_1, Q2Q_2, Q3Q_3 là phân vị 25%, 50% (trung vị) và 75%; Q3−Q1Q_3 - Q_1 là IQR.

Cột tuoi của bảng hội viên Sóc Vàng (3.000 dòng, số giả lập của AIDev) đi từ 18 tới 61. Giả sử lúc nhập liệu, cứ 100 dòng có một dòng bị gõ thành 999, tức 30 dòng lỗi. Tính tay tâm và độ rộng mà mỗi scaler học được, trên cột sạch và trên cột có lỗi. ban[::100] chọn dòng 0, 100, 200…:

python
import numpy as np
import pandas as pd
tuoi = pd.read_csv("hoi_vien.csv")["tuoi"].to_numpy(dtype=float)
ban = tuoi.copy()
ban[::100] = 999
for ten, x in [("sạch", tuoi), ("lỗi", ban)]:
    q1, q2, q3 = np.percentile(x, [25, 50, 75])
    print(ten, "| MinMax", x.min(), x.max() - x.min(),
          "| Standard", x.mean().round(1), x.std().round(1),
          "| Robust", q2, q3 - q1)

KẾT QUẢ

sạch | MinMax 18.0 43.0 | Standard 31.0 7.8 | Robust 31.0 11.0
lỗi | MinMax 18.0 981.0 | Standard 40.7 96.6 | Robust 31.0 12.0

Một phần trăm số dòng là đủ đẩy max từ 61 lên 999, nên độ rộng của MinMax tăng từ 43 lên 981. Trung bình nhích từ 31 lên 40,7, còn độ lệch chuẩn tăng từ 7,8 lên 96,6, gấp hơn mười hai lần. Trung vị đứng yên ở 31 và IQR chỉ đổi từ 11 sang 12: 30 dòng lỗi nằm hết ở đuôi trên, không chạm tới phân vị 25 hay 75.

Ba scaler trong scikit-learn

Ba lớp có cùng giao diện fit(), transform(), fit_transform() và nhận bảng hai chiều. Độ rộng to ra thì hậu quả thấy rõ nhất ở khoảng cách: hai hội viên 25 và 45 tuổi, sau khi scale, còn cách nhau bao xa? Fit mỗi scaler trên cột sạch rồi trên cột lỗi, biến đổi tuổi của hai người và in hiệu của họ:

python
import pandas as pd
from sklearn.preprocessing import (MinMaxScaler, RobustScaler,
                                   StandardScaler)
sach = pd.read_csv("hoi_vien.csv")[["tuoi"]]
loi = sach.copy()
loi.iloc[::100, 0] = 999
hai = pd.DataFrame({"tuoi": [25, 45]})
for scaler in [MinMaxScaler(), StandardScaler(), RobustScaler()]:
    a, b = scaler.fit(sach).transform(hai).ravel()
    c, d = scaler.fit(loi).transform(hai).ravel()
    print(f"{type(scaler).__name__:15} {b - a:.2f} {d - c:.2f}")

KẾT QUẢ

MinMaxScaler    0.47 0.02
StandardScaler  2.55 0.21
RobustScaler    1.82 1.67

Hai mươi năm tuổi là chênh lệch thật. Sau MinMaxScaler trên cột lỗi, nó chỉ còn 0,02, nhỏ hơn một bước của cột nhị phân như tự động gia hạn (từ 0 lên 1) tới năm mươi lần: trong khoảng cách của KNN, tuổi gần như biến mất. StandardScaler giữ được một phần mười, RobustScaler giữ gần nguyên. Lỗi gõ nên sửa ở bước làm sạch; khi chưa chắc cột có giá trị lạ, RobustScaler ít bị vài dòng quyết định nhất.

Không có lỗi gõ, một cột lệch phải tự nhiên cũng có đuôi dài. Trên cột chi tiêu 90 ngày (nghìn đồng), in năm mốc: nhỏ nhất, Q1, trung vị, Q3, lớn nhất trước và sau khi scale:

python
import numpy as np
import pandas as pd
from sklearn.preprocessing import (MinMaxScaler, RobustScaler,
                                   StandardScaler)
hv = pd.read_csv("hoi_vien.csv")
cot = hv[["chi_tieu_90_ngay_nghin"]]
print(np.percentile(cot, [0, 25, 50, 75, 100]))
for scaler in [MinMaxScaler(), StandardScaler(), RobustScaler()]:
    z = scaler.fit_transform(cot)
    moc = np.percentile(z, [0, 25, 50, 75, 100]).round(2)
    print(type(scaler).__name__, moc)

KẾT QUẢ

[   0.    288.    617.   1115.25 7316.  ]
MinMaxScaler [0.   0.04 0.08 0.15 1.  ]
StandardScaler [-1.04 -0.67 -0.26  0.36  8.15]
RobustScaler [-0.75 -0.4   0.    0.6   8.1 ]

Sau MinMaxScaler, ba phần tư hội viên nằm dưới 0,15, trong khi một cột nhị phân như tự động gia hạn vẫn đi từ 0 đến 1. Trong một phép đo khoảng cách, chênh lệch chi tiêu giữa phần đông khách vì thế gần như không được tính.

Normalization vs standardization

Trong tài liệu tiếng Anh, normalization thường chỉ MinMaxScaler (đưa cột về 0 đến 1), còn standardization là StandardScaler (trung bình 0, độ lệch chuẩn 1). Khi chọn, câu hỏi quyết định là cột có vài giá trị lạ không và cột đó có quan trọng với model không.

Vài dòng lỗi trong một cột có ích cho KNN

KNN cộng hiệu của mọi cột vào khoảng cách, nên cột nào bị nén sau khi scale thì gần như không còn được tính. Lấy mẫu 500 hội viên, chấm KNN với K = 50 bằng ROC-AUC 3 fold, rồi làm hỏng 5 dòng (1%) của cột số ngày từ lần mua cuối thành 9999:

python
import pandas as pd
from sklearn.model_selection import cross_val_score
from sklearn.neighbors import KNeighborsClassifier
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import MinMaxScaler, RobustScaler, StandardScaler
hv = pd.read_csv("hoi_vien.csv").sample(500, random_state=0)
X, y = hv.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"], hv.roi_bo
loi = X.copy()
loi.iloc[::100, loi.columns.get_loc("so_ngay_tu_lan_mua_cuoi")] = 9999
for scaler in [MinMaxScaler(), StandardScaler(), RobustScaler()]:
    knn = make_pipeline(scaler, KNeighborsClassifier(50))
    a = cross_val_score(knn, X, y, cv=3, scoring="roc_auc").mean()
    b = cross_val_score(knn, loi, y, cv=3, scoring="roc_auc").mean()
    print(f"{type(scaler).__name__:15} {a:.3f} {b:.3f}")

KẾT QUẢ

MinMaxScaler    0.712 0.640
StandardScaler  0.735 0.699
RobustScaler    0.729 0.721

Cột đầu là bảng sạch, cột sau là bảng lỗi. Năm dòng kéo MinMax từ 0,712 xuống 0,640 và Standard từ 0,735 xuống 0,699, còn Robust chỉ mất 0,008. Một mẫu chưa đủ để tin, nên lặp lại trên 200 mẫu 500 hội viên khác: MinMax và Standard mất trung bình 0,04 ROC-AUC (90% số mẫu mất từ 0,01 tới 0,07), Robust mất 0,004, và Robust là cách mất ít nhất ở 191 trong 200 mẫu. Lý do là phép đo ở mục trước: sau MinMax hay Standard, mọi giá trị thật của cột bị nén vào một dải hẹp.

Cột ít đóng góp thì khác. Cùng thí nghiệm nhưng làm hỏng cột chi tiêu (nhân 50 cho 1% số dòng): trên 200 mẫu, không scaler nào mất quá 0,002 ROC-AUC trung bình, nhỏ hơn mức điểm dao động giữa các mẫu. Vì vậy trước khi scale, xem min và max của từng cột; khi chưa rõ cột nào có giá trị lạ, chạy lại vòng lặp trên với dữ liệu của bạn thay vì đoán. Giữ scaler trong pipeline để mỗi fold tự học các mốc của nó từ phần train.

Kiểm tra nhanh

  1. IQR (Q3 − Q1, theo np.percentile) của dãy [1, 2, 3, 4, 100] là bao nhiêu?

    • 2.0
    • 99.0
    • 3.0
  2. Cột tuổi có 1% dòng bị gõ nhầm thành 999. Sau scaler nào, hai hội viên 25 và 45 tuổi vẫn cách nhau gần như trên cột sạch?

    • MinMaxScaler
    • StandardScaler
    • RobustScaler
  3. Những câu nào đúng về MinMaxScaler?

    • Min và max được học trên tập train
    • Dữ liệu mới lớn hơn max của train cho kết quả lớn hơn 1
    • Kết quả luôn nằm trong [0, 1] với mọi dữ liệu
    • Nó trừ trung vị rồi chia IQR
  4. Vì sao đổi scaler làm đổi ROC-AUC của KNN?

    • Vì scaler đổi nhãn của tập train
    • Vì scaler đổi độ lớn tương đối của các cột, nên đổi ai là hàng xóm gần nhất
    • Vì KNN chỉ chạy được trên dữ liệu trong [0, 1]
Đúng hết lần đầu +15 XP

Bài tập

RobustScaler bằng tay

train là list số của một cột trên tập train, moi là list số cần biến đổi. Viết thân hàm robust_tay(train, moi) làm đúng việc của RobustScaler mặc định: học trung vị Q2 và IQR = Q3 − Q1 (phân vị 25 và 75, cách nội suy mặc định của np.percentile) từ train, rồi trả (x − Q2) / IQR cho từng x trong moi. Không dùng RobustScaler, StandardScaler hay MinMaxScaler của scikit-learn. Các list chấm có IQR khác 0. Hàm không sửa hai list của nơi gọi.

Trả về: giá trị đã biến đổi theo thứ tự của moi, một ndarray một chiều.

Ví dụ: robust_tay([41, 23, 999, 35, 29, 52, 47, 38], [23, 999]) trả khoảng array([-1.12, 65.05]): trung vị 39,5, IQR 14,75.

python
import numpy as np

def robust_tay(train, moi):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • MinMaxScaler dùng min và max, StandardScaler dùng xˉ\bar{x} và ss, RobustScaler dùng Q2Q_2 và IQR, đều học trên tập train.

  • Vài dòng lỗi kéo max và độ lệch chuẩn, nén mọi giá trị thật về một dải hẹp; trung vị và IQR thì gần như không đổi.

  • MinMaxScaler chỉ đảm bảo [0, 1] trên dữ liệu đã fit; dữ liệu mới có thể ra ngoài.

  • Với KNN, 1% dòng lỗi ở một cột có ích làm MinMax và Standard mất khoảng 0,04 ROC-AUC, Robust gần như không; ở một cột ít đóng góp thì không cách nào mất đáng kể. Đo bằng cross-validation với scaler trong pipeline.

Câu hỏi thường gặp

Feature scaling có đổi dự đoán của logistic regression không?

Ít hơn nhiều so với KNN. Không có khoản phạt, nhân một cột với một hằng số chỉ làm hệ số của nó chia cho đúng hằng số đó, nên xác suất giữ nguyên. LogisticRegression mặc định có phạt L2 (C=1), mà khoản phạt tính trên độ lớn của hệ số, nên thang đo của cột làm dự đoán lệch đi chút ít. Chỗ thấy rõ là tốc độ: bài logistic regression đo 11 vòng tối ưu khi có scale và chạm trần 100 vòng khi chưa scale.

RobustScaler có loại bỏ ngoại lai không?

Không. Giá trị lạ vẫn còn và vẫn lớn: dòng 999 tuổi thành (999 − 31) / 12, khoảng 80,7. RobustScaler chỉ không để chúng quyết định tâm và độ rộng của cả cột. Muốn xử lý chính các ngoại lai thì cắt ngưỡng hay biến đổi log, như bài ngoại lai và IQR.

Có nên dùng scaler khác nhau cho từng cột không?

Được, bằng ColumnTransformer: ví dụ RobustScaler cho các cột tiền, MinMaxScaler cho các cột tỉ lệ. Hãy so cách đó với một scaler chung bằng cross-validation trước khi giữ lại, vì thêm lựa chọn cũng là thêm chỗ để chọn nhầm.

Chủ đề

minmaxscaler

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập