Bỏ qua đến nội dung chính
Mục lục

StandardScaler: fit, transform và fit_transform khác nhau

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 4/14 · Chương 3

Đánh giá model

  • 7 phút
  • Cơ bản
  • Python 3.14
  • Cập nhật

StandardScaler của scikit-learn đưa các cột về cùng một thang. Trong nhóm năm khách đăng nhập trung bình 7 lần một tháng, khách đăng nhập 13 lần thành 1.414: cao hơn trung bình 1,414 độ lệch chuẩn. Việc đó chia hai bước: fit() đo từng cột trên tập train, transform() đổi bảng nào cũng theo đúng phép đo ấy, còn fit_transform() gộp hai bước trên cùng một bảng. Bạn cần nó khi các cột có thang đo rất khác nhau, như số lần đăng nhập (0 đến 30) và chi tiêu 90 ngày (hàng nghìn), trước một model nhạy với thang đo.

Cần biết trước: z-score, data leakage và broadcasting.

Công thức StandardScaler dùng

Mỗi giá trị của một cột được trừ trung bình của cột rồi chia độ lệch chuẩn của cột:

z=x−μσz = \frac{x - \mu}{\sigma}

Trong đó:

  • x: một giá trị của cột cần chuẩn hóa.

  • μ (scaler.mean_): trung bình của cột, tính trên tập train.

  • σ (scaler.scale_): độ lệch chuẩn của cột trên tập train, chia cho n như np.std(cot, ddof=0).

  • z: giá trị sau chuẩn hóa, số độ lệch chuẩn mà x cách trung bình.

Đây là z-score của bài z-score, khác ở một chỗ: bài thống kê chia độ lệch chuẩn mẫu s (n − 1), còn StandardScaler chia σ tính với n.

Tính tay trên năm khách

Năm khách đăng nhập 4, 10, 7, 1 và 13 lần trong 30 ngày. Trung bình là 35 / 5 = 7. Các độ lệch bình phương là 9, 9, 0, 36, 36, tổng 90, chia 5 được 18, nên σ = √18 ≈ 4,243. Khối dưới làm đúng các bước đó bằng Python thuần:

python
dang_nhap = [4, 10, 7, 1, 13]
n = len(dang_nhap)
tb = sum(dang_nhap) / n
sigma = (sum((x - tb) ** 2 for x in dang_nhap) / n) ** 0.5
print("Trung bình:", tb)
print("Sigma:", round(sigma, 3))
print([round((x - tb) / sigma, 3) for x in dang_nhap])

KẾT QUẢ

Trung bình: 7.0
Sigma: 4.243
[-0.707, 0.707, 0.0, -1.414, 1.414]

Khách đăng nhập 13 lần cách trung bình 1,414 độ lệch chuẩn về phía trên. Đổi 13 thành 19 rồi chạy lại: trung bình in Trung bình: 8.2.

fit, transform và fit_transform

StandardScaler nhận một bảng hai chiều, nên mỗi khách là một dòng. Thêm cột chi tiêu (nghìn đồng) để thấy mỗi cột được chuẩn hóa riêng, rồi so với NumPy, nơi broadcasting trừ và chia theo từng cột:

python
import numpy as np
from sklearn.preprocessing import StandardScaler

X = np.array([[4, 120], [10, 860], [7, 430], [1, 0], [13, 1550]])
scaler = StandardScaler()
scaler.fit(X)
print("mean_: ", scaler.mean_)
print("scale_:", scaler.scale_.round(3))
z = scaler.transform(X)
print(z.round(3))
tu_tinh = (X - X.mean(axis=0)) / X.std(axis=0, ddof=0)
print(np.allclose(z, tu_tinh))

KẾT QUẢ

mean_:  [  7. 592.]
scale_: [  4.243 563.752]
[[-0.707 -0.837]
 [ 0.707  0.475]
 [ 0.    -0.287]
 [-1.414 -1.05 ]
 [ 1.414  1.699]]
True

Cột đầu cho đúng năm số đã tính tay. fit() chỉ học và lưu hai thuộc tính có dấu gạch dưới, mean_ và scale_; transform() mới đổi dữ liệu. scaler.fit_transform(X) gộp hai lời gọi đó làm một, cho cùng kết quả, và chỉ nên dùng trên tập train.

Fit trên train, transform trên test

Tập test phải được chuẩn hóa bằng trung bình và độ lệch chuẩn của tập train, như mọi bước học từ dữ liệu. Với bảng khách hàng Sóc Vàng (số giả lập của AIDev):

python
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler

kh = pd.read_csv("hoi_vien.csv")
X = kh[["so_lan_dang_nhap_30_ngay", "chi_tieu_90_ngay_nghin"]]
X_train, X_test = train_test_split(X, test_size=0.25,
                                   random_state=0)
scaler = StandardScaler().fit(X_train)
X_train_s = scaler.transform(X_train)
X_test_s = scaler.transform(X_test)
print("mean_: ", scaler.mean_.round(1))
print("Test sau chuẩn hóa:", X_test_s.mean(axis=0).round(3))

KẾT QUẢ

mean_:  [  7.7 827.2]
Test sau chuẩn hóa: [-0.005 -0.011]

Trung bình của tập test sau chuẩn hóa gần 0 nhưng không đúng bằng 0, vì nó được trừ trung bình của tập train. Đó là điều mong muốn: một khách mới được đổi theo đúng một thước đo, thước đo đã học từ tập train.

Kiểm tra nhanh

  1. Sau from sklearn.preprocessing import StandardScaler, StandardScaler().fit_transform([[1], [3]]).tolist() cho kết quả gì?

    • [[-0.707], [0.707]]
    • [[-1.0], [1.0]]
    • [[0.0], [2.0]]
  2. Scaler fit trên X_train, rồi transform(X_test). Trung bình mỗi cột của tập test sau chuẩn hóa thế nào?

    • Đúng bằng 0, như tập train
    • Gần 0 nhưng thường không bằng 0
    • Bằng scaler.mean_
  3. Những câu nào đúng về StandardScaler?

    • mean_ là trung bình của từng cột trên dữ liệu đã fit
    • scale_ là độ lệch chuẩn chia cho n, như np.std(..., ddof=0)
    • Gọi fit_transform() riêng cho tập test là cách làm đúng
    • Chuẩn hóa tay bằng std(ddof=1) của pandas cho đúng số của StandardScaler
  4. Sau from sklearn.preprocessing import StandardScaler, StandardScaler().transform([[4], [10]]) báo lỗi gì?

    • Báo lỗi NotFittedError
    • Báo lỗi KeyError
    • Báo lỗi TypeError
Đúng hết lần đầu +15 XP

Bài tập

Chuẩn hóa train và test đúng cách

X_train và X_test là hai DataFrame có cùng các cột số. Viết thân hàm chuan_hoa(X_train, X_test) dùng StandardScaler để chuẩn hóa cả hai, trong đó trung bình và độ lệch chuẩn chỉ học từ X_train.

Hàm không sửa hai bảng của nơi gọi.

Trả về: tập train và tập test đã chuẩn hóa theo thứ tự đó, mỗi phần là một mảng NumPy, gói trong một tuple.

python
import pandas as pd
from sklearn.preprocessing import StandardScaler

def chuan_hoa(X_train, X_test):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • StandardScaler đổi mỗi giá trị thành z = (x − μ) / σ, riêng cho từng cột.

  • σ của StandardScaler chia cho n, như np.std(..., ddof=0); std(ddof=1) cho số khác.

  • fit học mean_, scale_; transform đổi dữ liệu; fit_transform làm cả hai trên một bảng.

  • Fit một lần trên tập train, rồi transform cả train lẫn test bằng chính scaler đó.

  • fit_transform trên test hay scale cả bảng trước khi chia đều là lỗi; transform trước fit báo NotFittedError.

Câu hỏi thường gặp

Model nào cần StandardScaler?

Model dựa vào khoảng cách hay vào độ lớn của hệ số: hồi quy logistic, KNN, SVM, model có phạt hệ số như Ridge và Lasso. Cây quyết định và rừng ngẫu nhiên chỉ hỏi một giá trị lớn hơn hay nhỏ hơn một mốc, nên đổi thang đo không đổi cách chúng chia nhánh.

Khi nào dùng MinMaxScaler thay cho StandardScaler?

Khi cần mọi giá trị nằm trong một khoảng cố định như 0 đến 1. MinMaxScaler nhạy với giá trị ngoại lai hơn, vì một khách chi tiêu khổng lồ đẩy giá trị lớn nhất lên và ép mọi khách khác về gần 0. Bài chọn scaler so ba loại.

Cột trên tập test có giá trị chưa từng thấy ở train thì sao?

Không sao. transform chỉ trừ và chia bằng hai số đã học, nên một khách đăng nhập 40 lần vẫn ra một z hợp lệ, chỉ là z lớn. Cột chữ thì khác: cần mã hóa, không chuẩn hóa.

Có cách nào khỏi phải nhớ fit trên train không?

Có: gói scaler và model vào một pipeline. Pipeline tự fit scaler trên đúng phần dữ liệu đưa vào fit() và tự transform khi dự đoán. Bài pipeline đi tiếp từ đây.

Chủ đề

standardscaler

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập