StandardScaler: fit, transform và fit_transform khác nhau
Bài 4/14 · Chương 3
Đánh giá model
- 7 phút
- Cơ bản
- Python 3.14
- Cập nhật
Trong bài này · 12
StandardScaler của scikit-learn đưa các cột về cùng một thang. Trong nhóm năm khách đăng nhập trung bình 7 lần một tháng, khách đăng nhập 13 lần thành 1.414: cao hơn trung bình 1,414 độ lệch chuẩn. Việc đó chia hai bước: fit() đo từng cột trên tập train, transform() đổi bảng nào cũng theo đúng phép đo ấy, còn fit_transform() gộp hai bước trên cùng một bảng. Bạn cần nó khi các cột có thang đo rất khác nhau, như số lần đăng nhập (0 đến 30) và chi tiêu 90 ngày (hàng nghìn), trước một model nhạy với thang đo.
Cần biết trước: z-score, data leakage và broadcasting.
Công thức StandardScaler dùng
Mỗi giá trị của một cột được trừ trung bình của cột rồi chia độ lệch chuẩn của cột:
Trong đó:
x: một giá trị của cột cần chuẩn hóa.
μ (
scaler.mean_): trung bình của cột, tính trên tập train.σ (
scaler.scale_): độ lệch chuẩn của cột trên tập train, chia cho n nhưnp.std(cot, ddof=0).z: giá trị sau chuẩn hóa, số độ lệch chuẩn mà x cách trung bình.
Đây là z-score của bài z-score, khác ở một chỗ: bài thống kê chia độ lệch chuẩn mẫu s (n − 1), còn StandardScaler chia σ tính với n.
Tính tay trên năm khách
Năm khách đăng nhập 4, 10, 7, 1 và 13 lần trong 30 ngày. Trung bình là 35 / 5 = 7. Các độ lệch bình phương là 9, 9, 0, 36, 36, tổng 90, chia 5 được 18, nên σ = √18 ≈ 4,243. Khối dưới làm đúng các bước đó bằng Python thuần:
dang_nhap = [4, 10, 7, 1, 13]
n = len(dang_nhap)
tb = sum(dang_nhap) / n
sigma = (sum((x - tb) ** 2 for x in dang_nhap) / n) ** 0.5
print("Trung bình:", tb)
print("Sigma:", round(sigma, 3))
print([round((x - tb) / sigma, 3) for x in dang_nhap])KẾT QUẢ
Trung bình: 7.0
Sigma: 4.243
[-0.707, 0.707, 0.0, -1.414, 1.414]Khách đăng nhập 13 lần cách trung bình 1,414 độ lệch chuẩn về phía trên. Đổi 13 thành 19 rồi chạy lại: trung bình in Trung bình: 8.2.
fit, transform và fit_transform
StandardScaler nhận một bảng hai chiều, nên mỗi khách là một dòng. Thêm cột chi tiêu (nghìn đồng) để thấy mỗi cột được chuẩn hóa riêng, rồi so với NumPy, nơi broadcasting trừ và chia theo từng cột:
import numpy as np
from sklearn.preprocessing import StandardScaler
X = np.array([[4, 120], [10, 860], [7, 430], [1, 0], [13, 1550]])
scaler = StandardScaler()
scaler.fit(X)
print("mean_: ", scaler.mean_)
print("scale_:", scaler.scale_.round(3))
z = scaler.transform(X)
print(z.round(3))
tu_tinh = (X - X.mean(axis=0)) / X.std(axis=0, ddof=0)
print(np.allclose(z, tu_tinh))KẾT QUẢ
mean_: [ 7. 592.]
scale_: [ 4.243 563.752]
[[-0.707 -0.837]
[ 0.707 0.475]
[ 0. -0.287]
[-1.414 -1.05 ]
[ 1.414 1.699]]
TrueCột đầu cho đúng năm số đã tính tay. fit() chỉ học và lưu hai thuộc tính có dấu gạch dưới, mean_ và scale_; transform() mới đổi dữ liệu. scaler.fit_transform(X) gộp hai lời gọi đó làm một, cho cùng kết quả, và chỉ nên dùng trên tập train.
Fit trên train, transform trên test
Tập test phải được chuẩn hóa bằng trung bình và độ lệch chuẩn của tập train, như mọi bước học từ dữ liệu. Với bảng khách hàng Sóc Vàng (số giả lập của AIDev):
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
kh = pd.read_csv("hoi_vien.csv")
X = kh[["so_lan_dang_nhap_30_ngay", "chi_tieu_90_ngay_nghin"]]
X_train, X_test = train_test_split(X, test_size=0.25,
random_state=0)
scaler = StandardScaler().fit(X_train)
X_train_s = scaler.transform(X_train)
X_test_s = scaler.transform(X_test)
print("mean_: ", scaler.mean_.round(1))
print("Test sau chuẩn hóa:", X_test_s.mean(axis=0).round(3))KẾT QUẢ
mean_: [ 7.7 827.2]
Test sau chuẩn hóa: [-0.005 -0.011]Trung bình của tập test sau chuẩn hóa gần 0 nhưng không đúng bằng 0, vì nó được trừ trung bình của tập train. Đó là điều mong muốn: một khách mới được đổi theo đúng một thước đo, thước đo đã học từ tập train.
Kiểm tra nhanh
Sau
from sklearn.preprocessing import StandardScaler,StandardScaler().fit_transform([[1], [3]]).tolist()cho kết quả gì?[[-0.707], [0.707]][[-1.0], [1.0]][[0.0], [2.0]]
Scaler fit trên
X_train, rồitransform(X_test). Trung bình mỗi cột của tập test sau chuẩn hóa thế nào?- Đúng bằng 0, như tập train
- Gần 0 nhưng thường không bằng 0
- Bằng
scaler.mean_
Những câu nào đúng về StandardScaler?
mean_là trung bình của từng cột trên dữ liệu đãfitscale_là độ lệch chuẩn chia cho n, nhưnp.std(..., ddof=0)- Gọi
fit_transform()riêng cho tập test là cách làm đúng - Chuẩn hóa tay bằng
std(ddof=1)của pandas cho đúng số củaStandardScaler
Sau
from sklearn.preprocessing import StandardScaler,StandardScaler().transform([[4], [10]])báo lỗi gì?- Báo lỗi
NotFittedError - Báo lỗi
KeyError - Báo lỗi
TypeError
- Báo lỗi
Bài tập
Chuẩn hóa train và test đúng cách
X_train và X_test là hai DataFrame có cùng các cột số. Viết thân hàm chuan_hoa(X_train, X_test) dùng StandardScaler để chuẩn hóa cả hai, trong đó trung bình và độ lệch chuẩn chỉ học từ X_train.
Hàm không sửa hai bảng của nơi gọi.
Trả về: tập train và tập test đã chuẩn hóa theo thứ tự đó, mỗi phần là một mảng NumPy, gói trong một tuple.
import pandas as pd
from sklearn.preprocessing import StandardScaler
def chuan_hoa(X_train, X_test):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
StandardScalerđổi mỗi giá trị thành z = (x − μ) / σ, riêng cho từng cột.σ của
StandardScalerchia cho n, nhưnp.std(..., ddof=0);std(ddof=1)cho số khác.fithọcmean_,scale_;transformđổi dữ liệu;fit_transformlàm cả hai trên một bảng.Fit một lần trên tập train, rồi transform cả train lẫn test bằng chính scaler đó.
fit_transformtrên test hay scale cả bảng trước khi chia đều là lỗi; transform trước fit báoNotFittedError.
Câu hỏi thường gặp
Model nào cần StandardScaler?
Model dựa vào khoảng cách hay vào độ lớn của hệ số: hồi quy logistic, KNN, SVM, model có phạt hệ số như Ridge và Lasso. Cây quyết định và rừng ngẫu nhiên chỉ hỏi một giá trị lớn hơn hay nhỏ hơn một mốc, nên đổi thang đo không đổi cách chúng chia nhánh.
Khi nào dùng MinMaxScaler thay cho StandardScaler?
Khi cần mọi giá trị nằm trong một khoảng cố định như 0 đến 1. MinMaxScaler nhạy với giá trị ngoại lai hơn, vì một khách chi tiêu khổng lồ đẩy giá trị lớn nhất lên và ép mọi khách khác về gần 0. Bài chọn scaler so ba loại.
Cột trên tập test có giá trị chưa từng thấy ở train thì sao?
Không sao. transform chỉ trừ và chia bằng hai số đã học, nên một khách đăng nhập 40 lần vẫn ra một z hợp lệ, chỉ là z lớn. Cột chữ thì khác: cần mã hóa, không chuẩn hóa.
Có cách nào khỏi phải nhớ fit trên train không?
Có: gói scaler và model vào một pipeline. Pipeline tự fit scaler trên đúng phần dữ liệu đưa vào fit() và tự transform khi dự đoán. Bài pipeline đi tiếp từ đây.
Chủ đề
Dữ liệu của bài
- Tải xuống
hoi_vien.csv
CSV · 207.25 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.