Bỏ qua đến nội dung chính
Mục lục

MLPClassifier trong sklearn và khi nào chuyển sang PyTorch

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 8/9 · Chương 14

Trang phụ trợ

  • 7 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

MLPClassifier là mạng nơ-ron nhiều lớp (multi-layer perceptron, gọi tắt MLP) có sẵn trong scikit-learn: fit, predict và đặt vào pipeline như mọi model khác bạn đã gặp. Trang này fit một MLP classifier trên bảng hội viên, so nó với logistic regression và boosting, rồi chỉ ra lúc nào bài toán cần một thư viện Deep Learning như PyTorch.

Mạng nơ-ron làm gì

Một nơ-ron làm đúng việc của logistic regression: nhân mỗi đầu vào với một trọng số, cộng thêm hệ số chặn, rồi đưa tổng qua một hàm kích hoạt. Khác biệt nằm ở cách xếp: một lớp ẩn gồm nhiều nơ-ron cùng đọc các feature, lớp sau đọc kết quả của lớp trước, và nơ-ron cuối cùng trả xác suất. Hàm kích hoạt của lớp ẩn (mặc định là ReLU, tính max(0, z) trên tổng z của mỗi nơ-ron) làm mạng vẽ được ranh giới cong mà không cần bạn tự thêm cột bình phương hay cột nhân chéo.

Trọng số không tính được bằng một công thức như hồi quy tuyến tính. Mạng bắt đầu từ trọng số ngẫu nhiên, rồi đi từng bước ngược chiều gradient của log loss, đúng ý tưởng của bài gradient descent. Vì bắt đầu ngẫu nhiên, random_state quyết định kết quả; vì đi từng bước, độ lớn của feature ảnh hưởng tới tốc độ hội tụ.

Fit MLPClassifier trên bảng hội viên

Để mỗi khối chạy nhanh trong trình duyệt, trang lấy 1.000 hội viên đầu của hoi_vien.csv (head(1000)) và mười cột số đầu, từ tu_dong_gia_han tới ti_le_dung_ma_giam; ba cột số còn lại là điểm đánh giá có nhiều ô trống, cột ghi sau ngày chụp và label. Mạng có một lớp ẩn 16 nơ-ron, và StandardScaler đứng trước trong pipeline, như bài StandardScaler dặn cho mọi model học bằng gradient:

python
import pandas as pd
from sklearn.neural_network import MLPClassifier
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
hv = pd.read_csv("hoi_vien.csv").head(1000)
X, y = hv.select_dtypes("number").iloc[:, :10], hv["roi_bo"]
mang = make_pipeline(StandardScaler(), MLPClassifier(
    hidden_layer_sizes=(16,), alpha=1.0, learning_rate_init=0.03,
    tol=1e-3, random_state=0))
mang.fit(X, y)
mlp = mang[-1]
print(mlp.n_iter_, "vòng qua dữ liệu")
print([w.shape for w in mlp.coefs_])
print(sum(w.size for w in mlp.coefs_ + mlp.intercepts_))

KẾT QUẢ

36 vòng qua dữ liệu
[(10, 16), (16, 1)]
193

Ba tham số đáng nhớ, cộng một tham số để chạy nhanh. hidden_layer_sizes=(16,) là một lớp ẩn 16 nơ-ron; (32, 16) là hai lớp. alpha là mức phạt trọng số lớn, cùng vai trò với alpha của Ridge; mặc định 0.0001 rất nhẹ. learning_rate_init là độ dài mỗi bước; mặc định 0.001 đi chậm, và với max_iter=200 mặc định mạng hay dừng trước khi hội tụ, kèm cảnh báo của trang ConvergenceWarning. Tham số thứ tư, tol=1e-3, cho mạng dừng khi log loss giảm chưa tới 0,001 trong 10 vòng liền; mặc định 1e-4 chặt hơn nên chạy lâu hơn.

Dòng thứ hai là các ma trận trọng số trong coefs_: mười feature nối với 16 nơ-ron ẩn là 160 trọng số, 16 nơ-ron nối với một nơ-ron ra là 16 nữa. Cộng 17 hệ số chặn trong intercepts_ được 193 con số, trong khi logistic regression trên cùng bảng chỉ có 11. Không con số nào trong 193 đọc được riêng như hệ số của logistic, nên muốn biết mạng dựa vào cột nào, bạn dùng permutation importance.

Mạng to hơn chưa chắc tốt hơn

Chia train và test, rồi fit một mạng hai lớp ẩn, mỗi lớp 32 nơ-ron, với mức phạt mặc định:

python
import pandas as pd
from sklearn.metrics import get_scorer
from sklearn.model_selection import train_test_split
from sklearn.neural_network import MLPClassifier
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
hv = pd.read_csv("hoi_vien.csv").head(1000)
X, y = hv.select_dtypes("number").iloc[:, :10], hv["roi_bo"]
X_tr, X_te, y_tr, y_te = train_test_split(
    X, y, test_size=0.25, stratify=y, random_state=0)
m = make_pipeline(StandardScaler(), MLPClassifier(
    hidden_layer_sizes=(32, 32), learning_rate_init=0.03,
    tol=1e-3, random_state=0)).fit(X_tr, y_tr)
auc = get_scorer("roc_auc")
print(round(auc(m, X_tr, y_tr), 3), round(auc(m, X_te, y_te), 3))

KẾT QUẢ

1.0 0.726

1.441 trọng số cho 750 dòng học: mạng nhớ hết phần train, và điểm test thấp hơn hẳn. Đổi hidden_layer_sizes=(32, 32) thành hidden_layer_sizes=(16,), alpha=1.0 rồi chạy lại: dòng in thành 0.865 0.78, train thấp đi còn test cao lên. Đây là overfitting của bài overfitting, chữa bằng mạng nhỏ hơn, alpha lớn hơn, hay early_stopping=True để giữ một phần train làm kiểm và dừng khi điểm ở đó thôi tăng.

So với logistic regression và boosting

Một lần chia chưa đủ để so model, nên chấm bằng cross-validation 3 fold trên cả bảng, trước hết là MLP nhỏ với logistic regression. MLP ở đây nới tol lên 3e-3 để ba lần fit chạy nhanh:

python
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_val_score
from sklearn.neural_network import MLPClassifier
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
hv = pd.read_csv("hoi_vien.csv").head(1000)
X, y = hv.select_dtypes("number").iloc[:, :10], hv["roi_bo"]
mlp = MLPClassifier(hidden_layer_sizes=(16,), alpha=1.0,
                    learning_rate_init=0.03, tol=3e-3, random_state=0)
for model in [LogisticRegression(), mlp]:
    pipe = make_pipeline(StandardScaler(), model)
    diem = cross_val_score(pipe, X, y, cv=3, scoring="roc_auc")
    print(type(model).__name__, round(diem.mean(), 3))

KẾT QUẢ

LogisticRegression 0.786
MLPClassifier 0.778

Rồi boosting trên cùng ba fold, với 30 vòng thay cho 100 vòng mặc định để khối chạy nhanh:

python
import pandas as pd
from sklearn.ensemble import HistGradientBoostingClassifier
from sklearn.model_selection import cross_val_score
hv = pd.read_csv("hoi_vien.csv").head(1000)
X, y = hv.select_dtypes("number").iloc[:, :10], hv["roi_bo"]
hgb = HistGradientBoostingClassifier(max_iter=30, random_state=0)
diem = cross_val_score(hgb, X, y, cv=3, scoring="roc_auc")
print(round(diem.mean(), 3))

KẾT QUẢ

0.746

Trên bảng này, MLP kém logistic regression một chút chứ không vượt, và cả hai hơn boosting chưa chỉnh tham số. Mười cột số, quan hệ gần tuyến tính với label, một nghìn dòng: không còn gì cho các lớp ẩn tìm thêm. Đó là kết quả hay gặp trên dữ liệu bảng; khi quan hệ phức tạp hơn, boosting đã chỉnh tham số thường thắng MLP với ít công hơn, như bảng của bài chọn model.

Khi nào chuyển sang PyTorch

MLPClassifier dừng ở mạng các lớp nối đầy đủ, chạy trên CPU, không có cách dựng kiến trúc riêng. Đủ để thử một mạng trên bảng nhỏ mà vẫn giữ pipeline quen thuộc. Với bảng hội viên hay đơn hàng, dù vài nghìn hay vài triệu dòng, logistic, rừng và boosting vẫn là lựa chọn đầu: nhanh, ít tham số phải chỉnh, và giải thích được. PyTorch đáng công khi mỗi dòng dữ liệu là một bức ảnh, một đoạn âm thanh hay một câu chữ. Ở đó không có sẵn cột nào để đưa vào model, nên mạng phải tự học ra feature từ điểm ảnh hay từ thứ tự các chữ, thường bắt đầu từ một model đã huấn luyện sẵn.

Trong PyTorch, cùng mạng một lớp ẩn 16 nơ-ron trông như sau, với X, y và StandardScaler lấy từ khối đầu trang. Vòng lặp huấn luyện thì bạn tự viết, và đó là phần đầu tiên cần học khi chuyển sang:

python
import torch
from torch import nn

X_t = torch.tensor(StandardScaler().fit_transform(X), dtype=torch.float32)
y_t = torch.tensor(y.to_numpy(), dtype=torch.float32)
mang = nn.Sequential(nn.Linear(10, 16), nn.ReLU(), nn.Linear(16, 1))
toi_uu = torch.optim.Adam(mang.parameters(), lr=0.01, weight_decay=1e-3)
ham_mat = nn.BCEWithLogitsLoss()
for vong in range(50):
    toi_uu.zero_grad()
    mat = ham_mat(mang(X_t).squeeze(1), y_t)
    mat.backward()
    toi_uu.step()

Bài Blog AI, machine learning và deep learning giải thích ba khái niệm này lồng vào nhau thế nào, và trang học gì tiếp theo gợi ý dự án đầu tay cho hướng Deep Learning.

Câu hỏi thường gặp

Có MLPRegressor cho bài toán hồi quy không?

Có: MLPRegressor trong cùng module sklearn.neural_network, cùng các tham số hidden_layer_sizes, alpha, learning_rate_init. Nơ-ron ra không qua hàm sigmoid và loss là sai số bình phương. Vẫn cần chuẩn hóa feature, và thường nên chuẩn hóa cả label khi label có đơn vị lớn như giá nhà.

Vì sao chạy lại với random_state khác thì điểm đổi?

Trọng số ban đầu và thứ tự các lô dữ liệu đều ngẫu nhiên, và log loss của mạng có nhiều điểm thấp khác nhau, nên mỗi hạt giống đi tới một mạng khác. Khi so MLP với model khác, chạy vài hạt giống hay dùng cross-validation, như bài điểm CV dao động.

Có chạy MLPClassifier trên GPU được không?

Không, scikit-learn chạy mạng này trên CPU. Bảng vài chục nghìn dòng thì CPU vẫn đủ nhanh; khi cần GPU, đó là dấu hiệu bài toán đã thuộc về PyTorch.

Chủ đề

mlpclassifier

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập