Bỏ qua đến nội dung chính
Mục lục

Phòng thí nghiệm AIDev: tám câu hỏi ML đo bằng số thật

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 4/9 · Chương 14

Trang phụ trợ

  • 12 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Trang này là phòng thí nghiệm machine learning của tutorial: tám câu hỏi mà người học hay tranh luận, mỗi câu được trả lời bằng số đo trên chính các bộ dữ liệu của tutorial, chạy lại nhiều lần với hạt giống khác nhau. Đọc trang khi bạn muốn biết một lời khuyên quen thuộc đúng tới đâu trên dữ liệu cỡ vài nghìn dòng, trước khi áp nó vào dự án của mình.

Cách đọc trang này

Mỗi câu ghi rõ điều đem ra so và thiết lập đo (dữ liệu, model, số lần lặp), rồi tới các con số và điều đọc ra được từ chúng. Số dạng 0,789 ± 0,013 là trung bình và độ lệch chuẩn (ddof=1) qua các fold hay các lần lặp. Khi hai cách làm được chấm trên cùng 5 fold, trang ghi thêm hiệu theo cặp: điểm của từng fold trừ điểm của chính fold đó ở cách làm mốc, kèm hiệu nhỏ nhất và lớn nhất trong 5 fold. Hiệu đổi dấu giữa các fold nghĩa là chưa nói được cách nào hơn, như bài điểm CV dao động giải thích. Điểm phân loại là ROC-AUC, điểm hồi quy là R², trừ khi bảng nói khác.

Dữ liệu là các bảng giả lập của tutorial: hoi_vien.csv (3.000 hội viên gói Sóc Vàng, 19,8% rời bỏ), hoi_vien_ky_sau.csv (800 hội viên của kỳ sau) và thoi_gian_giao_hang.csv, mô tả ở trang bộ dữ liệu. Code dùng scikit-learn 1.8.0, trong Docker. Các thí nghiệm chạy hàng trăm lần fit nên không chạy trên trang. Câu 2, 4, 5 và 7 dùng đúng khối dưới, và đoạn code ở câu 2 và câu 7 chỉ là phần khác với khối này:

python
import pandas as pd
from sklearn.compose import ColumnTransformer
from sklearn.impute import SimpleImputer
from sklearn.model_selection import StratifiedKFold
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import OneHotEncoder, StandardScaler
hv = pd.read_csv("hoi_vien.csv")
X, y = hv.drop(columns=["ma_kh", "roi_bo", "hoi_cach_huy_sau_moc"]), hv["roi_bo"]
NHOM = ["tinh", "kenh_dang_ky", "goi"]
SO = [c for c in X.columns if c not in NHOM]
cv = StratifiedKFold(5, shuffle=True, random_state=0)
def chuan_bi(cot_so):
    so = make_pipeline(SimpleImputer(strategy="median"), StandardScaler())
    return ColumnTransformer([("so", so, cot_so),
                              ("nhom", OneHotEncoder(handle_unknown="ignore"), NHOM)])

X có 11 cột số và 3 cột nhóm. Logistic regression trong các câu đó là make_pipeline(chuan_bi(SO), LogisticRegression(max_iter=1000)).

Giới hạn chung: một bộ dữ liệu giả lập vài nghìn dòng không đại diện cho mọi bài toán. Mỗi kết luận đúng trong phạm vi đã đo; trên dữ liệu của bạn, hãy đo lại bằng đúng cách đo đó.

Câu 1: một lần chia lệch bao nhiêu?

Thiết lập. Cùng một pipeline logistic, chia hoi_vien.csv 80/20 (giữ tỉ lệ lớp) với 200 giá trị random_state từ 0 tới 199, mỗi lần chấm trên phần test. Để so, chạy cross-validation 5 fold với 30 cách xáo khác nhau.

Cách đo

Trung bình

Độ lệch chuẩn

Thấp nhất

Cao nhất

Một lần chia, 200 hạt giống

0,789

0,022

0,727

0,840

Trung bình 5 fold, 30 cách xáo

0,788

0,003

0,782

0,792

95% số lần chia cho điểm từ 0,751 tới 0,830. Độ lệch giữa các fold trong một lần cross-validation thường khoảng 0,021, gần bằng độ lệch của một lần chia.

Đọc ra. Với 600 dòng test, hai người chia khác hạt giống có thể báo hai điểm chênh nhau 0,08 cho cùng một model. So hai model bằng hai lần chia khác nhau vì vậy là so cả phần may rủi của phép chia. Hãy chấm cả hai trên cùng các fold của cross-validation và đọc hiệu theo cặp, như các câu dưới.

Câu 2: cột nhiễu hại model nào?

Thiết lập. Thêm vào X 10 rồi 50 cột nhiễu, mỗi cột rút từ phân phối chuẩn và không dính gì tới nhãn. Bốn model chấm trên cùng 5 fold của cv: logistic, KNeighborsClassifier(15) và RandomForestClassifier(200, min_samples_leaf=5) sau chuan_bi, và HistGradientBoostingClassifier() với ba cột nhóm mã bằng OrdinalEncoder. Hiệu theo cặp so với chính model đó khi chưa thêm nhiễu.

python
rng = np.random.default_rng(0)
nhieu = pd.DataFrame(rng.normal(size=(len(X), 50)),
                     columns=[f"nhieu_{i}" for i in range(50)])
X_50 = pd.concat([X, nhieu], axis=1)
knn = make_pipeline(chuan_bi(SO + list(nhieu.columns)), KNeighborsClassifier(15))
diem = cross_val_score(knn, X_50, y, cv=cv, scoring="roc_auc")

Model

Không nhiễu

10 cột nhiễu

50 cột nhiễu

Hiệu theo cặp, 50 cột

Logistic

0,789 ± 0,013

0,788 ± 0,010

0,778 ± 0,019

−0,011 (−0,026 tới +0,003)

KNN, 15 hàng xóm

0,740 ± 0,016

0,724 ± 0,013

0,676 ± 0,039

−0,064 (−0,100 tới −0,014)

Rừng, 200 cây

0,789 ± 0,015

0,783 ± 0,009

0,769 ± 0,012

−0,019 (−0,040 tới −0,003)

HistGradientBoosting

0,762 ± 0,025

0,763 ± 0,008

0,760 ± 0,011

−0,001 (−0,031 tới +0,042)

Đọc ra. KNN tụt ở cả năm fold và mất nhiều nhất: khoảng cách cộng mọi cột như nhau, nên 50 cột vô nghĩa lấn át 11 cột số thật. Rừng cũng tụt ở cả năm fold nhưng ít hơn, vì mỗi lần chia nó chỉ xét một nhóm cột bốc ngẫu nhiên, và nhóm đó giờ thường chứa cột nhiễu. Hiệu của logistic và boosting đổi dấu giữa các fold, nên trên bảng này chưa thấy chúng bị hại. Trước khi dùng KNN, hãy bỏ bớt các cột không liên quan.

Câu 3: chuẩn hóa đổi điểm của model nào?

Thiết lập. Cross-validation 5 fold, cùng cách điền ô trống và one-hot, chỉ khác có hay không StandardScaler cho cột số. Cột cuối đếm số fold có ConvergenceWarning.

Model

Không chuẩn hóa

Có chuẩn hóa

Fold có cảnh báo hội tụ (không chuẩn hóa)

KNeighborsClassifier(15)

0,701 ± 0,032

0,740 ± 0,016

0

LogisticRegression()

0,786 ± 0,011

0,789 ± 0,013

5 trên 5

DecisionTreeClassifier(max_depth=5)

0,729 ± 0,013

0,729 ± 0,013

0

HistGradientBoostingClassifier()

0,755 ± 0,018

0,755 ± 0,018

0

Đọc ra. KNN đo khoảng cách nên đổi nhiều nhất: cột chi tiêu tính bằng nghìn đồng lấn át mọi cột còn lại. Logistic gần như giữ điểm nhưng không hội tụ ở cả năm fold, tức là kết quả phụ thuộc vào lúc nó dừng; trang ConvergenceWarning nói cách sửa. Cây và boosting cho điểm giống hệt, vì chia theo ngưỡng trên từng cột không quan tâm đơn vị.

Câu 4: mã hóa cột nhóm kiểu nào cho boosting?

Thiết lập. HistGradientBoostingClassifier với ba cột nhóm tinh (34 tỉnh, thành), kenh_dang_ky, goi theo bốn cách: one-hot, mã số thứ tự (OrdinalEncoder), để HGB tự xử lý cột kiểu category (categorical_features="from_dtype"), và bỏ hẳn ba cột. Cross-validation trên cùng 5 fold, rồi fit trên cả bảng và chấm kỳ sau. Dòng cuối là logistic để so. Hiệu theo cặp so với one-hot.

Cách mã hóa

Cross-validation

Hiệu theo cặp

Kỳ sau

One-hot

0,756 ± 0,009

mốc

0,722

Mã số thứ tự

0,762 ± 0,025

+0,005 (−0,028 tới +0,020)

0,738

Cột category của HGB

0,762 ± 0,022

+0,006 (−0,019 tới +0,023)

0,733

Bỏ ba cột nhóm

0,755 ± 0,009

−0,001 (−0,005 tới +0,005)

0,726

Logistic

0,789 ± 0,013

+0,033 (+0,012 tới +0,040)

0,744

Đọc ra. Ba cách còn lại của HGB có hiệu theo cặp đổi dấu giữa các fold, nên trên bảng này chưa nói được cách mã hóa nào hơn, và đây không phải chỗ đáng tối ưu. Logistic thì hơn HGB chưa tinh chỉnh ở cả năm fold, từ 0,012 tới 0,040. Bài chọn model bàn khi nào boosting đáng dùng.

Câu 5: ô trống thì bỏ dòng, bỏ cột hay điền?

Thiết lập. Cột diem_danh_gia_tb trống ở 34,2% hội viên (31,9% ở kỳ sau), và nhóm trống rời bỏ nhiều hơn: 27,8% so với 15,7%. Bốn cách với logistic, trên cùng 5 fold: bỏ cột; điền trung vị như chuan_bi; điền trung vị và thêm cột đánh dấu (SimpleImputer(add_indicator=True)); bỏ các dòng thiếu khi học, còn lúc chấm vẫn điền trung vị vì dữ liệu mới cũng có ô trống. Hiệu theo cặp so với bỏ cột.

Cách

Cross-validation

Hiệu theo cặp

Kỳ sau

Bỏ cột điểm đánh giá

0,789 ± 0,013

mốc

0,747

Điền trung vị

0,789 ± 0,013

+0,000 (−0,003 tới +0,002)

0,744

Điền trung vị, thêm cột đánh dấu

0,788 ± 0,013

−0,001 (−0,004 tới +0,002)

0,744

Bỏ dòng thiếu khi học

0,787 ± 0,013

−0,001 (−0,006 tới +0,007)

0,735

Bỏ dòng thiếu còn 1.975 trên 3.000 dòng khi fit trên cả bảng để chấm kỳ sau.

Đọc ra. Ba cách giữ đủ dòng cho điểm gần như nhau ở mọi fold, hiệu không quá 0,004: với logistic trên bảng này, cột điểm đánh giá và cả dấu hiệu "bị trống" không thêm gì đáng kể vào các cột còn lại. Bỏ dòng mất một phần ba dữ liệu học, cho điểm kỳ sau thấp nhất, và không giải quyết được lúc dự đoán, khi hội viên thiếu ô vẫn cần một xác suất. Cách điền và cột đánh dấu có ở bài SimpleImputer.

Câu 6: cây thắng vì model hay vì feature?

Thiết lập. Bảng thoi_gian_giao_hang.csv có giờ đặt dạng số, và thời gian giao chậm hẳn vào giờ cao điểm ngày thường, chậm thêm khi mưa. Cross-validation 5 fold (xáo, random_state=0), so Ridge với từng bước thêm feature, và HistGradientBoostingRegressor trên bảng gốc.

python
giao = giao.assign(
    cao_diem=(giao.gio_dat.isin([11, 12, 17, 18, 19])
              & (giao.cuoi_tuan == 0)).astype(int))
giao["km_cao_diem"] = giao.khoang_cach_km * giao.cao_diem
giao["km_mua"] = giao.khoang_cach_km * (giao.thoi_tiet != "Nắng")

Model và feature

R²

MAE (phút)

Ridge, bảng gốc

0,790 ± 0,010

4,84

Ridge, giờ đặt thành cột nhóm

0,870 ± 0,006

3,58

Ridge, thêm cột cao điểm

0,869 ± 0,006

3,64

Ridge, thêm cao điểm, km × cao điểm, km × mưa

0,911 ± 0,010

3,11

HistGradientBoosting, bảng gốc

0,903 ± 0,018

2,96

HistGradientBoosting, cùng feature với dòng trên

0,911 ± 0,014

2,86

Đọc ra. Trên bảng gốc, cây hơn Ridge 0,11 R² vì nó tự tìm ra giờ cao điểm và tác động nhân của quãng đường. Ba cột viết tay từ hiểu biết về giao hàng đưa Ridge lên ngang cây về R², dù MAE vẫn kém 0,15 phút. Khi model tuyến tính thua cây xa, hãy hỏi nó đang thiếu feature nào, như bài feature engineering; model dễ giải thích với feature tốt thường đáng giữ hơn.

Câu 7: nhãn sai một phần thì model kém đi bao nhiêu?

Thiết lập. Đảo nhãn của 5%, 10% và 20% hội viên trong bảng học, chọn ngẫu nhiên nên có cả 0 thành 1 lẫn 1 thành 0, mỗi mức 10 lần với 10 hạt giống. Fit logistic và RandomForestClassifier(100, min_samples_leaf=5) trên bảng đã đảo, rồi chấm trên 800 hội viên kỳ sau, nhãn đúng. Với logistic, chấm thêm cross-validation trên chính nhãn đã đảo: con số bạn sẽ thấy khi không biết nhãn có sai.

python
rng = np.random.default_rng(hat)
y_sai = y.copy()
chon = rng.choice(len(y), int(0.10 * len(y)), replace=False)
y_sai.iloc[chon] = 1 - y_sai.iloc[chon]

Nhãn sai

Logistic, kỳ sau

Rừng, kỳ sau

Logistic, CV trên nhãn sai

0%

0,744

0,748

0,789

5%

0,745 (0,736–0,749)

0,738 (0,734–0,745)

0,733

10%

0,745 (0,734–0,753)

0,738 (0,728–0,750)

0,679

20%

0,731 (0,712–0,743)

0,716 (0,703–0,729)

0,609

Số trong ngoặc là thấp nhất và cao nhất của 10 lần; cột cuối là trung bình 10 lần.

Đọc ra. Đảo 10% nhãn gần như không làm logistic kém đi khi chấm bằng nhãn đúng, trong khi điểm cross-validation trên nhãn sai tụt từ 0,789 xuống 0,679. Nhãn sai làm hỏng thước đo nhiều hơn làm hỏng model: chấm trên nhãn sai, bạn sẽ tưởng model tệ hơn nhiều so với thực tế. Rừng bị hại nhiều hơn logistic, rõ nhất ở mức 20%. Muốn biết model tốt thật bao nhiêu, cần một phần dữ liệu chấm có nhãn được kiểm lại kỹ, dù nhỏ, tách riêng như bài train, validation, test.

Câu 8: điểm cross-validation có giữ được ở kỳ sau?

Thiết lập. Ba model chấm bằng cross-validation 5 fold trên 3.000 hội viên, rồi fit trên cả bảng và chấm trên 800 hội viên kỳ sau, sinh từ cùng cơ chế với một hạt giống khác. Để biết riêng 800 dòng dao động bao nhiêu, rút lại có hoàn lại 1.000 lần trên dự đoán kỳ sau của logistic.

Model

Cross-validation

Kỳ sau

Điểm train

LogisticRegression

0,789 ± 0,013

0,744

0,809

RandomForestClassifier(300, min_samples_leaf=5)

0,789 ± 0,016

0,748

0,955

HistGradientBoostingClassifier()

0,755 ± 0,018

0,742

0,998

Riêng 800 dòng kỳ sau đã dao động ±0,025 khi rút lại. Tỉ lệ rời bỏ của kỳ sau là 16,9%, thấp hơn 19,8% của bảng học.

Đọc ra. Cả ba model tụt 0,01–0,05 khi sang kỳ sau, và thứ tự logistic, rừng gần như hòa nhau vẫn giữ. Khoảng tụt của logistic (0,045) gần gấp đôi độ dao động của 800 dòng, nên chỉ một phần là may rủi của bộ nhỏ. Điểm cross-validation thường lạc quan hơn điểm khi dùng thật: chấm lại trên dữ liệu của kỳ mới trước khi tin, và đọc thêm về dữ liệu theo thời gian ở bài data leakage. Điểm train gần 1 của HGB không nói gì về kỳ sau, như bài overfitting nhắc.

Câu hỏi thường gặp

Vì sao không chạy thí nghiệm ngay trên trang?

Mỗi câu cần từ vài chục tới vài trăm lần fit, còn trình chạy trên trang dừng sau 8 giây. Khối code ở đầu trang dựng X, y, cv và chuan_bi; ghép đoạn code của từng câu vào khối đó, thêm các import còn thiếu (numpy, model, cross_val_score), là chạy được trên máy của bạn. Kết quả có thể lệch ở chữ số thứ ba do máy khác.

Kết luận ở đây có áp được cho dữ liệu của tôi không?

Chỉ như một giả thuyết để kiểm. Dữ liệu vài nghìn dòng, ít cột, sinh từ một cơ chế biết trước, nên những điều như "cách mã hóa không quan trọng" có thể sai trên bảng có cột nhóm hàng nghìn giá trị. Cách đo thì áp được: lặp nhiều hạt giống, báo độ lệch, so theo cặp trên cùng các fold, chấm trên dữ liệu của kỳ sau.

Muốn tự làm một thí nghiệm như vậy thì bắt đầu từ đâu?

Viết câu hỏi thành một so sánh có hai cách làm, cố định mọi thứ khác, chấm cả hai trên cùng các fold hay cùng 20 lần chia trở lên, rồi báo trung bình kèm độ lệch chuẩn và hiệu theo cặp. Ghi mỗi lần chạy vào một bảng như nhật ký thí nghiệm của dự án Sóc Vàng.

Chủ đề

phòng thí nghiệm ml

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập