Bỏ qua đến nội dung chính
Mục lục

RandomizedSearchCV và HalvingRandomSearchCV

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 3/8 · Chương 10

Tinh chỉnh và giải thích model

  • 8 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

RandomizedSearchCV là random search (tìm ngẫu nhiên) của scikit-learn: thay vì thử mọi tổ hợp của một lưới, nó lấy ngẫu nhiên đúng n_iter tổ hợp trong những phân phối mà bạn khai báo rồi chấm từng tổ hợp bằng cross validation. Số lần fit do bạn đặt, nên bạn khai báo được khoảng rộng cho nhiều hyperparameter mà thời gian chạy vẫn biết trước.

Cần biết trước: GridSearchCV, phân phối đều và PMF, PDF, CDF.

RandomizedSearchCV: đặt ngân sách bằng n_iter

Dữ liệu vẫn là hoi_vien.csv, 3.000 hội viên gói Sóc Vàng (số giả lập của AIDev). Thay cho list các mức, mỗi hyperparameter nhận một phân phối của scipy.stats. randint(2, 13) rút số nguyên từ 2 tới 12, mỗi số cùng khả năng; cận phải không được lấy, như range():

python
import pandas as pd
from scipy.stats import randint
from sklearn.model_selection import RandomizedSearchCV, train_test_split
from sklearn.tree import DecisionTreeClassifier

kh = pd.read_csv("hoi_vien.csv")
X = kh.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"]
X_tr, X_te, y_tr, y_te = train_test_split(
    X, kh["roi_bo"], stratify=kh["roi_bo"], random_state=0)
phan_phoi = {"max_depth": randint(2, 13),
             "min_samples_leaf": randint(5, 151)}
tim = RandomizedSearchCV(DecisionTreeClassifier(random_state=0),
                         phan_phoi, n_iter=8, cv=3, scoring="roc_auc",
                         random_state=0).fit(X_tr, y_tr)
print(tim.best_params_, round(tim.best_score_, 3))

KẾT QUẢ

{'max_depth': 7, 'min_samples_leaf': 72} 0.753

Tám tổ hợp, mỗi tổ hợp 3 fold, là 24 lần fit cộng một lần fit lại. Muốn phủ cùng khoảng bằng lưới, chẳng hạn 11 độ sâu từ 2 tới 12 × 7 mức lá 5, 20, 40, 60, 80, 100, 150, cần 77 tổ hợp, tức 231 lần fit. GridSearchCV trên lưới đó, cùng cv=3, cho best_score_ 0,756: hơn 0,003 AUC, với gần mười lần công. random_state=0 cố định các tổ hợp được rút, nên chạy lại ra đúng kết quả cũ. Các thuộc tính best_params_, cv_results_, best_estimator_ dùng y như với GridSearchCV.

Đổi random_state=0 thành random_state=1 trong lời gọi RandomizedSearchCV rồi chạy lại: dòng in ra thành {'max_depth': 8, 'min_samples_leaf': 30} 0.756: tổ hợp khác, điểm gần như cũ.

Chọn phân phối: randint, uniform, loguniform

Hyperparameter là số nguyên (độ sâu, số lá) thì dùng randint. Hyperparameter là số thực mà mọi vùng trong khoảng đều đáng thử như nhau thì dùng uniform. Còn những hyperparameter như learning_rate của HistGradientBoosting hay C, alpha, khác biệt giữa 0,01 và 0,02 quan trọng ngang khác biệt giữa 0,5 và 1, thì dùng loguniform: nó rút đều theo thang log. So 1.000 lần rút trong khoảng 0,01 tới 1:

python
from scipy.stats import loguniform, uniform

deu = uniform(0.01, 0.99).rvs(1000, random_state=1)
log = loguniform(0.01, 1).rvs(1000, random_state=1)
print("uniform:", (deu < 0.1).mean(), "loguniform:", (log < 0.1).mean())

KẾT QUẢ

uniform: 0.092 loguniform: 0.494

Với uniform, chỉ 9,2% số lần rút rơi dưới 0,1, nên vùng 0,01 tới 0,1 gần như không được thử. loguniform chia đôi: một nửa từ 0,01 tới 0,1, một nửa từ 0,1 tới 1. Một phân phối cho model tăng cường độ dốc vì thế thường trông như sau:

python
from scipy.stats import loguniform, randint

phan_phoi = {"learning_rate": loguniform(0.02, 0.5),
             "max_leaf_nodes": randint(4, 32)}

HalvingRandomSearchCV: loại dần ứng viên yếu

HalvingRandomSearchCV rút nhiều ứng viên, chấm tất cả trên một phần nhỏ dữ liệu, giữ lại phần tốt nhất, rồi cho nhóm còn lại nhiều dòng hơn. factor=3 nghĩa là mỗi vòng giữ một phần ba số ứng viên và nhân số dòng lên ba lần. Lớp này còn đang thử nghiệm, nên phải bật bằng một dòng import riêng trước. Khối dưới chỉ in số ứng viên và số dòng của từng vòng, nên để scoring mặc định cho nhanh; khi tìm thật, đặt scoring="roc_auc" như các khối trên:

python
import pandas as pd
from scipy.stats import randint
from sklearn.experimental import enable_halving_search_cv  # noqa: F401
from sklearn.model_selection import HalvingRandomSearchCV, train_test_split
from sklearn.tree import DecisionTreeClassifier
kh = pd.read_csv("hoi_vien.csv")
X = kh.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"]
X_tr, X_te, y_tr, y_te = train_test_split(
    X, kh["roi_bo"], stratify=kh["roi_bo"], random_state=0)
phan_phoi = {"max_depth": randint(2, 13),
             "min_samples_leaf": randint(5, 151)}
tim = HalvingRandomSearchCV(DecisionTreeClassifier(random_state=0),
    phan_phoi, n_candidates=9, factor=3, min_resources=250, cv=2,
    random_state=0).fit(X_tr, y_tr)
print(tim.n_candidates_, tim.n_resources_)

KẾT QUẢ

[9, 3, 1] [250, 750, 2250]

Vòng đầu 9 ứng viên, mỗi ứng viên chỉ học trên 250 dòng; vòng hai còn 3 ứng viên trên 750 dòng; vòng cuối 1 ứng viên trên cả 2.250 dòng. Tổng số dòng đã dùng là 9 × 250 + 3 × 750 + 2.250 = 6.750, bằng một phần ba so với chấm cả 9 ứng viên trên đủ dữ liệu. Trên bảng 2.250 dòng với cây quyết định, mỗi lần fit đã rất nhanh, nên tiết kiệm này không thấy rõ bằng đồng hồ. Nó đáng giá khi thời gian fit tăng theo số dòng: bảng hàng trăm nghìn dòng, model tăng cường độ dốc nhiều vòng. Một rủi ro: cấu hình chỉ tỏa sáng khi có nhiều dữ liệu, như cây sâu với lá nhỏ, có thể bị loại ngay vòng đầu.

HalvingGridSearchCV làm cùng việc nhưng ứng viên là mọi tổ hợp của một lưới param_grid, như GridSearchCV. Khi bài toán cần cách tìm thông minh hơn, chẳng hạn chọn tổ hợp tiếp theo dựa trên kết quả các tổ hợp trước, người ta dùng thư viện riêng như Optuna; phần đó nằm ngoài bài này.

Kiểm tra nhanh

  1. RandomizedSearchCV(model, phan_phoi, n_iter=8, cv=3) với refit=True mặc định cần bao nhiêu lần fit?

    • 25
    • 24
    • 8
  2. Sau from scipy.stats import uniform, float(uniform(0.1, 0.5).ppf(1)) cho kết quả gì?

    • 0.6
    • 0.5
    • 0.1
  3. Nên rút learning_rate trong khoảng 0,01 tới 1 bằng phân phối nào?

    • randint(0, 1)
    • uniform(0.01, 1)
    • loguniform(0.01, 1)
  4. Những câu nào đúng về HalvingRandomSearchCV với factor=3?

    • Mỗi vòng giữ khoảng một phần ba số ứng viên
    • Ứng viên ở vòng sau được học trên nhiều dòng hơn
    • Mọi ứng viên đều được chấm trên đủ dữ liệu
    • Nó luôn chạy nhanh hơn RandomizedSearchCV trên mọi bảng
Đúng hết lần đầu +15 XP

Bài tập

Chạy random search với ngân sách cho trước

Viết thân hàm thu_ngau_nhien(X, y, phan_phoi, so_lan, hat_giong):

  • dựng RandomizedSearchCV cho DecisionTreeClassifier(random_state=0) với các phân phối phan_phoi;

  • thử so_lan tổ hợp, chấm bằng cv=3 và scoring="roc_auc", rút tổ hợp bằng random_state=hat_giong;

  • fit trên X, y.

Hàm không sửa phan_phoi của nơi gọi.

Trả về: tổ hợp thắng, dạng {tên hyperparameter: giá trị}, một dict.

Ví dụ: bộ đầu tiên trong phần chấm có 90 dòng, ba cột số rút từ phân phối chuẩn với np.random.default_rng(0), nhãn là 1 khi cột đầu cộng nửa cột hai cộng nhiễu lớn hơn 0. Với phan_phoi = {"max_depth": randint(1, 8), "min_samples_leaf": randint(1, 25)}, so_lan = 6 và hat_giong = 0, hàm trả {'max_depth': 5, 'min_samples_leaf': 24}.

python
from sklearn.model_selection import RandomizedSearchCV
from sklearn.tree import DecisionTreeClassifier

def thu_ngau_nhien(X, y, phan_phoi, so_lan, hat_giong):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • RandomizedSearchCV lấy mẫu n_iter tổ hợp trong các phân phối đã khai báo, nên số lần fit là n_iter × số fold, cộng một lần fit lại.

  • randint(a, b) rút số nguyên từ a tới b - 1; loguniform(a, b) rút đều theo thang log, hợp với learning_rate, C, alpha.

  • uniform(loc, scale) trải từ loc tới loc + scale: tham số thứ hai là độ rộng.

  • random_state= của đối tượng tìm cố định các tổ hợp được rút.

  • HalvingRandomSearchCV, HalvingGridSearchCV chấm nhiều ứng viên trên ít dòng rồi loại dần; cần import enable_halving_search_cv trước.

Câu hỏi thường gặp

Random search khác grid search ở đâu?

Grid search thử đủ mọi tổ hợp của các mức bạn liệt kê, nên số lần fit nhân lên theo từng hyperparameter thêm vào. Random search rút một số tổ hợp cố định từ khoảng rộng, nên mỗi hyperparameter được thử ở nhiều giá trị khác nhau hơn với cùng số lần fit.

n_iter bao nhiêu là đủ?

Không có con số chung. Bắt đầu với ngân sách thời gian bạn chấp nhận, xem bảng cv_results_: nếu các tổ hợp đứng đầu cách nhau ít hơn mức chênh điểm từ fold này sang fold khác, thử thêm hầu như không đổi kết luận. Đặt n_iter lớn hơn số tổ hợp có thể có của các list rời rạc thì scikit-learn cảnh báo và chỉ thử số tổ hợp đó.

HalvingGridSearchCV có thay được GridSearchCV không?

Được, khi lưới lớn và mỗi lần fit tốn thời gian theo số dòng. Với bảng nhỏ như vài nghìn dòng, chi phí cố định của mỗi lần fit lấn át phần tiết kiệm, và ứng viên chỉ tốt khi có nhiều dữ liệu dễ bị loại sớm. Kiểm tra lại bằng cách chấm tổ hợp thắng trên tập test như thường lệ.

Có nên dùng loguniform cho số nguyên không?

Có thể, khi khoảng trải nhiều bậc, như số lá từ 4 tới 1.000. scipy.stats có loguniform cho số thực; với số nguyên, cách đơn giản là liệt kê vài mức cách đều theo thang log trong một list, rồi để RandomizedSearchCV rút từ list đó.

Chủ đề

randomizedsearchcv

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập