Bỏ qua đến nội dung chính
Mục lục

Baseline model: DummyRegressor, mốc model phải thắng

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 2/5 · Chương 2

API scikit-learn và model đầu tiên

  • 7 phút
  • Cơ bản
  • Python 3.14
  • Cập nhật

Baseline model (mô hình mốc) là lối đoán thô sơ nhất, không học quy luật nào, như luôn đoán giá trung bình, và scikit-learn có sẵn nó dưới tên DummyRegressor, DummyClassifier. Bạn dựng baseline trước mọi model thật, như khi định giá nhà: model phải đoán tốt hơn câu "căn nào cũng khoảng 6,6 tỷ" thì mới đáng dùng.

Cần biết trước: fit, predict, score, mảng NumPy và axis.

DummyRegressor: đoán một giá cho mọi căn

Một người chưa xem căn nào vẫn đoán được giá: lấy giá trung bình của các căn đã bán. DummyRegressor làm đúng việc đó, với cùng lời gọi fit, predict, score như mọi estimator:

python
import pandas as pd
from sklearn.dummy import DummyRegressor

nha = pd.read_csv("gia_nha.csv")
X = nha[["dien_tich_m2", "khoang_cach_trung_tam_km"]]
y = nha["gia_ty"]
moc = DummyRegressor(strategy="mean").fit(X, y)
print(moc.predict(X.head(3)))
print(round(y.mean(), 4))
print(moc.score(X, y))

KẾT QUẢ

[6.6362 6.6362 6.6362]
6.6362
0.0

Ba căn đầu nhận cùng một giá, 6.6362 tỷ, đúng bằng giá trung bình của bảng. Đó là con số duy nhất mốc giữ lại sau fit(), nên căn 40 m² hay 200 m² đều được đoán như nhau. X vẫn phải đưa vào cho đúng khuôn của scikit-learn, nhưng mốc không nhìn nó. Điểm score() bằng đúng 0.0: với model hồi quy, R² bằng 0 nghĩa là ngang việc đoán trung bình của chính bảng được chấm, và ở đây bảng được chấm cũng là bảng đã học.

strategy: trung bình hay trung vị

Tham số strategy= chọn con số mốc đoán. Giá nhà lệch phải: vài căn hàng chục tỷ kéo trung bình lên cao hơn giá của phần lớn căn. Đoạn dưới đếm số căn mà mốc đoán lệch quá 2 tỷ, với hai lựa chọn "mean" và "median":

python
import numpy as np
import pandas as pd
from sklearn.dummy import DummyRegressor

nha = pd.read_csv("gia_nha.csv")
X = nha[["dien_tich_m2"]]
y = nha["gia_ty"].to_numpy()
for chien_luoc in ["mean", "median"]:
    moc = DummyRegressor(strategy=chien_luoc).fit(X, y)
    du_doan = moc.predict(X)
    lech_nhieu = (np.abs(y - du_doan) > 2).sum()
    print(chien_luoc, round(du_doan[0], 2), lech_nhieu)

KẾT QUẢ

mean 6.64 1674
median 5.07 1371

Trung vị 5.07 nằm giữa khối căn bình dân, nên số căn lệch quá 2 tỷ giảm từ 1674 xuống 1371. Trung bình và trung vị khác nhau thế nào có ở bài trung vị. Mốc nào tốt hơn tùy thước đo bạn chọn; điều quan trọng là model thật được so với cùng một mốc, chấm bằng cùng một thước đo.

DummyClassifier: đoán lớp đông nhất

Với bài toán phân loại, mốc tự nhiên là luôn đoán lớp hay gặp nhất. Cột gan_metro ghi 1 khi căn nằm gần ga metro, và chỉ một phần nhỏ căn như vậy:

python
import pandas as pd
from sklearn.dummy import DummyClassifier

nha = pd.read_csv("gia_nha.csv")
X = nha[["dien_tich_m2", "khoang_cach_trung_tam_km"]]
y = nha["gan_metro"]
moc = DummyClassifier(strategy="most_frequent").fit(X, y)
print(moc.predict(X.head(3)))
print(round(moc.score(X, y), 3))

KẾT QUẢ

[0 0 0]
0.916

Với model phân loại, score() trả tỉ lệ đoán đúng. Mốc nói "không gần metro" cho mọi căn mà vẫn đúng 91,6%, vì đúng chừng ấy căn không gần metro. Model phân loại nào khoe 90% trên bảng này chưa hề giỏi: nó thua cả mốc. Bài confusion matrix chỉ cách nhìn ra model lười kiểu đó.

Đổi "gan_metro" thành "phap_ly" rồi chạy lại: dòng cuối in 0.717, tỉ lệ căn có sổ hồng.

So model với baseline

Model thật chỉ đáng giữ khi nó vượt mốc. Đoạn dưới fit LinearRegression với từng feature một, rồi đặt điểm của nó cạnh điểm của DummyRegressor:

python
import pandas as pd
from sklearn.dummy import DummyRegressor
from sklearn.linear_model import LinearRegression

nha = pd.read_csv("gia_nha.csv")
y = nha["gia_ty"]
for cot in ["tuoi_nha", "so_tang", "dien_tich_m2"]:
    X = nha[[cot]]
    model = LinearRegression().fit(X, y)
    moc = DummyRegressor().fit(X, y)
    print(cot, round(model.score(X, y), 3), moc.score(X, y))

KẾT QUẢ

tuoi_nha 0.0 0.0
so_tang 0.208 0.0
dien_tich_m2 0.26 0.0

Model chỉ biết tuổi nhà đạt 0.0, ngang mốc: tuổi nhà một mình không nói gì về giá trong bảng này, và model như vậy không đáng giữ dù code chạy êm. Diện tích thì vượt mốc rõ. Bỏ trống strategy thì DummyRegressor đoán trung bình.

Các điểm ở đây là điểm train, đo trên chính bảng đã học, nên mốc trung bình luôn được đúng 0.0. Trên những căn model chưa thấy, mốc đó thường dưới 0 một chút, và so với 0 thay cho so với mốc là một lỗi hay gặp. Bài model đầu tiên so model với baseline trên phần dữ liệu cất riêng.

Kiểm tra nhanh

  1. Sau from sklearn.dummy import DummyRegressor, DummyRegressor(strategy="median").fit([[1], [2], [3], [4]], [2, 3, 4, 11]).predict([[9]]) cho kết quả gì?

    • array([5.])
    • array([3.5])
    • array([11.])
  2. Sau from sklearn.dummy import DummyClassifier, DummyClassifier(strategy="most_frequent").fit([[0]] * 5, ["nóng", "đá", "đá", "nóng", "đá"]).score([[0]] * 5, ["nóng", "đá", "đá", "nóng", "đá"]) cho kết quả gì?

    • 0.6
    • 0.4
    • 1.0
  3. Trong ví dụ so model với baseline, những câu nào đúng?

    • Model chỉ dùng tuổi nhà không vượt mốc, nên chưa đáng dùng
    • Mốc trung bình được đúng 0.0 vì chấm trên chính bảng nó đã học
    • Model nào có điểm lớn hơn 0 trên dữ liệu mới là đã vượt mốc
    • Đổi sang mốc trung vị thì model tuổi nhà sẽ vượt mốc
  4. Fit DummyClassifier() trên cột giá gia_ty rồi gọi score() thì sao?

    • Được tỉ lệ căn có giá bằng giá hay gặp nhất, một con số có ý nghĩa
    • Báo lỗi ValueError, vì giá là số liên tục mà bộ phân loại chỉ nhận lớp
    • Được đúng 0.0, như DummyRegressor
Đúng hết lần đầu +15 XP

Bài tập

Đếm số dòng mà baseline đoán lệch nhiều

bang là một DataFrame có cột nhãn số cot_nhan, các cột còn lại là feature. Viết thân hàm so_can_lech(bang, cot_nhan, chien_luoc, nguong): fit DummyRegressor(strategy=chien_luoc) trên bang với X là bảng bỏ cột nhãn, dự đoán cho chính các dòng của bang, rồi đếm số dòng mà dự đoán lệch khỏi nhãn thật nhiều hơn nguong, lệch lên hay lệch xuống đều tính. Lệch đúng bằng nguong thì không đếm. chien_luoc là "mean" hoặc "median".

Hàm không sửa bang của nơi gọi.

Trả về: số dòng lệch nhiều, một int.

Ví dụ với bảng bảy căn ở dòng chấm đầu, "median" và nguong 1,5 cho 2.

python
import numpy as np
import pandas as pd
from sklearn.dummy import DummyRegressor

def so_can_lech(bang, cot_nhan, chien_luoc, nguong):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • Baseline là cách đoán không học quy luật nào; model thật phải vượt nó mới đáng dùng.

  • DummyRegressor(strategy="mean") đoán trung bình của y cho mọi dòng; "median" đoán trung vị, hợp với nhãn lệch phải.

  • DummyClassifier(strategy="most_frequent") luôn đoán lớp đông nhất; tỉ lệ đúng của nó bằng tỉ lệ lớp đó.

  • Nhãn số đo dùng DummyRegressor; DummyClassifier trên nhãn liên tục báo ValueError khi chấm.

  • Trên bảng đã học, mốc trung bình được đúng 0.0; trên dữ liệu mới, so model với điểm của mốc, không so với 0.

Câu hỏi thường gặp

Dummy classifier có strategy nào khác most_frequent không?

Có: "prior" (mặc định, đoán như most_frequent), "stratified" và "uniform" đoán ngẫu nhiên nên cần random_state=, "constant" luôn đoán một lớp bạn chỉ định. Mốc hay dùng nhất vẫn là lớp đông nhất, vì nó là cách lười nhất mà vẫn ăn điểm.

DummyRegressor có dùng để dự đoán thật không?

Không. Nó chỉ cho bạn con số để so. Khi chưa model nào vượt nó, câu trả lời trung thực cho người hỏi là "chưa đoán tốt hơn giá trung bình". Bài model đầu tiên đặt model và mốc cạnh nhau trên dữ liệu chưa thấy.

Baseline có bắt buộc phải là Dummy không?

Không. Cách đoán nào đang có sẵn trước khi bạn làm model đều dùng làm mốc được: ngưỡng nhiệt độ ở bài học máy là gì, hay model cũ đang chạy trên trang. Dummy được dùng nhiều vì bài nào cũng dựng được trong một dòng, và đổi qua lại với model thật chỉ là đổi tên class.

Chủ đề

baseline model

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập