Baseline model: DummyRegressor, mốc model phải thắng
Bài 2/5 · Chương 2
API scikit-learn và model đầu tiên
- 7 phút
- Cơ bản
- Python 3.14
- Cập nhật
Trong bài này · 11
Baseline model (mô hình mốc) là lối đoán thô sơ nhất, không học quy luật nào, như luôn đoán giá trung bình, và scikit-learn có sẵn nó dưới tên DummyRegressor, DummyClassifier. Bạn dựng baseline trước mọi model thật, như khi định giá nhà: model phải đoán tốt hơn câu "căn nào cũng khoảng 6,6 tỷ" thì mới đáng dùng.
Cần biết trước: fit, predict, score, mảng NumPy và axis.
DummyRegressor: đoán một giá cho mọi căn
Một người chưa xem căn nào vẫn đoán được giá: lấy giá trung bình của các căn đã bán. DummyRegressor làm đúng việc đó, với cùng lời gọi fit, predict, score như mọi estimator:
import pandas as pd
from sklearn.dummy import DummyRegressor
nha = pd.read_csv("gia_nha.csv")
X = nha[["dien_tich_m2", "khoang_cach_trung_tam_km"]]
y = nha["gia_ty"]
moc = DummyRegressor(strategy="mean").fit(X, y)
print(moc.predict(X.head(3)))
print(round(y.mean(), 4))
print(moc.score(X, y))KẾT QUẢ
[6.6362 6.6362 6.6362]
6.6362
0.0Ba căn đầu nhận cùng một giá, 6.6362 tỷ, đúng bằng giá trung bình của bảng. Đó là con số duy nhất mốc giữ lại sau fit(), nên căn 40 m² hay 200 m² đều được đoán như nhau. X vẫn phải đưa vào cho đúng khuôn của scikit-learn, nhưng mốc không nhìn nó. Điểm score() bằng đúng 0.0: với model hồi quy, R² bằng 0 nghĩa là ngang việc đoán trung bình của chính bảng được chấm, và ở đây bảng được chấm cũng là bảng đã học.
strategy: trung bình hay trung vị
Tham số strategy= chọn con số mốc đoán. Giá nhà lệch phải: vài căn hàng chục tỷ kéo trung bình lên cao hơn giá của phần lớn căn. Đoạn dưới đếm số căn mà mốc đoán lệch quá 2 tỷ, với hai lựa chọn "mean" và "median":
import numpy as np
import pandas as pd
from sklearn.dummy import DummyRegressor
nha = pd.read_csv("gia_nha.csv")
X = nha[["dien_tich_m2"]]
y = nha["gia_ty"].to_numpy()
for chien_luoc in ["mean", "median"]:
moc = DummyRegressor(strategy=chien_luoc).fit(X, y)
du_doan = moc.predict(X)
lech_nhieu = (np.abs(y - du_doan) > 2).sum()
print(chien_luoc, round(du_doan[0], 2), lech_nhieu)KẾT QUẢ
mean 6.64 1674
median 5.07 1371Trung vị 5.07 nằm giữa khối căn bình dân, nên số căn lệch quá 2 tỷ giảm từ 1674 xuống 1371. Trung bình và trung vị khác nhau thế nào có ở bài trung vị. Mốc nào tốt hơn tùy thước đo bạn chọn; điều quan trọng là model thật được so với cùng một mốc, chấm bằng cùng một thước đo.
DummyClassifier: đoán lớp đông nhất
Với bài toán phân loại, mốc tự nhiên là luôn đoán lớp hay gặp nhất. Cột gan_metro ghi 1 khi căn nằm gần ga metro, và chỉ một phần nhỏ căn như vậy:
import pandas as pd
from sklearn.dummy import DummyClassifier
nha = pd.read_csv("gia_nha.csv")
X = nha[["dien_tich_m2", "khoang_cach_trung_tam_km"]]
y = nha["gan_metro"]
moc = DummyClassifier(strategy="most_frequent").fit(X, y)
print(moc.predict(X.head(3)))
print(round(moc.score(X, y), 3))KẾT QUẢ
[0 0 0]
0.916Với model phân loại, score() trả tỉ lệ đoán đúng. Mốc nói "không gần metro" cho mọi căn mà vẫn đúng 91,6%, vì đúng chừng ấy căn không gần metro. Model phân loại nào khoe 90% trên bảng này chưa hề giỏi: nó thua cả mốc. Bài confusion matrix chỉ cách nhìn ra model lười kiểu đó.
Đổi "gan_metro" thành "phap_ly" rồi chạy lại: dòng cuối in 0.717, tỉ lệ căn có sổ hồng.
So model với baseline
Model thật chỉ đáng giữ khi nó vượt mốc. Đoạn dưới fit LinearRegression với từng feature một, rồi đặt điểm của nó cạnh điểm của DummyRegressor:
import pandas as pd
from sklearn.dummy import DummyRegressor
from sklearn.linear_model import LinearRegression
nha = pd.read_csv("gia_nha.csv")
y = nha["gia_ty"]
for cot in ["tuoi_nha", "so_tang", "dien_tich_m2"]:
X = nha[[cot]]
model = LinearRegression().fit(X, y)
moc = DummyRegressor().fit(X, y)
print(cot, round(model.score(X, y), 3), moc.score(X, y))KẾT QUẢ
tuoi_nha 0.0 0.0
so_tang 0.208 0.0
dien_tich_m2 0.26 0.0Model chỉ biết tuổi nhà đạt 0.0, ngang mốc: tuổi nhà một mình không nói gì về giá trong bảng này, và model như vậy không đáng giữ dù code chạy êm. Diện tích thì vượt mốc rõ. Bỏ trống strategy thì DummyRegressor đoán trung bình.
Các điểm ở đây là điểm train, đo trên chính bảng đã học, nên mốc trung bình luôn được đúng 0.0. Trên những căn model chưa thấy, mốc đó thường dưới 0 một chút, và so với 0 thay cho so với mốc là một lỗi hay gặp. Bài model đầu tiên so model với baseline trên phần dữ liệu cất riêng.
Kiểm tra nhanh
Sau
from sklearn.dummy import DummyRegressor,DummyRegressor(strategy="median").fit([[1], [2], [3], [4]], [2, 3, 4, 11]).predict([[9]])cho kết quả gì?array([5.])array([3.5])array([11.])
Sau
from sklearn.dummy import DummyClassifier,DummyClassifier(strategy="most_frequent").fit([[0]] * 5, ["nóng", "đá", "đá", "nóng", "đá"]).score([[0]] * 5, ["nóng", "đá", "đá", "nóng", "đá"])cho kết quả gì?0.60.41.0
Trong ví dụ so model với baseline, những câu nào đúng?
- Model chỉ dùng tuổi nhà không vượt mốc, nên chưa đáng dùng
- Mốc trung bình được đúng
0.0vì chấm trên chính bảng nó đã học - Model nào có điểm lớn hơn 0 trên dữ liệu mới là đã vượt mốc
- Đổi sang mốc trung vị thì model tuổi nhà sẽ vượt mốc
Fit
DummyClassifier()trên cột giágia_tyrồi gọiscore()thì sao?- Được tỉ lệ căn có giá bằng giá hay gặp nhất, một con số có ý nghĩa
- Báo lỗi
ValueError, vì giá là số liên tục mà bộ phân loại chỉ nhận lớp - Được đúng
0.0, nhưDummyRegressor
Bài tập
Đếm số dòng mà baseline đoán lệch nhiều
bang là một DataFrame có cột nhãn số cot_nhan, các cột còn lại là feature. Viết thân hàm so_can_lech(bang, cot_nhan, chien_luoc, nguong): fit DummyRegressor(strategy=chien_luoc) trên bang với X là bảng bỏ cột nhãn, dự đoán cho chính các dòng của bang, rồi đếm số dòng mà dự đoán lệch khỏi nhãn thật nhiều hơn nguong, lệch lên hay lệch xuống đều tính. Lệch đúng bằng nguong thì không đếm. chien_luoc là "mean" hoặc "median".
Hàm không sửa bang của nơi gọi.
Trả về: số dòng lệch nhiều, một int.
Ví dụ với bảng bảy căn ở dòng chấm đầu, "median" và nguong 1,5 cho 2.
import numpy as np
import pandas as pd
from sklearn.dummy import DummyRegressor
def so_can_lech(bang, cot_nhan, chien_luoc, nguong):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Baseline là cách đoán không học quy luật nào; model thật phải vượt nó mới đáng dùng.
DummyRegressor(strategy="mean")đoán trung bình củaycho mọi dòng;"median"đoán trung vị, hợp với nhãn lệch phải.DummyClassifier(strategy="most_frequent")luôn đoán lớp đông nhất; tỉ lệ đúng của nó bằng tỉ lệ lớp đó.Nhãn số đo dùng
DummyRegressor;DummyClassifiertrên nhãn liên tục báoValueErrorkhi chấm.Trên bảng đã học, mốc trung bình được đúng
0.0; trên dữ liệu mới, so model với điểm của mốc, không so với 0.
Câu hỏi thường gặp
Dummy classifier có strategy nào khác most_frequent không?
Có: "prior" (mặc định, đoán như most_frequent), "stratified" và "uniform" đoán ngẫu nhiên nên cần random_state=, "constant" luôn đoán một lớp bạn chỉ định. Mốc hay dùng nhất vẫn là lớp đông nhất, vì nó là cách lười nhất mà vẫn ăn điểm.
DummyRegressor có dùng để dự đoán thật không?
Không. Nó chỉ cho bạn con số để so. Khi chưa model nào vượt nó, câu trả lời trung thực cho người hỏi là "chưa đoán tốt hơn giá trung bình". Bài model đầu tiên đặt model và mốc cạnh nhau trên dữ liệu chưa thấy.
Baseline có bắt buộc phải là Dummy không?
Không. Cách đoán nào đang có sẵn trước khi bạn làm model đều dùng làm mốc được: ngưỡng nhiệt độ ở bài học máy là gì, hay model cũ đang chạy trên trang. Dummy được dùng nhiều vì bài nào cũng dựng được trong một dòng, và đổi qua lại với model thật chỉ là đổi tên class.
Chủ đề
Dữ liệu của bài
- Tải xuống
gia_nha.csv
CSV · 155.53 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.