RMSE, MAE, R² và MAPE: metric cho bài toán hồi quy
Bài 7/14 · Chương 3
Đánh giá model
- 8 phút
- Cơ bản
- Python 3.14
- Cập nhật
Trong bài này · 12
RMSE, MAE, R² và MAPE là bốn metric cho bài toán hồi quy, mỗi metric đo khoảng cách giữa giá thật và giá model đoán theo một cách. MAE và RMSE tính theo đơn vị của nhãn (ở đây là tỷ đồng), R² so model với cách đoán trung bình, MAPE tính theo phần trăm. Bạn chọn metric để báo sai số cho người dùng và để so hai model với nhau.
Cần biết trước: fit, predict, score, train_test_split() và hồi quy đơn.
MAE và RMSE: sai số theo tỷ đồng
Bốn căn nhà có giá thật 3, 5, 4 và 8 tỷ; model đoán 3,5; 4,5; 4 và 6 tỷ. Sai số từng căn là −0,5; 0,5; 0 và 2.
Trong đó:
n (
len(y_that)): số căn nhà được chấm.yᵢ (
y_that[i]): giá thật của căn thứ i.ŷᵢ (
y_doan[i]): giá model đoán cho căn thứ i.MSE là phần dưới dấu căn của RMSE, trung bình bình phương sai số.
Tính tay: MAE = (0,5 + 0,5 + 0 + 2) / 4 = 0,75 tỷ. Bình phương sai số là 0,25; 0,25; 0; 4, nên MSE = 4,5 / 4 = 1,125 và RMSE = √1,125 ≈ 1,061 tỷ. NumPy rồi sklearn.metrics cho cùng các số:
import numpy as np
from sklearn.metrics import mean_absolute_error, mean_squared_error
from sklearn.metrics import root_mean_squared_error
y_that = np.array([3, 5, 4, 8])
y_doan = np.array([3.5, 4.5, 4, 6])
sai = y_that - y_doan
mse = (sai ** 2).mean()
print("Tay:", np.abs(sai).mean(), np.sqrt(mse).round(3))
print("MAE:", mean_absolute_error(y_that, y_doan))
print("MSE:", mean_squared_error(y_that, y_doan))
print("RMSE:", round(root_mean_squared_error(y_that, y_doan), 3))KẾT QUẢ
Tay: 0.75 1.061
MAE: 0.75
MSE: 1.125
RMSE: 1.061RMSE lớn hơn MAE vì bình phương phóng to căn sai 2 tỷ. Đổi 6] thành 8] rồi chạy lại: model đoán đúng căn cuối, dòng MAE in MAE: 0.25.
R²: so với model chỉ đoán trung bình
R² (hệ số xác định) đo model bớt được bao nhiêu phần sai số so với cách lấy giá trung bình của bảng đang chấm làm dự đoán cho mọi căn:
Trong đó:
ȳ (
y_that.mean()): giá trung bình của các căn đang chấm.Tử số: tổng bình phương sai số của model.
Mẫu số: tổng bình phương sai số khi dự đoán ȳ cho mọi căn.
Với bốn căn: ȳ = 5, mẫu số là 4 + 0 + 1 + 9 = 14, tử số là 4,5, nên R² = 1 − 4,5 / 14 ≈ 0,679. R² bằng 1 là đoán đúng hết; bằng 0 là ngang đoán trung bình; âm là tệ hơn cả cách đó. Trên bảng giá nhà (số giả lập của AIDev), so model tuyến tính với DummyRegressor, model chỉ đoán trung bình của tập train:
import pandas as pd
from sklearn.dummy import DummyRegressor
from sklearn.linear_model import LinearRegression
from sklearn.metrics import r2_score, root_mean_squared_error
from sklearn.model_selection import train_test_split
nha = pd.read_csv("gia_nha.csv")
cot = ["dien_tich_m2", "so_phong_ngu", "so_tang",
"khoang_cach_trung_tam_km", "tuoi_nha", "gan_metro"]
X_train, X_test, y_train, y_test = train_test_split(
nha[cot], nha["gia_ty"], test_size=0.25, random_state=0)
for model in [DummyRegressor(), LinearRegression()]:
doan = model.fit(X_train, y_train).predict(X_test)
print(type(model).__name__, round(r2_score(y_test, doan), 3),
round(root_mean_squared_error(y_test, doan), 3))KẾT QUẢ
DummyRegressor -0.004 5.227
LinearRegression 0.698 2.869Model đoán trung bình có R² gần 0 và RMSE 5,2 tỷ; model tuyến tính đưa R² lên 0,698 và RMSE xuống 2,9 tỷ. Dummy không đúng bằng 0 vì nó đoán trung bình của tập train, còn R² so với trung bình của tập test.
MAPE: sai số theo phần trăm
MAPE chia sai số của mỗi căn cho giá thật của căn đó, nên căn rẻ sai 0,5 tỷ nặng hơn căn đắt sai 0,5 tỷ:
Trong đó:
yᵢ, ŷᵢ: giá thật và giá đoán như trên; yᵢ không được bằng 0.
Kết quả là một tỉ lệ: 0,129 nghĩa là sai trung bình 12,9% giá căn nhà.
Bốn căn: (0,5/3 + 0,5/5 + 0/4 + 2/8) / 4 = (0,167 + 0,1 + 0 + 0,25) / 4 ≈ 0,129. mean_absolute_percentage_error trả đúng tỉ lệ đó, không nhân 100:
from sklearn.metrics import mean_absolute_percentage_error
y_that = [3, 5, 4, 8]
y_doan = [3.5, 4.5, 4, 6]
print(round(mean_absolute_percentage_error(y_that, y_doan), 3))KẾT QUẢ
0.129MAPE dễ nói với người không làm kỹ thuật, nhưng vỡ khi nhãn có giá trị bằng 0 hay rất gần 0, như số đơn của một ngày nghỉ.
Chọn metric theo đơn vị và sai số lớn
Một căn sai 20 tỷ làm RMSE tăng nhiều hơn MAE, vì bình phương. Trên bảng giá nhà, năm căn model đoán sai nhiều nhất cho thấy vì sao RMSE lớn hơn MAE đáng kể:
import numpy as np
import pandas as pd
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_absolute_error as mae
from sklearn.metrics import root_mean_squared_error as rmse
from sklearn.model_selection import train_test_split
nha = pd.read_csv("gia_nha.csv")
cot = ["dien_tich_m2", "so_phong_ngu", "so_tang",
"khoang_cach_trung_tam_km", "tuoi_nha", "gan_metro"]
X_train, X_test, y_train, y_test = train_test_split(
nha[cot], nha["gia_ty"], test_size=0.25, random_state=0)
doan = LinearRegression().fit(X_train, y_train).predict(X_test)
print("MAE:", round(mae(y_test, doan), 3))
print("RMSE:", round(rmse(y_test, doan), 3))
print(np.sort(np.abs(y_test - doan))[-5:].round(1))KẾT QUẢ
MAE: 1.945
RMSE: 2.869
[10.9 11.6 17.9 22.7 22.9]Báo MAE khi mọi tỷ sai đều đắt như nhau và bạn muốn một con số dễ đọc: người đăng tin nghe được rằng giá gợi ý cho căn của họ thường xê dịch khoảng 1,9 tỷ, lên hoặc xuống. Báo RMSE khi một lần sai lớn tệ hơn nhiều lần sai nhỏ cộng lại. R² dùng để so với mức đoán trung bình, MAPE khi người nghe quen phần trăm và nhãn không gần 0. Căn sai nặng nhất có giá 39,28 tỷ, cách trung tâm 1,4 km, mà model chỉ đoán 16,39 tỷ. Sai lớn cỡ đó là chỗ đáng xem lại: có thể là ngoại lai, tìm bằng phát hiện ngoại lai, hay dấu hiệu đường thẳng chưa hợp với giá nhà, bài log-target xử lý chuyện này.
Kiểm tra nhanh
Sau
from sklearn.metrics import mean_absolute_error,mean_absolute_error([2, 4], [3, 2])cho kết quả gì?0.52.51.5
Model giá nhà có RMSE 2,9 trên tập test. Đọc con số đó thế nào?
- Sai số điển hình cỡ 2,9 tỷ đồng, sai lớn được tính nặng hơn
- Model sai 2,9% giá mỗi căn
- Model đúng 2,9 phần trên 10
Những câu nào đúng về R²?
- R² bằng 0 nghĩa là model ngang cách đoán mọi dòng bằng trung bình của chính bảng được chấm
- R² có thể âm trên tập test
r2_score(y_doan, y_that)cho cùng kết quả vớir2_score(y_that, y_doan)- R² tính theo tỷ đồng
Bảng dự đoán số đơn mỗi ngày có nhiều ngày bán 0 đơn. Metric nào không nên dùng?
- MAE
- RMSE
- MAPE
Bài tập
Báo cáo ba metric hồi quy
y_that và y_doan là hai list số cùng độ dài: giá thật và giá model đoán. Viết thân hàm bao_cao_hoi_quy(y_that, y_doan) tính MAE, RMSE và R² bằng sklearn.metrics.
Hàm không sửa hai list của nơi gọi.
Trả về: một dict có ba khóa "MAE", "RMSE", "R2", mỗi giá trị là một float.
from sklearn.metrics import mean_absolute_error, r2_score
from sklearn.metrics import root_mean_squared_error
def bao_cao_hoi_quy(y_that, y_doan):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
MAE: trung bình sai số tuyệt đối, cùng đơn vị với nhãn, dễ đọc.
RMSE: căn bậc hai của MSE, nặng tay với sai số lớn.
R² = 1 − sai số của model / sai số của cách đoán trung bình; 0 là ngang đoán mọi dòng bằng trung bình của chính bảng được chấm.
MAPE: sai số chia giá thật, trả tỉ lệ, vỡ khi nhãn gần 0.
Hàm
sklearn.metricsnhận giá thật trước; RMSE dùngroot_mean_squared_error.
Câu hỏi thường gặp
RMSE và MAE nên báo cái nào?
Báo MAE khi người đọc cần một con số "trung bình lệch bao nhiêu". Báo RMSE khi sai lớn đắt hơn nhiều sai nhỏ, như dự trù kho. Báo cả hai cũng tốt, vì khoảng cách giữa hai số cho biết sai số dồn vào vài căn hay trải đều. Ở bảng giá nhà, RMSE 2,87 cao hơn MAE 1,95 chủ yếu do năm căn sai từ 11 đến 23 tỷ.
R² của model khác R² trong bài hồi quy đơn thế nào?
Cùng công thức. Bài hồi quy đơn tính R² trên chính dữ liệu đã khớp, nên nó không âm. Ở đây R² tính trên tập test, dữ liệu model chưa thấy, nên có thể âm.
MAPE 0,42 có nghĩa là model sai 42%?
Đúng: trung bình mỗi căn lệch 42% giá thật của nó, nhưng vài căn kéo con số lên. Model tuyến tính đoán giá âm cho 34 trong 625 căn test; căn rẻ nhất, 0,7 tỷ, được đoán −4,38 tỷ, tức sai 726%. Riêng 34 căn đó góp một phần tư tổng; bỏ chúng ra, MAPE còn 0,34. Giá âm là dấu hiệu đường thẳng chưa hợp với giá nhà lệch phải; bài log-target dự đoán log của giá để sửa đúng chỗ này.
Muốn chấm metric này trong cross validation thì viết thế nào?
Truyền tên metric vào scoring=, như "neg_root_mean_squared_error" hay "r2". Các metric sai số mang dấu âm vì scikit-learn luôn coi điểm cao hơn là tốt hơn; bài cross validation dùng scoring= như vậy.
Chủ đề
Dữ liệu của bài
- Tải xuống
gia_nha.csv
CSV · 155.53 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.