Bỏ qua đến nội dung chính
Mục lục

RMSE, MAE, R² và MAPE: metric cho bài toán hồi quy

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 7/14 · Chương 3

Đánh giá model

  • 8 phút
  • Cơ bản
  • Python 3.14
  • Cập nhật

RMSE, MAE, R² và MAPE là bốn metric cho bài toán hồi quy, mỗi metric đo khoảng cách giữa giá thật và giá model đoán theo một cách. MAE và RMSE tính theo đơn vị của nhãn (ở đây là tỷ đồng), R² so model với cách đoán trung bình, MAPE tính theo phần trăm. Bạn chọn metric để báo sai số cho người dùng và để so hai model với nhau.

Cần biết trước: fit, predict, score, train_test_split() và hồi quy đơn.

MAE và RMSE: sai số theo tỷ đồng

Bốn căn nhà có giá thật 3, 5, 4 và 8 tỷ; model đoán 3,5; 4,5; 4 và 6 tỷ. Sai số từng căn là −0,5; 0,5; 0 và 2.

MAE=1n∑i=1n∣yi−y^i∣RMSE=1n∑i=1n(yi−y^i)2\text{MAE} = \frac{1}{n}\sum_{i=1}^{n} \lvert y_i - \hat{y}_i \rvert \qquad \text{RMSE} = \sqrt{\frac{1}{n}\sum_{i=1}^{n} (y_i - \hat{y}_i)^2}

Trong đó:

  • n (len(y_that)): số căn nhà được chấm.

  • yᵢ (y_that[i]): giá thật của căn thứ i.

  • ŷᵢ (y_doan[i]): giá model đoán cho căn thứ i.

  • MSE là phần dưới dấu căn của RMSE, trung bình bình phương sai số.

Tính tay: MAE = (0,5 + 0,5 + 0 + 2) / 4 = 0,75 tỷ. Bình phương sai số là 0,25; 0,25; 0; 4, nên MSE = 4,5 / 4 = 1,125 và RMSE = √1,125 ≈ 1,061 tỷ. NumPy rồi sklearn.metrics cho cùng các số:

python
import numpy as np
from sklearn.metrics import mean_absolute_error, mean_squared_error
from sklearn.metrics import root_mean_squared_error

y_that = np.array([3, 5, 4, 8])
y_doan = np.array([3.5, 4.5, 4, 6])
sai = y_that - y_doan
mse = (sai ** 2).mean()
print("Tay:", np.abs(sai).mean(), np.sqrt(mse).round(3))
print("MAE:", mean_absolute_error(y_that, y_doan))
print("MSE:", mean_squared_error(y_that, y_doan))
print("RMSE:", round(root_mean_squared_error(y_that, y_doan), 3))

KẾT QUẢ

Tay: 0.75 1.061
MAE: 0.75
MSE: 1.125
RMSE: 1.061

RMSE lớn hơn MAE vì bình phương phóng to căn sai 2 tỷ. Đổi 6] thành 8] rồi chạy lại: model đoán đúng căn cuối, dòng MAE in MAE: 0.25.

R²: so với model chỉ đoán trung bình

R² (hệ số xác định) đo model bớt được bao nhiêu phần sai số so với cách lấy giá trung bình của bảng đang chấm làm dự đoán cho mọi căn:

R2=1−∑i=1n(yi−y^i)2∑i=1n(yi−yˉ)2R^2 = 1 - \frac{\sum_{i=1}^{n} (y_i - \hat{y}_i)^2}{\sum_{i=1}^{n} (y_i - \bar{y})^2}

Trong đó:

  • ȳ (y_that.mean()): giá trung bình của các căn đang chấm.

  • Tử số: tổng bình phương sai số của model.

  • Mẫu số: tổng bình phương sai số khi dự đoán ȳ cho mọi căn.

Với bốn căn: ȳ = 5, mẫu số là 4 + 0 + 1 + 9 = 14, tử số là 4,5, nên R² = 1 − 4,5 / 14 ≈ 0,679. R² bằng 1 là đoán đúng hết; bằng 0 là ngang đoán trung bình; âm là tệ hơn cả cách đó. Trên bảng giá nhà (số giả lập của AIDev), so model tuyến tính với DummyRegressor, model chỉ đoán trung bình của tập train:

python
import pandas as pd
from sklearn.dummy import DummyRegressor
from sklearn.linear_model import LinearRegression
from sklearn.metrics import r2_score, root_mean_squared_error
from sklearn.model_selection import train_test_split

nha = pd.read_csv("gia_nha.csv")
cot = ["dien_tich_m2", "so_phong_ngu", "so_tang",
       "khoang_cach_trung_tam_km", "tuoi_nha", "gan_metro"]
X_train, X_test, y_train, y_test = train_test_split(
    nha[cot], nha["gia_ty"], test_size=0.25, random_state=0)
for model in [DummyRegressor(), LinearRegression()]:
    doan = model.fit(X_train, y_train).predict(X_test)
    print(type(model).__name__, round(r2_score(y_test, doan), 3),
          round(root_mean_squared_error(y_test, doan), 3))

KẾT QUẢ

DummyRegressor -0.004 5.227
LinearRegression 0.698 2.869

Model đoán trung bình có R² gần 0 và RMSE 5,2 tỷ; model tuyến tính đưa R² lên 0,698 và RMSE xuống 2,9 tỷ. Dummy không đúng bằng 0 vì nó đoán trung bình của tập train, còn R² so với trung bình của tập test.

MAPE: sai số theo phần trăm

MAPE chia sai số của mỗi căn cho giá thật của căn đó, nên căn rẻ sai 0,5 tỷ nặng hơn căn đắt sai 0,5 tỷ:

MAPE=1n∑i=1n∣yi−y^i∣∣yi∣\text{MAPE} = \frac{1}{n}\sum_{i=1}^{n} \frac{\lvert y_i - \hat{y}_i \rvert}{\lvert y_i \rvert}

Trong đó:

  • yᵢ, ŷᵢ: giá thật và giá đoán như trên; yᵢ không được bằng 0.

  • Kết quả là một tỉ lệ: 0,129 nghĩa là sai trung bình 12,9% giá căn nhà.

Bốn căn: (0,5/3 + 0,5/5 + 0/4 + 2/8) / 4 = (0,167 + 0,1 + 0 + 0,25) / 4 ≈ 0,129. mean_absolute_percentage_error trả đúng tỉ lệ đó, không nhân 100:

python
from sklearn.metrics import mean_absolute_percentage_error

y_that = [3, 5, 4, 8]
y_doan = [3.5, 4.5, 4, 6]
print(round(mean_absolute_percentage_error(y_that, y_doan), 3))

KẾT QUẢ

0.129

MAPE dễ nói với người không làm kỹ thuật, nhưng vỡ khi nhãn có giá trị bằng 0 hay rất gần 0, như số đơn của một ngày nghỉ.

Chọn metric theo đơn vị và sai số lớn

Một căn sai 20 tỷ làm RMSE tăng nhiều hơn MAE, vì bình phương. Trên bảng giá nhà, năm căn model đoán sai nhiều nhất cho thấy vì sao RMSE lớn hơn MAE đáng kể:

python
import numpy as np
import pandas as pd
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_absolute_error as mae
from sklearn.metrics import root_mean_squared_error as rmse
from sklearn.model_selection import train_test_split
nha = pd.read_csv("gia_nha.csv")
cot = ["dien_tich_m2", "so_phong_ngu", "so_tang",
       "khoang_cach_trung_tam_km", "tuoi_nha", "gan_metro"]
X_train, X_test, y_train, y_test = train_test_split(
    nha[cot], nha["gia_ty"], test_size=0.25, random_state=0)
doan = LinearRegression().fit(X_train, y_train).predict(X_test)
print("MAE:", round(mae(y_test, doan), 3))
print("RMSE:", round(rmse(y_test, doan), 3))
print(np.sort(np.abs(y_test - doan))[-5:].round(1))

KẾT QUẢ

MAE: 1.945
RMSE: 2.869
[10.9 11.6 17.9 22.7 22.9]

Báo MAE khi mọi tỷ sai đều đắt như nhau và bạn muốn một con số dễ đọc: người đăng tin nghe được rằng giá gợi ý cho căn của họ thường xê dịch khoảng 1,9 tỷ, lên hoặc xuống. Báo RMSE khi một lần sai lớn tệ hơn nhiều lần sai nhỏ cộng lại. R² dùng để so với mức đoán trung bình, MAPE khi người nghe quen phần trăm và nhãn không gần 0. Căn sai nặng nhất có giá 39,28 tỷ, cách trung tâm 1,4 km, mà model chỉ đoán 16,39 tỷ. Sai lớn cỡ đó là chỗ đáng xem lại: có thể là ngoại lai, tìm bằng phát hiện ngoại lai, hay dấu hiệu đường thẳng chưa hợp với giá nhà, bài log-target xử lý chuyện này.

Kiểm tra nhanh

  1. Sau from sklearn.metrics import mean_absolute_error, mean_absolute_error([2, 4], [3, 2]) cho kết quả gì?

    • 0.5
    • 2.5
    • 1.5
  2. Model giá nhà có RMSE 2,9 trên tập test. Đọc con số đó thế nào?

    • Sai số điển hình cỡ 2,9 tỷ đồng, sai lớn được tính nặng hơn
    • Model sai 2,9% giá mỗi căn
    • Model đúng 2,9 phần trên 10
  3. Những câu nào đúng về R²?

    • R² bằng 0 nghĩa là model ngang cách đoán mọi dòng bằng trung bình của chính bảng được chấm
    • R² có thể âm trên tập test
    • r2_score(y_doan, y_that) cho cùng kết quả với r2_score(y_that, y_doan)
    • R² tính theo tỷ đồng
  4. Bảng dự đoán số đơn mỗi ngày có nhiều ngày bán 0 đơn. Metric nào không nên dùng?

    • MAE
    • RMSE
    • MAPE
Đúng hết lần đầu +15 XP

Bài tập

Báo cáo ba metric hồi quy

y_that và y_doan là hai list số cùng độ dài: giá thật và giá model đoán. Viết thân hàm bao_cao_hoi_quy(y_that, y_doan) tính MAE, RMSE và R² bằng sklearn.metrics.

Hàm không sửa hai list của nơi gọi.

Trả về: một dict có ba khóa "MAE", "RMSE", "R2", mỗi giá trị là một float.

python
from sklearn.metrics import mean_absolute_error, r2_score
from sklearn.metrics import root_mean_squared_error

def bao_cao_hoi_quy(y_that, y_doan):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • MAE: trung bình sai số tuyệt đối, cùng đơn vị với nhãn, dễ đọc.

  • RMSE: căn bậc hai của MSE, nặng tay với sai số lớn.

  • R² = 1 − sai số của model / sai số của cách đoán trung bình; 0 là ngang đoán mọi dòng bằng trung bình của chính bảng được chấm.

  • MAPE: sai số chia giá thật, trả tỉ lệ, vỡ khi nhãn gần 0.

  • Hàm sklearn.metrics nhận giá thật trước; RMSE dùng root_mean_squared_error.

Câu hỏi thường gặp

RMSE và MAE nên báo cái nào?

Báo MAE khi người đọc cần một con số "trung bình lệch bao nhiêu". Báo RMSE khi sai lớn đắt hơn nhiều sai nhỏ, như dự trù kho. Báo cả hai cũng tốt, vì khoảng cách giữa hai số cho biết sai số dồn vào vài căn hay trải đều. Ở bảng giá nhà, RMSE 2,87 cao hơn MAE 1,95 chủ yếu do năm căn sai từ 11 đến 23 tỷ.

R² của model khác R² trong bài hồi quy đơn thế nào?

Cùng công thức. Bài hồi quy đơn tính R² trên chính dữ liệu đã khớp, nên nó không âm. Ở đây R² tính trên tập test, dữ liệu model chưa thấy, nên có thể âm.

MAPE 0,42 có nghĩa là model sai 42%?

Đúng: trung bình mỗi căn lệch 42% giá thật của nó, nhưng vài căn kéo con số lên. Model tuyến tính đoán giá âm cho 34 trong 625 căn test; căn rẻ nhất, 0,7 tỷ, được đoán −4,38 tỷ, tức sai 726%. Riêng 34 căn đó góp một phần tư tổng; bỏ chúng ra, MAPE còn 0,34. Giá âm là dấu hiệu đường thẳng chưa hợp với giá nhà lệch phải; bài log-target dự đoán log của giá để sửa đúng chỗ này.

Muốn chấm metric này trong cross validation thì viết thế nào?

Truyền tên metric vào scoring=, như "neg_root_mean_squared_error" hay "r2". Các metric sai số mang dấu âm vì scikit-learn luôn coi điểm cao hơn là tốt hơn; bài cross validation dùng scoring= như vậy.

Chủ đề

rmse

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập