Overfitting và underfitting: bias–variance bằng đa thức
Bài 11/14 · Chương 3
Đánh giá model
- 9 phút
- Cơ bản
- Python 3.14
- Cập nhật
Trong bài này · 12
Overfitting (quá khớp) là khi model học thuộc cả nhiễu của tập train: sai số train rất nhỏ nhưng sai số trên dữ liệu mới lớn. Underfitting (chưa khớp) là ngược lại, model quá đơn giản nên sai nhiều ở cả hai nơi. Bài này dùng đa thức làm thước đo độ phức tạp: bậc càng cao, model càng linh hoạt, và ta xem lúc nào sự linh hoạt đó bắt đầu phản tác dụng.
Cần biết trước: train, validation, test, RMSE và biểu đồ đường.
np.polyfit(): khớp đa thức bậc bất kỳ
Một quán nước mía (số giả lập của AIDev) ghi 60 ngày: nhiệt độ trưa và số ly bán. Số ly tăng theo nhiệt độ rồi chững lại khi trời quá nóng, cộng thêm nhiễu. Hai hàm NumPy làm hết phần tính toán: np.polyfit(x, y, bac) trả các hệ số của đa thức bậc bac có tổng bình phương sai số nhỏ nhất, còn np.polyval(he_so, x) thay x vào đa thức có các hệ số ấy. Nhiệt độ được đổi về khoảng −1 đến 1 để đa thức bậc cao tính ổn định. Ở mục này chỉ dùng 30 ngày đầu, và chỉ chấm trên chính 30 ngày đó:
import numpy as np
rng = np.random.default_rng(1)
t = rng.uniform(18, 38, 60)
ly = 60 + 6 * (t - 28) - 0.4 * (t - 28) ** 2 + rng.normal(0, 6, 60)
u = (t - 28) / 10
u_tr, y_tr = u[:30], ly[:30]
sai = []
for bac in range(1, 13):
he_so = np.polyfit(u_tr, y_tr, bac)
lech = np.polyval(he_so, u_tr) - y_tr
sai.append(round(float(np.sqrt(np.mean(lech ** 2))), 1))
print(sai)KẾT QUẢ
[14.4, 4.1, 4.1, 4.1, 3.8, 3.7, 3.6, 3.3, 3.1, 3.1, 3.1, 3.0]Số thứ k là RMSE của đa thức bậc k trên chính 30 ngày đã học (đơn vị: ly). Con số không bao giờ tăng khi thêm bậc, vì đa thức bậc 12 chứa sẵn mọi đa thức bậc thấp hơn (đặt các hệ số thừa bằng 0), nên nó ít nhất cũng khớp tốt bằng chúng. Nếu chỉ nhìn bảng này, bậc 12 là "tốt nhất". Mục sau cho thấy vì sao kết luận đó sai.
Chấm trên những ngày model chưa thấy
30 ngày sau làm tập validation. Vẽ RMSE trên train và trên validation theo bậc từ 1 đến 12:
import matplotlib.pyplot as plt
import numpy as np
rng = np.random.default_rng(1)
u, bac = (rng.uniform(18, 38, 60) - 28) / 10, range(1, 13)
ly = 60 + 60 * u - 40 * u ** 2 + rng.normal(0, 6, 60)
def rmse(b, s):
h = np.polyfit(u[:30], ly[:30], b)
return float(np.sqrt(np.mean((np.polyval(h, u[s]) - ly[s]) ** 2)))
tr, val = ([rmse(b, s) for b in bac] for s in (slice(0, 30), slice(30, 60)))
print([round(v, 1) for v in val])
fig, ax = plt.subplots(figsize=(7, 4))
ax.plot(bac, tr, "o-", bac, val, "o-")
ax.set(xlabel="bậc đa thức", ylabel="RMSE (ly)")
ax.legend(["train", "validation"])
plt.show()KẾT QUẢ
[15.0, 4.9, 4.9, 4.9, 5.6, 5.0, 5.0, 7.6, 10.2, 12.1, 11.7, 26.5]Ở bậc 1, hai đường cùng cao, quanh 15 ly: đó là underfitting. Từ bậc 2 tới bậc 7, validation nằm quanh 5 ly, chỉ hơn train chừng 1 ly. Sau đó hai đường rẽ hai ngả: train vẫn nhích xuống, còn validation lên 7,6 ở bậc 8 và 26,5 ở bậc 12, gần chín lần sai số train. Khe hở giữa hai đường là thứ cần đọc: khe hở lớn là overfitting, khe hở nhỏ mà cả hai cùng cao là underfitting. Đổi range(1, 13) thành range(1, 4) rồi chạy lại: dòng in ra là [15.0, 4.9, 4.9], và hình chỉ còn ba bậc đầu.
Hạt giống 1 không phải trường hợp đặc biệt. Trên 200 bộ dữ liệu sinh theo cùng cách (hạt giống 0 tới 199), bậc có RMSE validation thấp nhất là bậc 2 trong 85 lần, bậc 3 trong 45 lần; bậc 1 không thắng lần nào, và bậc 10 trở lên chỉ thắng 4 lần.
Nhìn ba đường cong
Vẽ 30 điểm train cùng đa thức bậc 1, 2 và 12:
import matplotlib.pyplot as plt
import numpy as np
rng = np.random.default_rng(1)
t = rng.uniform(18, 38, 60)
ly = 60 + 6 * (t - 28) - 0.4 * (t - 28) ** 2 + rng.normal(0, 6, 60)
u, x = (t - 28) / 10, np.linspace(-1, 1, 300)
fig, ax = plt.subplots(figsize=(7, 4))
ax.scatter(u[:30], ly[:30], color="black", label="30 ngày train")
for bac in [1, 2, 12]:
ax.plot(x, np.polyval(np.polyfit(u[:30], ly[:30], bac), x),
label=f"bậc {bac}")
ax.set(ylim=(0, 110), xlabel="nhiệt độ (đã đổi thang)", ylabel="số ly")
ax.legend()
plt.show()Đường bậc 1 dốc lên đều, nên đoán quá cao ở ngày nóng nhất và quá thấp ở giữa. Đường bậc 2 đi theo dáng vòm. Đường bậc 12 có mười một chỗ đổi hướng để đi gần từng điểm, nên ở chỗ thưa điểm và ở hai mép nó lượn theo nhiễu chứ không theo quy luật bán hàng.
Bias, variance và phần nhiễu
Hai từ này mô tả hai kiểu sai của một cách học, khi lặp lại trên nhiều bộ dữ liệu cùng loại. Bias là dự đoán trung bình lệch khỏi giá trị thật bao xa; variance là dự đoán dao động bao nhiêu giữa các bộ dữ liệu. Đoán số ly của một ngày mới ở 33 độ thì sai số bình phương kỳ vọng tách đúng thành ba phần:
Trong đó σ² là phương sai của nhiễu: ở đây nhiễu có độ lệch chuẩn 6 ly, nên σ² = 36 và không model nào bớt được phần này. Lấy 200 bộ 30 ngày, khớp mỗi bậc rồi đoán tại 33 độ, nơi giá trị thật là 80 ly:
import numpy as np
for bac in [1, 2, 8]:
doan = []
for hat in range(200):
rng = np.random.default_rng(hat)
t = rng.uniform(18, 38, 30)
ly = 60 + 6 * (t - 28) - 0.4 * (t - 28) ** 2 + rng.normal(0, 6, 30)
doan.append(np.polyval(np.polyfit((t - 28) / 10, ly, bac), 0.5))
bias2, var = (np.mean(doan) - 80) ** 2, np.var(doan)
print(bac, "bias²:", round(bias2, 1), " variance:", round(var, 1),
" tổng với nhiễu:", round(bias2 + var + 36, 1))KẾT QUẢ
1 bias²: 11.8 variance: 12.2 tổng với nhiễu: 60.0
2 bias²: 0.0 variance: 2.2 tổng với nhiễu: 38.3
8 bias²: 0.2 variance: 12.6 tổng với nhiễu: 48.8Bậc 1 thua vì bias: trung bình nó đoán thiếu khoảng 3,4 ly (căn của 11,8) ở 33 độ. Bậc 8 gần như không lệch, nhưng mỗi bộ 30 ngày cho một đáp số khác, nên variance cao gần bằng bậc 1. Bậc 2 có tổng 38,3, chỉ hơn phần nhiễu 36 một chút: gần sát mức tốt nhất có thể. Thêm độ phức tạp thường đổi bias lấy variance; chọn model là tìm chỗ tổng bias² + variance nhỏ nhất, vì phần nhiễu thì cố định. Bias ở đây cùng nghĩa với độ chệch của một ước lượng trong bài ước lượng điểm.
Kiểm tra nhanh
Sau
import numpy as npvàh = np.polyfit([0, 1, 2], [1, 3, 5], 1),float(np.polyval(h, 3).round(6))cho kết quả gì?6.07.02.0
Model có RMSE train 1,5 và RMSE validation 40. Đó là gì?
- Overfitting
- Underfitting
- Một model tốt
Những câu nào đúng về bias và variance?
- Đường thẳng khớp vào dữ liệu cong có bias lớn
- Đa thức bậc rất cao có variance lớn: mỗi bộ dữ liệu cho một đường khác hẳn
- Model đủ phức tạp đưa được sai số kỳ vọng về 0
- Variance đo sai số trên tập train
Vì sao RMSE trên train không bao giờ tăng khi tăng bậc đa thức?
- Vì
np.polyfitlàm tròn hệ số - Vì đa thức bậc cao chứa sẵn các đa thức bậc thấp hơn, nên khớp điểm train ít nhất là tốt bằng
- Vì dữ liệu train không có nhiễu
- Vì
Bài tập
Chọn bậc đa thức theo tập validation
x_train, y_train, x_val, y_val là bốn mảng NumPy số thực, cac_bac là list các bậc cần thử. Viết thân hàm chon_bac(x_train, y_train, x_val, y_val, cac_bac): với mỗi bậc, khớp đa thức bằng np.polyfit() trên tập train, tính RMSE trên tập validation, rồi chọn bậc có RMSE validation thấp nhất. Hàm không sửa cac_bac của nơi gọi.
Trả về: bậc được chọn, một int.
import numpy as np
def chon_bac(x_train, y_train, x_val, y_val, cac_bac):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
np.polyfit(x, y, bac)khớp đa thức theo bình phương sai số;np.polyval(he_so, x)tính giá trị.Underfitting: model quá đơn giản, sai số train và validation cùng lớn, bias lớn.
Overfitting: sai số train nhỏ, validation lớn hơn nhiều, variance lớn.
Sai số train chỉ giảm khi model phức tạp hơn; chọn độ phức tạp theo validation hay cross validation.
Sai số kỳ vọng = bias² + variance + nhiễu σ²; thêm độ phức tạp đổi bias lấy variance, còn phần nhiễu không bớt được.
Câu hỏi thường gặp
Làm sao giảm overfitting?
Dùng model đơn giản hơn (bậc thấp hơn), thêm dữ liệu train, hay phạt hệ số lớn bằng regularization như Ridge và Lasso. Thêm dữ liệu có giúp hay không thì bài learning curve đo được.
Model của tôi có điểm train và validation gần nhau nhưng đều thấp thì sao?
Đó là underfitting: model chưa đủ sức. Thử thêm feature, model linh hoạt hơn, hay đa thức bậc cao hơn. Thêm dữ liệu khi đó thường không giúp, vì model đã không khớp nổi dữ liệu đang có.
Trong scikit-learn làm hồi quy đa thức thế nào?
Dùng PolynomialFeatures(degree=…) để sinh các cột x, x², x³… rồi LinearRegression(), gói chung trong một pipeline. Bài PolynomialFeatures làm việc đó với nhiều feature và cả các cột tương tác.
Vì sao phải đổi nhiệt độ về khoảng −1 đến 1?
Với nhiệt độ 18 đến 38, bậc 12 phải tính 38¹², cỡ 10¹⁹, và np.polyfit mất độ chính xác. Đổi thang trước khi khớp giữ mọi lũy thừa trong khoảng −1 đến 1, giống việc chuẩn hóa feature trước model nhạy với thang đo.
Chủ đề
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.