Learning curve: thêm dữ liệu có giúp model không?
Bài 12/14 · Chương 3
Đánh giá model
- 8 phút
- Cơ bản
- Python 3.14
- Cập nhật
Trong bài này · 11
Learning curve (đường cong học) là biểu đồ điểm của model trên tập train và trên phần validation theo số dòng dùng để học. Nó trả lời một câu hỏi tốn tiền: nên đi thu thêm dữ liệu, hay nên sửa chính model trước. Trong scikit-learn, learning_curve() tính các điểm đó bằng cross validation ở từng cỡ tập train.
Cần biết trước: overfitting và underfitting, cross validation và lấy mẫu bằng sample().
learning_curve(): điểm theo cỡ tập train
Model của bài là cây quyết định, model sẽ học kỹ ở chương sau; ở đây chỉ cần biết max_depth giới hạn số tầng câu hỏi của cây, nên max_depth nhỏ là model đơn giản. learning_curve(model, X, y, train_sizes=…, cv=…) cắt phần học của mỗi fold thành các cỡ từ 10% tới 100%, fit ở từng cỡ, rồi chấm cả trên phần đã học lẫn trên phần validation. Kết quả là ba mảng: số dòng train thật sự dùng, điểm train và điểm validation; điểm xếp thành bảng có một hàng cho mỗi cỡ và một cột cho mỗi fold. Để chạy nhanh, lấy mẫu 1.000 khách của bảng khách hàng Sóc Vàng (số giả lập của AIDev) và dùng cv=3, tức 3 fold giữ tỉ lệ nhãn:
import pandas as pd
from sklearn.model_selection import learning_curve
from sklearn.tree import DecisionTreeClassifier
kh = pd.read_csv("hoi_vien.csv").sample(1000, random_state=0)
y = kh.pop("roi_bo")
X = kh.select_dtypes("number").drop(
columns=["diem_danh_gia_tb", "hoi_cach_huy_sau_moc"])
cay = DecisionTreeClassifier(max_depth=3, random_state=0)
so_dong, tr, val = learning_curve(cay, X, y, cv=3, scoring="roc_auc",
train_sizes=[0.1, 0.25, 0.5, 0.75, 1.0])
print(so_dong)
print("train:", tr.mean(axis=1).round(3))
print("validation:", val.mean(axis=1).round(3))KẾT QUẢ
[ 66 166 333 499 666]
train: [0.901 0.835 0.759 0.764 0.74 ]
validation: [0.612 0.607 0.682 0.697 0.717]Với 3 fold, mỗi lần phần học có 666 dòng, nên 10% là 66 dòng. Điểm là AUC. Ở 66 dòng, cây ba tầng vẫn đủ sức khớp sát tập train (AUC 0,90) mà đoán khách mới kém (0,61). Càng nhiều dòng, khoảng cách càng hẹp: ở 666 dòng chỉ còn 0,74 so với 0,717. Điều đáng chú ý là đường validation vẫn đang đi lên ở hai cỡ cuối, từ 0,697 lên 0,717. Đổi train_sizes=[0.1, 0.25, 0.5, 0.75, 1.0] thành train_sizes=[0.5, 1.0] rồi chạy lại: chỉ còn hai cỡ, dòng đầu in [333 666].
Vẽ bằng LearningCurveDisplay
LearningCurveDisplay.from_estimator() gọi learning_curve() rồi vẽ luôn hai đường với dải mờ là độ lệch giữa các fold. Lần này bỏ giới hạn độ sâu, để cây hỏi tới khi mỗi lá chỉ còn một nhãn:
import matplotlib.pyplot as plt
import pandas as pd
from sklearn.model_selection import LearningCurveDisplay
from sklearn.tree import DecisionTreeClassifier
kh = pd.read_csv("hoi_vien.csv").sample(1000, random_state=0)
y = kh.pop("roi_bo")
X = kh.select_dtypes("number").drop(
columns=["diem_danh_gia_tb", "hoi_cach_huy_sau_moc"])
fig, ax = plt.subplots(figsize=(6, 3.6), layout="constrained")
LearningCurveDisplay.from_estimator(
DecisionTreeClassifier(random_state=0), X, y, ax=ax, cv=3,
scoring="roc_auc", train_sizes=[0.1, 0.25, 0.5, 0.75, 1.0])
ax.set(xlabel="số dòng train", ylabel="AUC", title="Cây không giới hạn độ sâu")
plt.show()Trong hình, đường "Test" là điểm trên phần validation của từng fold. Cây đạt AUC train bằng 1 ở mọi cỡ, nghĩa là nó nhớ đúng từng khách đã học, còn AUC validation chỉ quanh 0,55 đến 0,6. Khe hở gần 0,4 không khép lại khi thêm dòng.
Chẩn đoán: giảm độ phức tạp, thêm dữ liệu hay đổi model
Đọc điểm ở cỡ lớn nhất theo thứ tự sau:
Train hơn validation rất xa, như cây không giới hạn: overfitting. Việc nên thử trước là giảm độ phức tạp (giới hạn độ sâu, bớt feature, thêm điều chuẩn), vì nó rẻ và có hiệu quả ngay.
Khoảng cách đã hẹp nhưng validation còn đi lên ở các cỡ cuối, như cây ba tầng: thêm dữ liệu nhiều khả năng còn giúp.
Khoảng cách hẹp và validation đã đi ngang dưới mức cần: model đã học hết sức của nó. Dữ liệu thêm khó giúp; cần feature mới hay một loại model khác.
Kiểm chứng hai ý đầu trên cả bảng: chấm hai cây với 1.000 và 3.000 khách.
import pandas as pd
from sklearn.model_selection import cross_val_score
from sklearn.tree import DecisionTreeClassifier
kh = pd.read_csv("hoi_vien.csv")
y = kh.pop("roi_bo")
X = kh.select_dtypes("number").drop(
columns=["diem_danh_gia_tb", "hoi_cach_huy_sau_moc"])
for sau in [None, 3]:
for n in [1000, 3000]:
cay = DecisionTreeClassifier(max_depth=sau, random_state=0)
d = cross_val_score(cay, X[:n], y[:n], cv=3, scoring="roc_auc")
print("max_depth", sau, "-", n, "khách:", round(d.mean(), 3))KẾT QUẢ
max_depth None - 1000 khách: 0.571
max_depth None - 3000 khách: 0.578
max_depth 3 - 1000 khách: 0.694
max_depth 3 - 3000 khách: 0.734Với cây không giới hạn, gấp ba dữ liệu chỉ thêm 0,007 AUC; giữ 1.000 khách mà giới hạn ba tầng thì thêm 0,123. Sau khi đã giảm độ phức tạp, dữ liệu mới có giá trị: cây ba tầng lên 0,734 khi có 3.000 khách, đúng như đường validation còn đi lên ở mục đầu báo trước. Thứ tự đó cũng là thứ tự chi tiền: sửa model trước, rồi mới mua thêm dữ liệu.
Kiểm tra nhanh
learning_curve()chạy với 5 cỡ trongtrain_sizesvàcv3 fold. Mảng điểm validation có hình gì?(3, 5)(5, 3)(15,)
LearningCurveDisplay.from_estimator()kháclearning_curve()ở điểm nào?- Nó không cần
cv - Nó gọi
learning_curve()rồi vẽ luôn hai đường lên mộtax - Nó chỉ chấm trên tập train
- Nó không cần
Những tình huống nào nói rằng thêm dữ liệu khó giúp?
- Hai đường đã gặp nhau và đi ngang ở mức thấp
- Điểm validation gần như không đổi từ 50% lên 100% số dòng, và sát điểm train
- Khoảng cách đã hẹp và đường validation vẫn đang đi lên
- Điểm validation tăng đều qua mọi cỡ
Cây quyết định có AUC train 1,0 và AUC validation khoảng 0,6 ở mọi cỡ. Việc nên thử trước là gì?
- Thêm feature cho cây phức tạp hơn
- Giảm độ phức tạp, như giới hạn độ sâu của cây
- Đổi
scoringsangaccuracy
Bài tập
Đọc learning curve thành lời khuyên
diem_train và diem_val là hai list điểm trung bình theo cỡ tập train tăng dần (như tr.mean(axis=1) và val.mean(axis=1)), mỗi list ít nhất hai phần tử; muc_can là điểm validation tối thiểu cần đạt. Viết thân hàm chan_doan(diem_train, diem_val, muc_can) xét theo thứ tự:
train hơn validation ở cỡ lớn nhất quá
0.1: trả"giảm độ phức tạp";nếu không, validation ở cỡ lớn nhất từ
muc_cantrở lên: trả"đủ tốt";nếu không, validation cỡ lớn nhất hơn cỡ kề trước quá
0.01: trả"thêm dữ liệu";còn lại: trả
"đổi model".
Hàm không sửa hai list của nơi gọi.
Trả về: một trong bốn lời khuyên trên, một str.
Ví dụ: chan_doan([0.9, 0.8], [0.7, 0.75], 0.8) trả "thêm dữ liệu".
def chan_doan(diem_train, diem_val, muc_can):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
learning_curve()trả số dòng train, điểm train và điểm validation, mỗi hàng một cỡ, mỗi cột một fold.LearningCurveDisplay.from_estimator()tính và vẽ hai đường cùng dải độ lệch giữa các fold.Khoảng cách lớn: overfitting; giảm độ phức tạp trước khi mua thêm dữ liệu.
Khoảng cách hẹp mà validation còn đi lên: thêm dữ liệu còn giúp; đã đi ngang ở mức thấp: cần feature hay model khác.
Với lớp dương hiếm, vẽ learning curve bằng
scoring="roc_auc"hay"f1", không bằng accuracy.
Câu hỏi thường gặp
Learning curve và validation curve khác nhau thế nào?
Learning curve đặt số dòng train trên trục ngang; validation curve đặt một tham số của model, như độ sâu của cây hay bậc đa thức, trên trục ngang. Biểu đồ sai số theo bậc trong bài overfitting và underfitting chính là một validation curve.
Vì sao điểm train giảm khi thêm dữ liệu?
Ít dòng thì model dễ khớp sát từng dòng; càng nhiều dòng, càng khó khớp tất cả cùng lúc, nên điểm train đi xuống tới mức thật của model. Cây không giới hạn độ sâu là ngoại lệ: nó luôn khớp hết, nên điểm train đứng yên ở 1.
Bảng lớn thì vẽ learning curve có lâu không?
Mỗi cỡ là một lượt cross validation, nên tổng thời gian khoảng số cỡ nhân số fold lần fit. Lấy mẫu vài nghìn dòng bằng sample(), dùng 3 fold và 4 đến 5 cỡ thường đủ để thấy dáng hai đường.
Có cần pipeline khi vẽ learning curve không?
Có, nếu có bước tiền xử lý học từ dữ liệu như chuẩn hóa. Pipeline bảo đảm ở mỗi cỡ và mỗi fold, scaler chỉ học trên phần train, như bài pipeline giải thích. Cây quyết định của bài không cần chuẩn hóa nên không có bước đó.
Chủ đề
Dữ liệu của bài
- Tải xuống
hoi_vien.csv
CSV · 207.25 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.