Dự án Sóc Vàng (3/5): khi nào dừng tinh chỉnh model
Bài 3/5 · Chương 11
Dự án: dự đoán khách rời bỏ từ đầu đến cuối
- 6 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 6
Phần 3 của dự án Sóc Vàng trả lời câu hỏi khi nào dừng tinh chỉnh model: thử một model cây và hai mức phạt cho logistic regression, mỗi lần so bằng số người bắt được trong 300 cuộc gọi, rồi áp luật dừng đã viết từ phần 1. Cuối trang bạn tự viết hàm của luật dừng.
Cần biết trước: phần 1 của dự án, HistGradientBoosting, hyperparameter và nested cross validation.
Chương trình sẽ làm gì
Mốc hiện tại là cấu hình cuối của phần 2: chuẩn hóa rồi logistic regression trên 8 cột, bắt được 176 người. Vòng 2 có hai lần thử, lý do viết trước:
Lần | Thay đổi | Lý do |
|---|---|---|
6 |
| Rủi ro theo số ngày chưa mua có thể tăng theo bậc; cây tự tìm bậc, logistic chỉ vẽ được một đường |
7 | Chọn | Tám cột tương quan nhau; phạt mạnh hơn có thể làm hệ số ổn định hơn |
Cả hai là "thêm", nên cần bắt thêm ít nhất 5 người. Luật dừng của phần 1: một vòng không có lần nào được giữ thì dừng sau vòng đó. Vòng 1 (phần 2) có một lần giữ nên dự án đi tiếp; vòng 2 quyết định dự án có cần vòng 3 không. Chương trình đo hai lần thử, ghi hai dòng vào nhật ký với vong bằng 2, rồi đọc cột vong và quyet_dinh để áp luật dừng. Thứ tự dựng: đo model cây, đo hai mức phạt, rồi ghép lại cùng luật dừng.
Bước 1: Một model cây
HistGradientBoosting không cần chuẩn hóa: mỗi cây tự tìm điểm cắt trên từng cột. Ở đây chỉ 10 cây, mỗi cây sâu 3 tầng, bước học 0,3, để model nhỏ không học thuộc 2.400 dòng của mỗi lần học:
import numpy as np
import pandas as pd
from sklearn.ensemble import HistGradientBoostingClassifier
from sklearn.model_selection import cross_val_predict
hv = pd.read_csv("hoi_vien.csv")
X = hv.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"]
X = X.drop(columns=["tuoi", "chi_tieu_90_ngay_nghin"])
y = hv["roi_bo"].to_numpy()
cay = HistGradientBoostingClassifier(max_iter=10, max_depth=3,
learning_rate=0.3, random_state=0)
p = cross_val_predict(cay, X, y, method="predict_proba")[:, 1]
bat_duoc = int(y[np.argsort(-p, kind="stable")[:300]].sum())
print(bat_duoc, bat_duoc - 176)KẾT QUẢ
178 2Model cây bắt được 178 người, hơn mốc 2 người: dưới biên 5, bỏ. Hai người nằm gọn trong khoảng −5 tới +5 mà một cột rác tạo ra ở phần 1. Trên 200 cách chia khác nhau, model cây này trung bình kém logistic gần 5 người, và chỉ 4% số lần hơn được 5 người.
Bước 2: Hai mức phạt C
C là hyperparameter của logistic regression: C càng nhỏ, hệ số bị kéo về 0 càng mạnh. Hai giá trị cách nhau 10.000 lần, hai đầu của dải hay dùng, đủ để thấy model có nhạy với nó không:
import numpy as np
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_val_predict
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
hv = pd.read_csv("hoi_vien.csv")
X = hv.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"]
X = X.drop(columns=["tuoi", "chi_tieu_90_ngay_nghin"])
y = hv["roi_bo"].to_numpy()
for C in [0.001, 10]:
model = make_pipeline(StandardScaler(), LogisticRegression(C=C))
p = cross_val_predict(model, X, y, method="predict_proba")[:, 1]
print(C, int(y[np.argsort(-p, kind="stable")[:300]].sum()))KẾT QUẢ
0.001 177
10 176Từ 0,001 tới 10, số người bắt được gần như đứng yên. Đo thêm (ngoài trang) chín giá trị từ 0,001 tới 10: mọi giá trị cho từ 176 tới 178 người. Lần thử 7 ghi giá trị tốt nhất trong hai, và vẫn dưới biên: bỏ. Con số "tốt nhất trong hai" còn lạc quan hơn điểm thật, vì nó là số lớn nhất của nhiều lần đo; bài nested cross validation đo độ lạc quan đó. Khi mọi giá trị trong dải cho cùng một kết quả, tham số này không còn là chỗ để tìm thêm.
Bước 3: Ghép thành chương trình hoàn chỉnh
Chương trình dưới chạy hai lần thử của vòng 2, thêm hai dòng vào nhật ký, ghi lại nhat_ky.csv, rồi áp luật dừng trên hai cột vong và quyet_dinh:
import io
import numpy as np
import pandas as pd
from sklearn.ensemble import HistGradientBoostingClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_val_predict
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
nhat_ky = pd.read_csv(io.StringIO(
"lan,vong,thay_doi,vi_sao,bat_duoc,chenh,quyet_dinh\n"
"1,0,luật lâu chưa mua,đội làm được ngay,164,0,mốc\n"
"2,0,logistic 10 cột,model đơn giản nhất,175,11,giữ\n"
"3,1,thêm gia_han_dai,gói dài tự gia hạn,178,3,bỏ\n"
"4,1,thêm san_ma,chỉ ở vì mã giảm giá,170,-5,bỏ\n"
"5,1,\"bỏ tuổi, chi tiêu\",model gần như không dùng,176,1,giữ"))
hv = pd.read_csv("hoi_vien.csv")
X = hv.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"]
X = X.drop(columns=["tuoi", "chi_tieu_90_ngay_nghin"])
y = hv["roi_bo"].to_numpy()
def bat(model):
p = cross_val_predict(model, X, y, method="predict_proba")[:, 1]
return int(y[np.argsort(-p, kind="stable")[:300]].sum())
cay = HistGradientBoostingClassifier(max_iter=10, max_depth=3,
learning_rate=0.3, random_state=0)
phat = max(bat(make_pipeline(StandardScaler(), LogisticRegression(C=C)))
for C in [0.001, 10])
for thay_doi, vi_sao, n in [("model cây", "rủi ro tăng theo bậc", bat(cay)),
("chọn C", "cột tương quan nhau", phat)]:
quyet = "giữ" if n - 176 >= 5 else "bỏ" # 176: mốc của phần 2
nhat_ky.loc[len(nhat_ky)] = [len(nhat_ky) + 1, 2, thay_doi, vi_sao,
n, n - 176, quyet]
nhat_ky.to_csv("nhat_ky.csv", index=False)
nk = pd.read_csv("nhat_ky.csv")
print(nk.tail(2).drop(columns="vi_sao").to_string(index=False))
cuoi = nk[nk["vong"] == nk["vong"].iloc[-1]]
print("Dừng" if (cuoi["quyet_dinh"] == "bỏ").all() else "Thử vòng 3",
"sau", len(nk), "dòng nhật ký")KẾT QUẢ
lan vong thay_doi bat_duoc chenh quyet_dinh
6 2 model cây 178 2 bỏ
7 2 chọn C 177 1 bỏ
Dừng sau 7 dòng nhật kýVòng 2 không có lần nào được giữ, nên dự án dừng ở đây và chốt model của phần 2: logistic regression 8 cột, 176 người trong 300 cuộc gọi. Điều luật dừng nói không phải "model này tốt nhất có thể". Nó nói: với 300 cuộc gọi, một cải tiến nhỏ hơn khoảng 5 người không phân biệt được với nhiễu, và hai hướng lớn nhất còn lại đều nằm dưới mức đó. Muốn thấy những cải tiến nhỏ hơn, dự án cần thêm dữ liệu (nhiều kỳ hơn, nhiều hội viên hơn), không cần thêm lần thử.
Bài tập
Luật dừng theo vòng
Viết thân hàm nen_dung(vong, quyet_dinh). Hai list cùng độ dài, theo thứ tự chạy của nhật ký: vong[i] là số vòng của lần chạy thứ i (số nguyên, không giảm), quyet_dinh[i] là "mốc", "giữ" hay "bỏ". Vòng cuối là vòng của lần chạy cuối cùng. Hàm trả True khi mọi lần chạy của vòng cuối đều là "bỏ", và False trong mọi trường hợp khác, kể cả khi hai list rỗng. Dòng "mốc" không phải dòng bị bỏ. Hàm không sửa hai list được truyền vào.
Trả về: nên dừng hay không, một bool.
Ví dụ: với nhật ký sau phần 3, vong = [0, 0, 1, 1, 1, 2, 2] và quyet_dinh = ["mốc", "giữ", "bỏ", "bỏ", "giữ", "bỏ", "bỏ"], nen_dung(vong, quyet_dinh) trả True.
def nen_dung(vong, quyet_dinh):
pass # Viết thân hàm thay cho dòng nàyThử mở rộng
Các hướng dưới làm được ngay với chương trình trên:
Dán hàm
nen_dungcủa bài tập lên đầu chương trình, rồi thay hai dòng cuối bằngprint(nen_dung(list(nk["vong"]), list(nk["quyet_dinh"]))): kết quả phải làTrue.Thêm vào danh sách lần thử một model cây lớn hơn,
HistGradientBoostingClassifier(max_iter=50, max_depth=3, random_state=0)quabat, kèm lý do, và xem luật còn cho dừng không.Đổi
>= 5thành>= 2rồi chạy lại: model cây được giữ và dòng cuối in "Thử vòng 3". Mở lại khối cột rác của phần 1 để thấy biên 2 nằm trong khoảng nhiễu, tức luật mới giữ cả những thay đổi vô dụng.Phần 4, báo cáo kết quả machine learning, dùng model đã chốt để quyết định gọi bao nhiêu người.
Chủ đề
Dữ liệu của bài
- Tải xuống
hoi_vien.csv
CSV · 207.25 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.