Dự án Sóc Vàng (4/5): báo cáo kết quả machine learning
Bài 4/5 · Chương 11
Dự án: dự đoán khách rời bỏ từ đầu đến cuối
- 9 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 8
Phần 4 của dự án Sóc Vàng viết báo cáo kết quả machine learning cho người quyết định: đội nên gọi bao nhiêu người, và model làm được tới đâu trên kỳ sau. Bạn chia danh sách gọi thành từng nhóm cuộc gọi, mở file kỳ sau đúng một lần, so số người bắt được với số model dự kiến, rồi viết báo cáo ngắn; cuối trang bạn tự viết hàm đếm số người bắt được theo nhóm.
Cần biết trước: phần 1 của dự án, argsort và viết báo cáo.
Chương trình sẽ làm gì
Model đã chốt ở phần 3: chuẩn hóa rồi logistic regression trên 8 cột, bắt được 176 người trong 300 cuộc gọi. Còn hai câu hỏi trước khi giao cho đội chăm sóc hội viên. Thứ nhất, 300 cuộc gọi có đủ không: nếu xin thêm người gọi, những cuộc gọi thứ 301 trở đi còn trúng không. Đội đặt một trần cho đề: mỗi người sắp rời được gọi trúng không được tốn quá 60 nghìn. Thứ hai, model có giữ được kết quả trên hội viên mới không.
Thứ tự làm có một ranh giới cứng. Câu hỏi thứ nhất trả lời trên hoi_vien.csv, bằng xác suất từ model chưa thấy từng người như phần 1. Chỉ sau đó file kỳ sau mới được mở, và con số trên nó chỉ dùng để báo cáo, không đổi model hay kế hoạch. Thứ tự dựng: đo từng nhóm cuộc gọi, mở kỳ sau, so dự kiến với thật theo nhóm, viết báo cáo, rồi ghép lại.
Bước 1: Từng nhóm 100 cuộc gọi
Xếp 3.000 hội viên theo xác suất giảm dần, cắt thành từng nhóm 100 người, rồi đếm số người sắp rời trong mỗi nhóm. Mỗi nhóm tốn 100 × 20 nghìn:
import numpy as np
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_val_predict
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
hv = pd.read_csv("hoi_vien.csv")
X = hv.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"]
X = X.drop(columns=["tuoi", "chi_tieu_90_ngay_nghin"])
y = hv["roi_bo"].to_numpy()
model = make_pipeline(StandardScaler(), LogisticRegression())
p = cross_val_predict(model, X, y, method="predict_proba")[:, 1]
nhan = y[np.argsort(-p, kind="stable")]
nhom = [int(nhan[i:i + 100].sum()) for i in range(0, 600, 100)]
print(nhom, [round(100 * 20 / n, 1) for n in nhom])KẾT QUẢ
[72, 56, 48, 43, 43, 42] [27.8, 35.7, 41.7, 46.5, 46.5, 47.6]Nhóm đầu trúng nhiều nhất, rồi giảm dần, như mong đợi. Ba nhóm đầu là 300 cuộc gọi hiện có. Ba nhóm sau vẫn còn dưới trần 60 nghìn mỗi người trúng. Kế hoạch viết ra trước khi mở kỳ sau: nếu đội xin được thêm người, gọi tới 600 người vẫn đáng, miễn kỳ sau giữ được mức này.
Bước 2: Mở file kỳ sau một lần
Kế hoạch đã chốt. Giờ mới học model trên cả hoi_vien.csv và chấm 800 hội viên của kỳ sau. Kỳ sau chỉ có 800 người, nên sức chứa tương ứng là một phần mười, 80 cuộc gọi. So với luật "lâu chưa mua nhất" và với gọi ngẫu nhiên:
import numpy as np
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
cot = ["tu_dong_gia_han", "so_thang_su_dung", "so_lan_dang_nhap_30_ngay",
"so_don_90_ngay", "so_ngay_tu_lan_mua_cuoi", "so_lan_khieu_nai",
"ti_le_giao_tre", "ti_le_dung_ma_giam"]
hv, ks = pd.read_csv("hoi_vien.csv"), pd.read_csv("hoi_vien_ky_sau.csv")
model = make_pipeline(StandardScaler(), LogisticRegression())
ps = model.fit(hv[cot], hv["roi_bo"]).predict_proba(ks[cot])[:, 1]
ys = ks["roi_bo"].to_numpy()
luat = np.argsort(-ks["so_ngay_tu_lan_mua_cuoi"].to_numpy(), kind="stable")
print(int(ys[np.argsort(-ps, kind="stable")[:80]].sum()),
int(ys[luat[:80]].sum()), round(80 * ys.mean(), 1), ys.mean())KẾT QUẢ
40 38 13.5 0.16875Model bắt được 40 người trong 80 cuộc gọi, luật bắt được 38, gọi ngẫu nhiên khoảng 13,5. Trên dữ liệu học, model hơn luật 11 người trong 300 cuộc gọi; trên kỳ sau chỉ hơn 2 trong 80, tức phần hơn đã mỏng đi. Kỳ sau cũng có ít người rời bỏ hơn: 16,9% so với 19,8%. Hai con số này đi vào báo cáo như chúng là.
Bước 3: Dự kiến so với thật, theo nhóm
Cộng xác suất của mọi người trong một nhóm thì ra số người model dự kiến bắt được ở nhóm đó. Kỳ sau có nhãn thật, nên so được hai con số cho từng nhóm 80 cuộc gọi:
import numpy as np
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
hv, ks = pd.read_csv("hoi_vien.csv"), pd.read_csv("hoi_vien_ky_sau.csv")
cot = list(hv.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"].columns)
cot = [c for c in cot if c not in ("tuoi", "chi_tieu_90_ngay_nghin")]
model = make_pipeline(StandardScaler(), LogisticRegression())
ps = model.fit(hv[cot], hv["roi_bo"]).predict_proba(ks[cot])[:, 1]
xep = np.argsort(-ps, kind="stable")
for i in range(0, 320, 80):
nhom = xep[i:i + 80]
that = int(ks["roi_bo"].to_numpy()[nhom].sum())
print(i + 1, round(ps[nhom].sum(), 1), that, round(80 * 20 / that, 1))KẾT QUẢ
1 49.9 40 40.0
81 27.9 24 66.7
161 19.9 20 80.0
241 15.2 8 200.0Ở nhóm đầu, model dự kiến khoảng 50 người, thật chỉ có 40: model tự tin hơn thực tế, vì nó học ở kỳ có nhiều người rời bỏ hơn. Nhóm thứ hai, cuộc gọi 81 tới 160, trúng 24 người, tức khoảng 67 nghìn mỗi người trúng: đã vượt trần 60. Kế hoạch "gọi tới 600" của bước 1 không giữ được trên kỳ sau. 800 hội viên là một mẫu nhỏ, mỗi nhóm chỉ 80 người, nên con số từng nhóm còn dao động nhiều; báo cáo nói điều đó.
Bước 4: Viết báo cáo ngắn
Báo cáo dành cho trưởng nhóm chăm sóc hội viên, người không đọc code. Mỗi câu một ý, số viết kiểu Việt Nam (dấu phẩy thập phân), không tên cột, không thuật ngữ. Khối dưới đặt số vào chữ, để kỳ sau chỉ cần đổi số:
so = {"goi": 80, "trung": 40, "luat": 38, "ngau_nhien": 13.5,
"nhom2": 24, "tran": 60, "ti_le": 16.9, "ti_le_cu": 19.8}
viet = lambda x: f"{x:,.1f}".replace(".", ",").removesuffix(",0")
chi_phi = viet(so["goi"] * 20 / so["trung"])
print(f"Kết quả: gọi {so['goi']} người đầu danh sách trúng {so['trung']} "
f"người sắp rời, {chi_phi} nghìn đồng mỗi người trúng.")
print(f"So sánh: gọi người lâu chưa mua nhất trúng {so['luat']}, "
f"gọi ngẫu nhiên khoảng {viet(so['ngau_nhien'])}.")
print("Khuyến nghị: gọi theo danh sách, giữ sức chứa hiện tại; "
f"nhóm thứ hai chỉ trúng {so['nhom2']}, quá trần {so['tran']} nghìn.")
print(f"Giới hạn: kỳ này {viet(so['ti_le'])}% rời bỏ, kỳ trước "
f"{viet(so['ti_le_cu'])}%; số liệu giả lập; đo lại sau mỗi kỳ.")KẾT QUẢ
Kết quả: gọi 80 người đầu danh sách trúng 40 người sắp rời, 40 nghìn đồng mỗi người trúng.
So sánh: gọi người lâu chưa mua nhất trúng 38, gọi ngẫu nhiên khoảng 13,5.
Khuyến nghị: gọi theo danh sách, giữ sức chứa hiện tại; nhóm thứ hai chỉ trúng 24, quá trần 60 nghìn.
Giới hạn: kỳ này 16,9% rời bỏ, kỳ trước 19,8%; số liệu giả lập; đo lại sau mỗi kỳ.Bốn dòng, bốn câu trả lời: được gì, so với cách cũ ra sao, nên làm gì, tin tới đâu. Câu "giữ sức chứa hiện tại" đảo ngược kế hoạch của bước 1, và báo cáo nói thẳng như vậy: kế hoạch dựa trên dữ liệu cũ, kỳ sau là phép thử, và phép thử không ủng hộ việc gọi thêm. Hàm viet in 13.5 thành "13,5" và 50.0 thành "50".
Bước 5: Ghép thành chương trình hoàn chỉnh
Chương trình dưới làm lại cả chuỗi theo đúng thứ tự: đo từng nhóm trên hoi_vien.csv, rồi mới mở kỳ sau một lần, so dự kiến với thật, thêm một dòng vào nhật ký và in các con số của báo cáo:
import io
import numpy as np
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_val_predict
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
hv, ks = pd.read_csv("hoi_vien.csv"), pd.read_csv("hoi_vien_ky_sau.csv")
cot = list(hv.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"].columns)
cot = [c for c in cot if c not in ("tuoi", "chi_tieu_90_ngay_nghin")]
y, ys = hv["roi_bo"].to_numpy(), ks["roi_bo"].to_numpy()
model = make_pipeline(StandardScaler(), LogisticRegression())
p = cross_val_predict(model, hv[cot], y, method="predict_proba")[:, 1]
nhan = y[np.argsort(-p, kind="stable")]
nhom = [int(nhan[i:i + 100].sum()) for i in range(0, 600, 100)]
print("Nhóm 100 cuộc gọi:", nhom)
ps = model.fit(hv[cot], y).predict_proba(ks[cot])[:, 1]
xep = np.argsort(-ps, kind="stable")
luat = np.argsort(-ks["so_ngay_tu_lan_mua_cuoi"].to_numpy(), kind="stable")
trung, theo_luat = int(ys[xep[:80]].sum()), int(ys[luat[:80]].sum())
for i in range(0, 320, 80):
that = int(ys[xep[i:i + 80]].sum())
print(i + 1, round(ps[xep[i:i + 80]].sum(), 1), that,
round(80 * 20 / that, 1))
nhat_ky = pd.read_csv(io.StringIO(
"lan,vong,thay_doi,vi_sao,bat_duoc,chenh,quyet_dinh\n"
"7,2,chọn C,cột tương quan nhau,177,1,bỏ"))
nhat_ky.loc[1] = [8, 3, "chấm kỳ sau một lần", "kế hoạch đã chốt",
trung, trung - theo_luat, "chấm"]
print(nhat_ky.drop(columns="vi_sao").to_string(index=False))
print("Kỳ sau:", trung, "trúng /", theo_luat, "theo luật,",
round(ys.mean() * 100, 1), "% rời bỏ")KẾT QUẢ
Nhóm 100 cuộc gọi: [72, 56, 48, 43, 43, 42]
1 49.9 40 40.0
81 27.9 24 66.7
161 19.9 20 80.0
241 15.2 8 200.0
lan vong thay_doi bat_duoc chenh quyet_dinh
7 2 chọn C 177 1 bỏ
8 3 chấm kỳ sau một lần 40 2 chấm
Kỳ sau: 40 trúng / 38 theo luật, 16.9 % rời bỏMọi con số của báo cáo ở bước 4 nằm trong các dòng in này. Dòng 8 của nhật ký ghi lần mở kỳ sau: cột chenh lúc này so với luật trên kỳ sau, và quyết định là "chấm", vì không có gì để giữ hay bỏ nữa. Trên trang, nhật ký chỉ dựng lại dòng 7 cho gọn; trên máy, đọc nhat_ky.csv đủ 7 dòng, thêm dòng 8 rồi ghi lại bằng to_csv. Phần 5 đóng gói model để đội tự lập danh sách mỗi kỳ.
Bài tập
Số người bắt được theo từng nhóm cuộc gọi
Tách phần đếm theo nhóm của chương trình thành một hàm không cần NumPy. xac_suat và roi_bo là hai list cùng độ dài: xác suất model cho từng hội viên, và nhãn thật (0 hoặc 1). Viết thân hàm bat_theo_nhom(xac_suat, roi_bo, co_nhom):
xếp hội viên theo xác suất giảm dần; hai người bằng xác suất thì người đứng trước trong list đi trước;
cắt danh sách đã xếp thành từng nhóm
co_nhomngười liên tiếp; nhóm cuối có thể ít hơn;trả số người rời bỏ trong từng nhóm, theo thứ tự nhóm.
List rỗng thì trả list rỗng. Hàm không sửa hai list được truyền vào.
Trả về: số người rời bỏ của từng nhóm, một list.
Ví dụ: sáu hội viên có xác suất [0.2, 0.9, 0.5, 0.9, 0.1, 0.6] và nhãn [0, 1, 0, 0, 0, 1]; bat_theo_nhom(xac_suat, roi_bo, 2) trả [1, 1, 0].
def bat_theo_nhom(xac_suat, roi_bo, co_nhom):
pass # Viết thân hàm thay cho dòng nàyThử mở rộng
Các hướng dưới làm được ngay với chương trình trên:
Dán hàm của bài tập lên đầu chương trình và in
bat_theo_nhom(list(p), list(y), 100)[:6]: kết quả phải trùng dòng "Nhóm 100 cuộc gọi".Ở bước 4, đổi
"tran": 60thành 70 rồi viết lại câu khuyến nghị: nhóm thứ hai (66,7 nghìn mỗi người trúng) giờ nằm trong trần, nên khuyến nghị thành gọi thêm 80 người.Thêm vào vòng lặp kỳ sau một cột đếm theo luật "lâu chưa mua nhất" cho từng nhóm (
ys[luat[i:i + 80]].sum()), để thấy model hơn luật ở nhóm nào.Phần 5, đóng gói model machine learning, lưu model này để người khác chạy lại được.
Chủ đề
Dữ liệu của bài
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.