Dự án logistic regression: danh sách khách cần giữ chân
Bài 11/11 · Chương 5
Phân loại: logistic regression, KNN, SVM, Naive Bayes
- 10 phút
- Cơ bản
- Python 3.14
- Cập nhật
Trong bài này · 8
Dự án logistic regression này kiểm một thói quen của đội chăm sóc khách Sóc Vàng: họ đang gọi trước những thành viên lâu không mua nhất, và câu hỏi là xếp theo xác suất của model thì với cùng số cuộc gọi có bắt thêm được người sắp bỏ gói không. Bạn sẽ làm qua năm bước, từ đọc report, so hai cách xếp bằng cross-validation, chọn độ dài danh sách, tới mở tập test một lần để báo kết quả, rồi cuối trang tự viết hàm đếm số ca model bắt thêm.
Cần biết trước: logistic regression, classification report và cross-validation.
Chương trình sẽ làm gì
Nhận vào: file hoi_vien.csv, số giả lập của AIDev gồm 3.000 thành viên gói Sóc Vàng, mười cột hành vi ghi trước mốc chụp dữ liệu và nhãn roi_bo là 1 khi khách bỏ gói trong 60 ngày sau mốc. Luật đang dùng chỉ cần một cột: so_ngay_tu_lan_mua_cuoi, ai lâu không mua nhất thì gọi trước. Chương trình chia 75/25: 2.250 khách để học và chọn, 750 khách để báo kết quả. Mỗi dòng là một thành viên khác nhau chụp cùng một mốc, nên chia ngẫu nhiên là hợp lý; bảng có nhiều dòng của cùng một người hay theo thời gian thì xem bài data leakage trước khi chia.
Xử lý và đưa ra: một vòng lặp qua các fold cho điểm ngoài fold của từng khách train, một vòng lặp qua các độ dài danh sách in tỉ lệ trúng của hai cách xếp, rồi trên tập test in số người trúng của mỗi cách và bảng so hai nhóm khách chỉ một cách chọn. Thứ tự dựng: report, so hai cách xếp trên phần train, chọn độ dài, mở tập test, xem nhóm khách khác nhau, cuối cùng ghép thành một chương trình.
Bước 1: Fit model và đọc classification report
Chia cả bảng 75/25 có stratify để hai phần giữ cùng tỉ lệ bỏ gói. cot là tên mười cột từ tu_dong_gia_han tới ti_le_dung_ma_giam. Fit pipeline chuẩn hóa cộng logistic regression trên phần train:
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import classification_report, recall_score
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
hv = pd.read_csv("hoi_vien.csv")
tr, te = train_test_split(hv, test_size=0.25, random_state=0, stratify=hv["roi_bo"])
cot = list(hv.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"].columns)
pipe = make_pipeline(StandardScaler(), LogisticRegression())
pipe.fit(tr[cot], tr["roi_bo"])
print(classification_report(te["roi_bo"], pipe.predict(te[cot])))
print("Recall của predict() trên test:", round(recall_score(te["roi_bo"], pipe.predict(te[cot])), 2))KẾT QUẢ
precision recall f1-score support
0 0.84 0.96 0.89 601
1 0.60 0.24 0.34 149
accuracy 0.82 750
macro avg 0.72 0.60 0.62 750
weighted avg 0.79 0.82 0.78 750
Recall của predict() trên test: 0.24Dòng lớp 1 là dòng cần đọc: trong 149 người thật sự bỏ gói, predict() chỉ gắn nhãn 1 cho khoảng một phần tư. Nhãn này dùng ngưỡng 0,5, mà trên bảng chỉ 20% khách bỏ gói, nên ít người vượt nổi ngưỡng. Đội gọi điện cũng không cần câu trả lời có hay không: họ có một số cuộc gọi cố định và cần một thứ tự. Luật của họ là một thứ tự; xác suất của model là thứ tự thứ hai. Tập test ở đây chỉ để đọc, bước 3 mới dùng nó lần nữa.
Bước 2: So hai cách xếp bằng điểm ngoài fold
Muốn so hai thứ tự mà chưa đụng tập test, ta cần xác suất cho từng khách train từ một model không học khách đó. Vòng StratifiedKFold chia phần train thành 5 fold; mỗi lượt fit trên bốn fold và ghi predict_proba cho fold còn lại vào cột model. Sau đó, với mỗi độ dài danh sách (một phần trăm số khách), nlargest() lấy các khách đứng đầu theo từng cột và tính tỉ lệ người thật sự bỏ gói:
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import StratifiedKFold, train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
hv = pd.read_csv("hoi_vien.csv")
tr, te = train_test_split(hv, test_size=0.25, random_state=0, stratify=hv["roi_bo"])
cot = list(hv.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"].columns)
pipe = make_pipeline(StandardScaler(), LogisticRegression())
for a, b in StratifiedKFold(5, shuffle=True, random_state=0).split(tr, tr["roi_bo"]):
pipe.fit(tr[cot].iloc[a], tr["roi_bo"].iloc[a])
tr.loc[tr.index[b], "model"] = pipe.predict_proba(tr[cot].iloc[b])[:, 1]
for q in [0.05, 0.1, 0.15, 0.2, 0.25, 0.3]:
hai = [tr.nlargest(int(q * len(tr)), c)["roi_bo"].mean() for c in ["model", "so_ngay_tu_lan_mua_cuoi"]]
print(f"gọi {q:.0%}: model {hai[0]:.2f}, luật {hai[1]:.2f}")KẾT QUẢ
gọi 5%: model 0.68, luật 0.54
gọi 10%: model 0.60, luật 0.55
gọi 15%: model 0.55, luật 0.51
gọi 20%: model 0.52, luật 0.43
gọi 25%: model 0.46, luật 0.40
gọi 30%: model 0.44, luật 0.38Cả hai cách đều hơn gọi ngẫu nhiên (cứ năm người trúng một), và cả hai đều trúng ít dần khi danh sách dài ra. Ở mọi độ dài, model trúng nhiều hơn luật. Luật chỉ nhìn một cột, nên mọi khách cùng số ngày đứng ngang nhau, còn model cộng thêm chín cột kia.
Bước 3: Chọn độ dài danh sách, rồi mới mở tập test
Đội đặt một quy tắc: danh sách còn đáng gọi khi ít nhất một nửa số người trong đó sắp bỏ gói. Trên bảng của bước 2, mức dài nhất mà model còn trúng từ 0,50 trở lên là 20% số khách. Độ dài này chọn trên điểm ngoài fold của phần train; nếu chọn bằng cách nhìn kết quả trên 750 khách test thì con số test đã bị dùng để chọn, không còn là ước lượng công bằng. Giờ fit lại trên cả phần train và đếm trên tập test, gọi 20% tức 150 người:
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
hv = pd.read_csv("hoi_vien.csv")
tr, te = train_test_split(hv, test_size=0.25, random_state=0, stratify=hv["roi_bo"])
cot = list(hv.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"].columns)
pipe = make_pipeline(StandardScaler(), LogisticRegression()).fit(tr[cot], tr["roi_bo"])
te = te.assign(model=pipe.predict_proba(te[cot])[:, 1])
goi = int(0.2 * len(te))
for c in ["model", "so_ngay_tu_lan_mua_cuoi"]:
print(c, "->", te.nlargest(goi, c)["roi_bo"].sum(), "trên", goi, "người")KẾT QUẢ
model -> 69 trên 150 người
so_ngay_tu_lan_mua_cuoi -> 67 trên 150 ngườiVới cách chia này, model chỉ bắt thêm 2 người trên 150 cuộc gọi. Hạt giống này cho một lần chia thấp bất thường: giữ 150 cuộc gọi và đổi random_state từ 0 tới 199, model bắt thêm trung bình khoảng 10 người, 90% số lần nằm trong khoảng 3 đến 15, và hơn luật ở 198 trên 200 lần. Độ dài chọn được cũng dao động: chọn lại trên bảng cross-validation của từng cách chia thì ra 20% ở 143 lần, 15% ở 57 lần còn lại. Với 150 người, chênh vài người là chuyện của may rủi; muốn tin con số thì đọc khoảng thường gặp, không đọc một lần chia.
Bước 4: Model thêm vào những khách nào
Hai danh sách 150 người phần lớn trùng nhau. Phần đáng xem là chỗ khác: khách chỉ model chọn và khách chỉ luật chọn. Phép trừ hai set chỉ số tách hai nhóm đó, rồi so trung bình vài cột của chúng:
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
hv = pd.read_csv("hoi_vien.csv")
tr, te = train_test_split(hv, test_size=0.25, random_state=0, stratify=hv["roi_bo"])
cot = list(hv.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"].columns)
pipe = make_pipeline(StandardScaler(), LogisticRegression()).fit(tr[cot], tr["roi_bo"])
te = te.assign(model=pipe.predict_proba(te[cot])[:, 1])
theo_model, theo_luat = (set(te.nlargest(150, c).index) for c in ["model", "so_ngay_tu_lan_mua_cuoi"])
xem = ["so_ngay_tu_lan_mua_cuoi", "tu_dong_gia_han", "so_lan_khieu_nai", "so_lan_dang_nhap_30_ngay", "roi_bo"]
print("Chung:", len(theo_model & theo_luat), "người")
print(pd.DataFrame({"chỉ model": te.loc[sorted(theo_model - theo_luat), xem].mean(),
"chỉ luật": te.loc[sorted(theo_luat - theo_model), xem].mean()}).round(2))KẾT QUẢ
Chung: 103 người
chỉ model chỉ luật
so_ngay_tu_lan_mua_cuoi 33.60 94.89
tu_dong_gia_han 0.36 0.72
so_lan_khieu_nai 1.43 0.21
so_lan_dang_nhap_30_ngay 4.30 6.26
roi_bo 0.36 0.32Hai danh sách chung 103 người; mỗi bên có 47 người riêng. 47 khách luật chọn mà model bỏ đã vắng trung bình 95 ngày, nhưng gần ba phần tư vẫn bật tự gia hạn. 47 khách model đưa vào thì mới mua cách đây khoảng 34 ngày, gần bằng một khách bình thường, nên luật xếp họ ở giữa bảng; bù lại họ khiếu nại trung bình 1,4 lần, ít đăng nhập hơn và phần lớn đã tắt tự gia hạn. Model bắt được những người còn mua nhưng đã bắt đầu rời đi theo cách khác. Hướng chênh này giữ nguyên ở cả 200 cách chia; riêng tỉ lệ bỏ gói của nhóm "chỉ model" cao hơn nhóm "chỉ luật" trung bình 0,21 (90% số lần từ 0,06 tới 0,34), còn hạt giống này chỉ cho 0,04.
Bước 5: Ghép thành chương trình hoàn chỉnh
Chương trình dưới làm lại bốn bước theo đúng thứ tự: điểm ngoài fold và bảng so trên phần train, rồi fit lại, đọc recall, đếm trên tập test và so hai nhóm khách. GOI là phần khách được gọi, đã chọn ở bước 3; LUAT là cột của luật đang dùng:
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import recall_score
from sklearn.model_selection import StratifiedKFold, train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
GOI = 0.2
LUAT = "so_ngay_tu_lan_mua_cuoi"
xem = [LUAT, "tu_dong_gia_han", "so_lan_khieu_nai", "so_lan_dang_nhap_30_ngay", "roi_bo"]
hv = pd.read_csv("hoi_vien.csv")
tr, te = train_test_split(hv, test_size=0.25, random_state=0, stratify=hv["roi_bo"])
cot = list(hv.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"].columns)
pipe = make_pipeline(StandardScaler(), LogisticRegression())
for a, b in StratifiedKFold(5, shuffle=True, random_state=0).split(tr, tr["roi_bo"]):
pipe.fit(tr[cot].iloc[a], tr["roi_bo"].iloc[a])
tr.loc[tr.index[b], "model"] = pipe.predict_proba(tr[cot].iloc[b])[:, 1]
for q in [0.1, 0.2, 0.3]:
hai = [tr.nlargest(int(q * len(tr)), c)["roi_bo"].mean() for c in ["model", LUAT]]
print(f"1. CV, gọi {q:.0%}: model {hai[0]:.2f}, luật {hai[1]:.2f}")
pipe.fit(tr[cot], tr["roi_bo"])
print("2. Recall của predict() trên test:", round(recall_score(te["roi_bo"], pipe.predict(te[cot])), 2))
te = te.assign(model=pipe.predict_proba(te[cot])[:, 1])
goi = int(GOI * len(te))
theo_model, theo_luat = (set(te.nlargest(goi, c).index) for c in ["model", LUAT])
for ten, ds in [("model", theo_model), ("luật", theo_luat)]:
print(f"3. Test, gọi {goi} người theo {ten}: trúng {te.loc[sorted(ds), 'roi_bo'].sum()}")
print("4. Chung:", len(theo_model & theo_luat), "người")
print(pd.DataFrame({"chỉ model": te.loc[sorted(theo_model - theo_luat), xem].mean(),
"chỉ luật": te.loc[sorted(theo_luat - theo_model), xem].mean()}).round(2))KẾT QUẢ
1. CV, gọi 10%: model 0.60, luật 0.55
1. CV, gọi 20%: model 0.52, luật 0.43
1. CV, gọi 30%: model 0.44, luật 0.38
2. Recall của predict() trên test: 0.24
3. Test, gọi 150 người theo model: trúng 69
3. Test, gọi 150 người theo luật: trúng 67
4. Chung: 103 người
chỉ model chỉ luật
so_ngay_tu_lan_mua_cuoi 33.60 94.89
tu_dong_gia_han 0.36 0.72
so_lan_khieu_nai 1.43 0.21
so_lan_dang_nhap_30_ngay 4.30 6.26
roi_bo 0.36 0.32Đổi GOI = 0.2 thành GOI = 0.1 rồi chạy lại: còn 75 cuộc gọi, model trúng 43 so với 40 của luật, hai danh sách chung 45 người, và nhóm "chỉ model" vẫn là những người khiếu nại nhiều, ít đăng nhập, đã tắt tự gia hạn.
Bài tập
Model bắt thêm bao nhiêu người so với luật
diem_model, diem_luat và nhan là ba list cùng độ dài: điểm của model, điểm của luật và nhãn 0/1 (1 là bỏ gói) của cùng các khách, theo cùng thứ tự. n là số nguyên từ 1 tới số khách. Viết thân hàm so_ca_them(diem_model, diem_luat, nhan, n): lấy n khách điểm cao nhất theo từng cách, đếm số người bỏ gói trong mỗi danh sách, rồi trả số của model trừ số của luật. Hai khách cùng điểm thì khách đứng trước trong list được chọn trước, như nlargest(). Hàm không sửa ba list của nơi gọi.
Trả về: số người bắt thêm (âm khi luật bắt nhiều hơn), một int.
Ví dụ: so_ca_them([0.9, 0.2, 0.7, 0.4, 0.8], [10, 50, 30, 50, 5], [1, 0, 1, 0, 1], 2) trả 2. Trên tập test của bước 3 với n=150, kết quả là 2.
import pandas as pd
def so_ca_them(diem_model, diem_luat, nhan, n):
pass # Viết thân hàm thay cho dòng nàyThử mở rộng
Các hướng dưới làm được ngay với chương trình trên:
Đổi
LUATthành"so_lan_dang_nhap_30_ngay"và xếp theo-tr["so_lan_dang_nhap_30_ngay"](ít đăng nhập nhất gọi trước): luật này thua hay thắng luật số ngày trên bảng cross-validation?In thêm
te.loc[sorted(theo_model - theo_luat), "ma_kh"]để có danh sách mã khách mà luật bỏ sót, rồi so với danh sách đầy đủ của model.Thêm
0.4và0.5vào list độ dài ở bước 2 để xem tới đâu thì model và luật trúng gần bằng nhau.
Chủ đề
Dữ liệu của bài
- Tải xuống
hoi_vien.csv
CSV · 207.25 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.