Bỏ qua đến nội dung chính
Mục lục

Dự án machine learning Sóc Vàng (1/5): gọi 300 người nào

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 1/5 · Chương 11

Dự án: dự đoán khách rời bỏ từ đầu đến cuối

  • 10 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Dự án machine learning này đi qua năm phần, từ một câu hỏi của đội chăm sóc hội viên Sóc Vàng tới một chương trình người khác chạy lại được. Phần 1 kiểm dữ liệu, đo hai mốc so sánh bằng con số của nghiệp vụ, đặt luật giữ hay bỏ, mở nhật ký thí nghiệm, và cuối trang bạn tự viết hàm so một lần chạy với mốc.

Cần biết trước: baseline, cross validation và pipeline đầy đủ.

Chương trình sẽ làm gì

Bài toán. Đội chăm sóc hội viên của chuỗi Sóc Nhanh có năm người, mỗi kỳ gọi điện được khoảng 300 trong 3.000 hội viên gói Sóc Vàng. Mỗi cuộc gọi tốn chừng 20 nghìn đồng tiền công. Đội muốn gọi trước cho những người sắp không gia hạn, để hỏi lý do và giữ họ lại. Câu hỏi của cả dự án: chọn 300 người nào. Hai con số trên là giả định của đề; dữ liệu là số giả lập của AIDev.

Vì số cuộc gọi cố định, điều quan trọng chỉ là phần đầu danh sách. Dự án đo mọi cách làm bằng số người bắt được: trong 300 người được gọi, bao nhiêu người thật sự rời bỏ. Đổi ra tiền, chi phí cho mỗi cuộc gọi trúng là 300 × 20 nghìn chia cho số đó. Năm phần đi theo thứ tự: kiểm dữ liệu và đo mốc (phần này), thử feature (phần 2), thử model và biết lúc dừng (phần 3), quyết định gọi bao nhiêu người và báo cáo (phần 4), bàn giao chương trình kèm một phép kiểm định kỳ (phần 5). Thứ tự dựng phần 1: kiểm dữ liệu, đo hai mốc không cần học, đo logistic regression, đo độ nhiễu và đặt luật, mở nhật ký, rồi ghép lại.

Bước 1: Kiểm dữ liệu trước khi học

hoi_vien.csv có 3.000 hội viên chụp ngày 15/06/2026, nhãn roi_bo bằng 1 khi người đó hủy hay không gia hạn trong 60 ngày sau ngày chụp. hoi_vien_ky_sau.csv có 800 hội viên của kỳ sau: dự án để dành nó, chỉ mở ở phần 4. Ở đây chỉ kiểm nó cùng cột với file chính:

python
import pandas as pd
hv = pd.read_csv("hoi_vien.csv")
ky_sau = pd.read_csv("hoi_vien_ky_sau.csv")
print(hv.shape, list(hv.columns) == list(ky_sau.columns))
print("mã trùng:", hv["ma_kh"].duplicated().sum())
thieu = hv.isna().sum()
print(thieu[thieu > 0].to_dict())
print("rời bỏ:", round(hv["roi_bo"].mean(), 3))
print(hv.columns[-2:].tolist())

KẾT QUẢ

(3000, 17) True
mã trùng: 0
{'diem_danh_gia_tb': 1025}
rời bỏ: 0.198
['hoi_cach_huy_sau_moc', 'roi_bo']

Không mã nào lặp, nên mỗi dòng là một người. Chỉ cột điểm đánh giá có ô trống, ở 1.025 người. 19,8% hội viên rời bỏ, tức gọi ngẫu nhiên 300 người sẽ trúng khoảng 60. Cột hoi_cach_huy_sau_moc đếm số lần hỏi cách hủy gói sau ngày chụp: lúc cần danh sách gọi, cột này chưa tồn tại, nên dự án bỏ nó (bài data leakage giải thích vì sao). Phần 1 dùng 10 cột số từ tu_dong_gia_han tới ti_le_dung_ma_giam, không cột nào thiếu.

Bước 2: Hai mốc không cần học

Trước khi học model, đo hai cách chọn mà đội có thể làm ngay hôm nay: gọi ngẫu nhiên, và gọi 300 người lâu chưa mua nhất:

python
import numpy as np
import pandas as pd
hv = pd.read_csv("hoi_vien.csv")
y = hv["roi_bo"].to_numpy()
ngau_nhien = 300 * y.mean()
ngay = hv["so_ngay_tu_lan_mua_cuoi"].to_numpy()
lau_nhat = np.argsort(-ngay, kind="stable")[:300]
luat = int(y[lau_nhat].sum())
print(round(ngau_nhien, 1), luat)
print(round(300 * 20 / ngau_nhien, 1), round(300 * 20 / luat, 1))

KẾT QUẢ

59.5 164
100.8 36.6

Gọi ngẫu nhiên trúng 59,5 người, mỗi người trúng tốn khoảng 101 nghìn. Luật "lâu chưa mua nhất" trúng 164, chỉ còn 36,6 nghìn mỗi người. Đó là baseline thật của dự án: một luật mà đội tự nghĩ ra được, không cần code. np.argsort(-ngay) xếp số ngày từ lớn xuống nhỏ. Nhiều người cùng số ngày ở chỗ cắt 300, nên kind="stable" giữ thứ tự của file để lần chạy nào cũng ra cùng 300 người.

Bước 3: Logistic regression trên 10 cột

cross_val_predict chia bảng thành 5 phần như cross validation, rồi cho mỗi hội viên một xác suất từ model học trên bốn phần còn lại, tức model chưa thấy người đó. Nhờ vậy 3.000 xác suất xếp chung được thành một danh sách gọi:

python
import numpy as np
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_val_predict
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
hv = pd.read_csv("hoi_vien.csv")
X = hv.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"]
y = hv["roi_bo"].to_numpy()
model = make_pipeline(StandardScaler(), LogisticRegression())
p = cross_val_predict(model, X, y, method="predict_proba")[:, 1]
goi = np.argsort(-p, kind="stable")[:300]
bat_duoc = int(y[goi].sum())
print(bat_duoc, round(300 * 20 / bat_duoc, 1))

KẾT QUẢ

175 34.3

Model bắt được 175 người, hơn luật 11 người, mỗi người trúng còn 34,3 nghìn. Hơn không nhiều: một cột duy nhất đã làm được phần lớn việc. Thử 200 cách chia 5 phần khác nhau (StratifiedKFold(shuffle=True)), model bắt được từ 173 tới 183 người, nên nó luôn hơn luật ít nhất 9 người.

Bước 4: Đo độ nhiễu, rồi đặt luật

Các phần sau sẽ thử nhiều thay đổi, và mỗi lần số người bắt được sẽ nhích lên hay xuống vài người. Cần biết trước bao nhiêu người là nhiễu. Cách đo: thêm vào model một cột số ngẫu nhiên, chắc chắn vô dụng, rồi xem số người bắt được đổi bao nhiêu so với 175:

python
import numpy as np
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_val_predict
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
hv = pd.read_csv("hoi_vien.csv")
X = hv.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"]
y = hv["roi_bo"].to_numpy()
model = make_pipeline(StandardScaler(), LogisticRegression())
for hat in [1, 2, 3]:
    rac = np.random.default_rng(hat).normal(size=len(X))
    p = cross_val_predict(model, X.assign(rac=rac), y,
                          method="predict_proba")[:, 1]
    print(hat, int(y[np.argsort(-p, kind="stable")[:300]].sum()) - 175)

KẾT QUẢ

1 -3
2 -3
3 -2

Ba cột rác làm mất 3, 3 và 2 người. Lặp phép đo này trên 200 cách chia khác nhau, mỗi lần một cột rác mới: chênh lệch nằm trong khoảng −5 tới +5, và chỉ một lần trong 200 lần chạm +5. Từ đó, luật của dự án, viết ra trước lần thử đầu tiên:

  • Thêm một thứ (feature, model, tham số) chỉ được giữ khi nó bắt thêm ít nhất 5 người so với mốc hiện tại.

  • Bỏ bớt một thứ để model gọn hơn thì được giữ khi nó không mất quá 2 người, vì model gọn dễ giải thích và dễ bàn giao hơn.

  • Một vòng thử mà không lần nào được giữ thì dừng sau vòng đó.

Luật tính trên một cách chia cố định: không truyền cv, scikit-learn chia 5 phần theo thứ tự dòng của file, nên lần chạy nào cũng ra đúng 5 phần này.

Bước 5: Mở nhật ký thí nghiệm

Nhật ký thí nghiệm là một bảng, mỗi dòng một lần chạy: vòng nào, đổi gì, vì sao, bắt được bao nhiêu, chênh với mốc bao nhiêu, quyết định gì. Cột vi_sao viết trước khi chạy. Dòng bị bỏ vẫn ở lại, vì nó cho người sau biết hướng đó đã thử. Ghi bảng ra CSV bằng to_csv() rồi đọc lại:

python
import pandas as pd
nhat_ky = pd.DataFrame([
    {"lan": 1, "vong": 0, "thay_doi": "luật lâu chưa mua",
     "vi_sao": "đội làm được ngay", "bat_duoc": 164, "chenh": 0,
     "quyet_dinh": "mốc"},
    {"lan": 2, "vong": 0, "thay_doi": "logistic 10 cột",
     "vi_sao": "model đơn giản nhất", "bat_duoc": 175, "chenh": 11,
     "quyet_dinh": "giữ"}])
nhat_ky.to_csv("nhat_ky.csv", index=False)
print(pd.read_csv("nhat_ky.csv").to_string(index=False))

KẾT QUẢ

 lan  vong          thay_doi              vi_sao  bat_duoc  chenh quyet_dinh
   1     0 luật lâu chưa mua   đội làm được ngay       164      0        mốc
   2     0   logistic 10 cột model đơn giản nhất       175     11        giữ

Logistic hơn luật 11 người, vượt biên 5, nên được giữ và thành mốc mới. Trên trang này, file chỉ sống trong lần chạy đó: lần chạy sau bắt đầu ở một thư mục trống. Vì thế mỗi phần sau dựng lại nhật ký từ các dòng in ở đây, thêm dòng của mình rồi ghi lại nhat_ky.csv. Chạy trên máy thì file nằm lại trong thư mục dự án và lớn dần qua từng phần.

Bước 6: Ghép thành chương trình hoàn chỉnh

Chương trình dưới kiểm dữ liệu, đo luật và logistic regression, áp luật giữ hay bỏ, ghi nhật ký rồi đọc lại:

python
import numpy as np
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_val_predict
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

hv = pd.read_csv("hoi_vien.csv")
ky_sau = pd.read_csv("hoi_vien_ky_sau.csv")
print(hv.shape, list(hv.columns) == list(ky_sau.columns))
print("mã trùng:", hv["ma_kh"].duplicated().sum())
X = hv.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"]
y = hv["roi_bo"].to_numpy()
suc_chua, gia_goi, bien = 300, 20, 5

ngay = hv["so_ngay_tu_lan_mua_cuoi"].to_numpy()
luat = int(y[np.argsort(-ngay, kind="stable")[:suc_chua]].sum())
model = make_pipeline(StandardScaler(), LogisticRegression())
p = cross_val_predict(model, X, y, method="predict_proba")[:, 1]
bat_duoc = int(y[np.argsort(-p, kind="stable")[:suc_chua]].sum())
chenh = bat_duoc - luat
nhat_ky = pd.DataFrame([
    {"lan": 1, "vong": 0, "thay_doi": "luật lâu chưa mua",
     "vi_sao": "đội làm được ngay", "bat_duoc": luat, "chenh": 0,
     "quyet_dinh": "mốc"},
    {"lan": 2, "vong": 0, "thay_doi": "logistic 10 cột",
     "vi_sao": "model đơn giản nhất", "bat_duoc": bat_duoc,
     "chenh": chenh, "quyet_dinh": "giữ" if chenh >= bien else "bỏ"}])
nhat_ky.to_csv("nhat_ky.csv", index=False)
print(pd.read_csv("nhat_ky.csv").to_string(index=False))
for ten, n in [("luật", luat), ("logistic", bat_duoc)]:
    print(ten, round(suc_chua * gia_goi / n, 1), "nghìn mỗi cuộc gọi trúng")

KẾT QUẢ

(3000, 17) True
mã trùng: 0
 lan  vong          thay_doi              vi_sao  bat_duoc  chenh quyet_dinh
   1     0 luật lâu chưa mua   đội làm được ngay       164      0        mốc
   2     0   logistic 10 cột model đơn giản nhất       175     11        giữ
luật 36.6 nghìn mỗi cuộc gọi trúng
logistic 34.3 nghìn mỗi cuộc gọi trúng

Ba con số đầu chương trình là giả định của đề. Đổi suc_chua từ 300 thành 600 rồi chạy lại: cả hai cách đều bắt được nhiều người hơn, nhưng chi phí mỗi cuộc gọi trúng tăng, vì nửa sau danh sách ít người sắp rời hơn. Phần 4 sẽ đo đúng câu hỏi đó: gọi thêm có đáng không.

Bài tập

So một lần chạy với mốc trong nhật ký

Mỗi phần sau đều cần so lần chạy mới với mốc hiện tại. Mốc hiện tại là dòng cuối cùng không bị bỏ của nhật ký: dòng có quyet_dinh là "mốc" hay "giữ". Viết thân hàm so_voi_moc(nhat_ky, bat_duoc, bien):

  • nhat_ky là bảng có ít nhất các cột bat_duoc và quyet_dinh, có ít nhất một dòng không phải "bỏ";

  • bat_duoc là số người lần chạy mới bắt được, bien là số người phải hơn (5 khi thêm, −2 khi bỏ bớt);

  • chenh là bat_duoc trừ số người bắt được của mốc hiện tại, một int;

  • quyết định là "giữ" khi chenh lớn hơn hoặc bằng bien, ngược lại là "bỏ".

Hàm không sửa nhat_ky.

Trả về: chenh và quyết định, một tuple.

Ví dụ: với nhật ký hai dòng của bước 5 (luật 164, logistic 175 được giữ), so_voi_moc(nhat_ky, 178, 5) trả (3, "bỏ"): mốc là dòng logistic.

python
import pandas as pd

def so_voi_moc(nhat_ky, bat_duoc, bien):
    pass  # Viết thân hàm thay cho dòng này

Thử mở rộng

Các hướng dưới làm được ngay với chương trình trên:

  • Thêm dòng print(so_voi_moc(nhat_ky.iloc[:1], bat_duoc, bien)) vào cuối chương trình (sau khi dán hàm của bài tập lên đầu): kết quả phải là (11, 'giữ'), đúng như dòng 2 của nhật ký.

  • Thêm cột chi_phi vào nhật ký, bằng suc_chua * gia_goi / bat_duoc làm tròn 1 chữ số, để người đọc nhật ký thấy luôn số tiền.

  • Thay luật "lâu chưa mua nhất" bằng "ít đăng nhập nhất" (so_lan_dang_nhap_30_ngay, xếp tăng dần) và xem luật nào làm mốc tốt hơn.

  • Phần 2, chọn feature cho model, đọc tiếp nhật ký này và thử thêm, bớt cột.

Chủ đề

dự án machine learning

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập