Dự án Sóc Vàng (5/5): đóng gói model machine learning
Bài 5/5 · Chương 11
Dự án: dự đoán khách rời bỏ từ đầu đến cuối
- 9 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 9
Phần cuối của dự án Sóc Vàng đóng gói model machine learning để đội chăm sóc hội viên tự lập danh sách gọi mỗi kỳ. Bạn lưu pipeline bằng joblib, ghi phiên bản thư viện, viết chương trình lập danh sách theo sức chứa, thêm một phép kiểm chạy mỗi kỳ, rồi đưa dự án machine learning lên GitHub; cuối trang bạn tự viết hàm tìm cột lệch.
Cần biết trước: phần 1 của dự án, lưu model bằng joblib, pip và requirements.txt và đẩy code lên GitHub.
Chương trình sẽ làm gì
Bàn giao là một thư mục soc-vang:
File | Nội dung |
|---|---|
| Model đã chốt, học trên cả |
| Phiên bản scikit-learn, pandas, numpy, joblib lúc tạo model |
| Đọc file hội viên của kỳ mới, in danh sách gọi đúng bằng sức chứa |
| Model làm gì, cài và chạy thế nào, kiểm gì mỗi kỳ, tin tới đâu |
| Dữ liệu giả lập để chạy thử, và nhật ký giải thích mọi lựa chọn |
Trên trang này, file chỉ sống trong lần chạy đó: lần chạy sau bắt đầu ở một thư mục trống. Vì vậy khối nào ghi file thì đọc lại ngay trong chính khối đó; trên máy, các file nằm lại và bạn đẩy chúng lên GitHub. Thứ tự dựng: lưu và nạp lại model, ghi phiên bản, viết chương trình dự đoán và README, viết phép kiểm mỗi kỳ, đẩy lên GitHub, rồi ghép lại.
Bước 1: Lưu, nạp lại và kiểm trùng khớp
Học model trên cả hoi_vien.csv, lưu bằng joblib.dump, nạp lại bằng joblib.load, rồi so xác suất của hai bản trên 800 hội viên kỳ sau:
import joblib
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
hv, ks = pd.read_csv("hoi_vien.csv"), pd.read_csv("hoi_vien_ky_sau.csv")
cot = [c for c in hv.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"]
if c not in ("tuoi", "chi_tieu_90_ngay_nghin")]
model = make_pipeline(StandardScaler(), LogisticRegression())
model.fit(hv[cot], hv["roi_bo"])
print(joblib.dump(model, "soc_vang.joblib"))
nap = joblib.load("soc_vang.joblib")
print((nap.predict_proba(ks[cot]) == model.predict_proba(ks[cot])).all())
print(list(nap.feature_names_in_) == cot)KẾT QUẢ
['soc_vang.joblib']
True
True800 xác suất của bản nạp lại trùng từng số với bản gốc. Dòng cuối cho thấy model nhớ cả tên và thứ tự 8 cột đã học: du_doan.py dùng chính danh sách này, nên không phải chép tay tên cột.
Bước 2: Ghi phiên bản và requirements.txt
File joblib gắn với phiên bản thư viện đã tạo ra nó. Ghi các phiên bản ra phien_ban.json cho người đọc, và ra requirements.txt cho pip:
import json
from pathlib import Path
import joblib
import numpy
import pandas
import sklearn
phien_ban = {"scikit-learn": sklearn.__version__,
"pandas": pandas.__version__,
"numpy": numpy.__version__,
"joblib": joblib.__version__}
Path("phien_ban.json").write_text(json.dumps(phien_ban))
dong = [f"{ten}=={so}" for ten, so in phien_ban.items()]
Path("requirements.txt").write_text("\n".join(dong) + "\n")
print(Path("requirements.txt").read_text(), end="")KẾT QUẢ
scikit-learn==1.8.0
pandas==3.0.2
numpy==2.4.6
joblib==1.5.3Người nhận repo chạy pip install -r requirements.txt và có đúng bốn phiên bản này, nên joblib.load không gặp lệch phiên bản. == ghim từng số: với một model đã lưu, đó là điều bạn muốn.
Bước 3: Chương trình dự đoán và README
du_doan.py là thứ đội chạy mỗi kỳ. Phần 4 chốt một quy tắc: gọi một phần mười số hội viên, những người có xác suất cao nhất. Chương trình đọc tên file và số cuộc gọi từ dòng lệnh, nên nó chạy trên máy, không chạy trên trang:
import sys
import joblib
import pandas as pd
bang = pd.read_csv(sys.argv[1])
so_goi = int(sys.argv[2]) if len(sys.argv) > 2 else len(bang) // 10
model = joblib.load("soc_vang.joblib")
xs = model.predict_proba(bang[model.feature_names_in_])[:, 1]
ds = bang[["ma_kh"]].assign(xac_suat=xs)
ds = ds.sort_values("xac_suat", ascending=False, kind="stable")
ds = ds.head(so_goi).round({"xac_suat": 3})
ds.to_csv("danh_sach_goi.csv", index=False)
print(len(ds), "cuộc gọi, dự kiến trúng", round(ds["xac_suat"].sum()))
Chương trình xếp theo xác suất đầy đủ rồi mới làm tròn: làm tròn trước thì nhiều người bằng nhau ở ba chữ số, và thứ tự giữa họ thành ngẫu nhiên theo vị trí trong file. Với python du_doan.py hoi_vien_ky_sau.csv, danh sách có 80 người, như phần 4.
README trả lời bốn câu của người mới mở repo: đây là gì, chạy thế nào, kiểm gì mỗi kỳ, tin tới đâu. Khối dưới ghi nó ra file và đọc lại:
from pathlib import Path
readme = """# Sóc Vàng: danh sách gọi hội viên mỗi kỳ
Model xếp hội viên theo khả năng rời bỏ, học trên hoi_vien.csv
(3.000 hội viên, ngày chụp 15/06/2026), 8 cột số.
Cài: pip install -r requirements.txt
Chạy: python du_doan.py hoi_vien_ky_sau.csv [số cuộc gọi]
Mặc định gọi một phần mười số hội viên.
Mỗi kỳ: chạy kiem_ky.py; cột nào lệch quá 0,2 độ lệch chuẩn thì học lại.
Giới hạn: số liệu giả lập; trên kỳ sau, 80 cuộc gọi trúng 40 người,
model dự kiến 50; nhật ký đầy đủ ở nhat_ky.csv.
"""
Path("README.md").write_text(readme)
print(Path("README.md").read_text().splitlines()[0])KẾT QUẢ
# Sóc Vàng: danh sách gọi hội viên mỗi kỳDòng "Giới hạn" chép từ báo cáo phần 4. README không kể lại quy trình: ai muốn biết vì sao model trông như vậy thì đọc nhat_ky.csv.
Bước 4: Phép kiểm mỗi kỳ
Model học trên một kỳ. Khi hội viên kỳ mới khác hẳn kỳ cũ (giá đổi, có chương trình khuyến mãi lớn), xác suất của model không còn đáng tin. Phép kiểm rẻ nhất: với từng cột, trung bình kỳ mới cách trung bình kỳ cũ bao nhiêu lần độ lệch chuẩn của kỳ cũ. Đây là kiem_ky.py:
import pandas as pd
hv, ks = pd.read_csv("hoi_vien.csv"), pd.read_csv("hoi_vien_ky_sau.csv")
cot = ["tu_dong_gia_han", "so_thang_su_dung", "so_lan_dang_nhap_30_ngay",
"so_don_90_ngay", "so_ngay_tu_lan_mua_cuoi", "so_lan_khieu_nai",
"ti_le_giao_tre", "ti_le_dung_ma_giam"]
lech = (ks[cot].mean() - hv[cot].mean()).abs() / hv[cot].std()
print(lech.sort_values(ascending=False).head(3).round(3))
print("Cột lệch quá 0,2:", list(lech[lech > 0.2].index))KẾT QUẢ
ti_le_dung_ma_giam 0.08
ti_le_giao_tre 0.08
so_ngay_tu_lan_mua_cuoi 0.05
dtype: float64
Cột lệch quá 0,2: []Kỳ sau không có cột nào lệch quá 0,2; lớn nhất chưa tới 0,1. Vậy chỗ hụt ở phần 4 (dự kiến 50, thật 40) nhiều khả năng không đến từ các cột đầu vào, mà từ tỉ lệ rời bỏ chung của kỳ giảm (16,9% so với 19,8%), thứ phép kiểm đầu vào không thấy được. Phép kiểm này chỉ nhìn đầu vào, chạy được ngay đầu kỳ. Phép kiểm thứ hai chỉ làm được ở cuối kỳ, khi biết ai đã rời: so số người trúng với số du_doan.py dự kiến, như bước 3 của phần 4. Hai con số đó ghi thành một dòng mới trong nhat_ky.csv mỗi kỳ.
Bước 5: Đưa dự án lên GitHub
Trên máy, trong thư mục soc-vang, các lệnh dưới tạo repo và đẩy lên, theo các bước của bài đẩy code lên GitHub. Ba file CSV là dữ liệu giả lập nên đi cùng repo được, để người nhận chạy thử ngay; với dữ liệu hội viên thật, chúng không bao giờ lên GitHub.
wc -l nhat_ky.csv
git init
git add soc_vang.joblib phien_ban.json requirements.txt du_doan.py kiem_ky.py README.md
git add hoi_vien.csv hoi_vien_ky_sau.csv nhat_ky.csv
git commit -m "Sóc Vàng: danh sách gọi hội viên mỗi kỳ"
git branch -M main
git remote add origin https://github.com/ten-ban/soc-vang.git
git push -u origin main
wc -l phải in 9: một dòng tiêu đề và tám lần chạy của bốn phần trước. Kiểm lần cuối bằng một lần chạy lại thật: clone repo vào thư mục khác, tạo môi trường mới, pip install -r requirements.txt, rồi python du_doan.py hoi_vien_ky_sau.csv. Dòng in ra phải là 80 cuộc gọi, dự kiến trúng 50.
Bước 6: Ghép thành chương trình hoàn chỉnh
Chương trình dưới học, lưu và nạp lại model, ghi phiên bản, lập danh sách gọi như du_doan.py và chạy phép kiểm cột, rồi in những gì người nhận repo cần thấy:
import json
from pathlib import Path
import joblib
import numpy
import pandas as pd
import sklearn
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
hv, ks = pd.read_csv("hoi_vien.csv"), pd.read_csv("hoi_vien_ky_sau.csv")
cot = [c for c in hv.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"]
if c not in ("tuoi", "chi_tieu_90_ngay_nghin")]
model = make_pipeline(StandardScaler(), LogisticRegression())
joblib.dump(model.fit(hv[cot], hv["roi_bo"]), "soc_vang.joblib")
nap = joblib.load("soc_vang.joblib")
phien_ban = {"scikit-learn": sklearn.__version__, "pandas": pd.__version__,
"numpy": numpy.__version__, "joblib": joblib.__version__}
Path("phien_ban.json").write_text(json.dumps(phien_ban))
Path("requirements.txt").write_text(
"".join(f"{ten}=={so}\n" for ten, so in phien_ban.items()))
xs = nap.predict_proba(ks[nap.feature_names_in_])[:, 1]
ds = ks[["ma_kh"]].assign(xac_suat=xs)
ds = ds.sort_values("xac_suat", ascending=False, kind="stable")
ds = ds.head(len(ks) // 10)
lech = (ks[cot].mean() - hv[cot].mean()).abs() / hv[cot].std()
print("Nạp lại trùng:", (nap.predict_proba(ks[cot])[:, 1] == xs).all())
print(len(ds), "cuộc gọi, dự kiến trúng", round(ds["xac_suat"].sum()))
print("Cột lệch quá 0,2:", list(lech[lech > 0.2].index))
goi = ["soc_vang.joblib", "phien_ban.json", "requirements.txt"]
print([f for f in goi if Path(f).exists()])KẾT QUẢ
Nạp lại trùng: True
80 cuộc gọi, dự kiến trúng 50
Cột lệch quá 0,2: []
['soc_vang.joblib', 'phien_ban.json', 'requirements.txt']Trên máy, đặt du_doan.py, kiem_ky.py và README đầy đủ cạnh các file này, rồi chạy các lệnh của bước 5. Dự án khép lại ở đây: một nhật ký ghi mọi lựa chọn, một luật dừng, một con số trên kỳ sau chấm đúng một lần, một báo cáo cho người quyết định, và một repo người khác chạy lại được.
Bài tập
Cột nào lệch khỏi dữ liệu học
Tách phép kiểm của bước 4 thành một hàm. cu và moi là hai DataFrame số; mọi cột của cu đều có trong moi (có thể theo thứ tự khác). Viết thân hàm cot_lech(cu, moi, nguong) trả list tên các cột mà trị tuyệt đối của hiệu hai trung bình, chia cho độ lệch chuẩn của cột đó trong cu, lớn hơn hẳn nguong. Thứ tự là thứ tự cột của cu. Hàm không sửa hai bảng được truyền vào.
Trả về: tên các cột lệch, một list.
Ví dụ: cu có cột a là [0, 2, 4] (trung bình 2, độ lệch chuẩn 2), moi có cột a là [3, 3, 3]; độ lệch của a là 0,5, nên cot_lech(cu, moi, 0.4) có "a", còn cot_lech(cu, moi, 0.5) thì không.
def cot_lech(cu, moi, nguong):
pass # Viết thân hàm thay cho dòng nàyThử mở rộng
Các hướng dưới làm được ngay với chương trình trên:
Dán hàm của bài tập lên đầu chương trình và in
cot_lech(hv[cot], ks[cot], 0.05): kết quả phải khớp các cột củalechlớn hơn 0,05.Giả lập một kỳ có khuyến mãi lớn: trước khi tính
lech, thêmks = ks.assign(ti_le_dung_ma_giam=ks["ti_le_dung_ma_giam"] + 0.1)và xem phép kiểm báo cột nào.Thêm vào
phien_ban.jsonngày chụp dữ liệu học và ngưỡng 0,2 của phép kiểm, đểkiem_ky.pyđọc ngưỡng từ file thay cho số viết cứng.Trên máy, xóa môi trường ảo, cài lại từ
requirements.txtvà chạydu_doan.pyđể tự kiểm repo trước khi gửi link.
Chủ đề
Dữ liệu của bài
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.