Lưu model bằng joblib: dump, load và phiên bản thư viện
Bài 9/11 · Chương 9
Feature engineering và Pipeline
- 6 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 11
Thư viện joblib lưu một model scikit-learn đã học thành file, để lần sau chỉ cần nạp lại và dự đoán, khỏi học lại từ đầu. Bài này lưu cả pipeline bằng joblib.dump(), nạp bằng joblib.load(), và ghi kèm phiên bản thư viện để biết file được làm trong môi trường nào.
Cần biết trước: machine learning pipeline đầy đủ, fit và predict và pickle trong Python.
Lưu và nạp pipeline
joblib.dump(đối_tượng, tên_file) ghi đối tượng ra file và trả về danh sách tên file đã ghi. joblib.load(tên_file) đọc lại đúng đối tượng đó, cùng các giá trị đã học:
import joblib
import pandas as pd
from sklearn.compose import make_column_transformer
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import OneHotEncoder, StandardScaler
hv = pd.read_csv("hoi_vien.csv")
so = ["so_don_90_ngay", "so_ngay_tu_lan_mua_cuoi"]
ct = make_column_transformer((StandardScaler(), so),
(OneHotEncoder(), ["goi"]))
pipe = make_pipeline(ct, LogisticRegression()).fit(hv, hv["roi_bo"])
print(joblib.dump(pipe, "soc_vang.joblib"))
nap = joblib.load("soc_vang.joblib")
print(nap.predict_proba(hv.head(3))[:, 1].round(3))
print((nap.predict_proba(hv) == pipe.predict_proba(hv)).all())KẾT QUẢ
['soc_vang.joblib']
[0.111 0.45 0.516]
TruePipeline nạp lại cho xác suất trùng từng chữ số với pipeline gốc: trung bình và độ lệch chuẩn của scaler, danh sách gói của encoder, hệ số của model đều nằm trong file. Đuôi .joblib chỉ là quy ước đặt tên, joblib không đòi hỏi.
Trên trang này, file chỉ sống trong lần chạy đó: nó nằm trong một thư mục tạm của trình duyệt, và lần chạy sau (của khối này hay khối khác) bắt đầu ở một thư mục trống. Vì thế khối trên ghi rồi đọc file trong cùng một lần chạy. Chạy cùng đoạn code bằng Python cài trên máy thì file nằm thật trong thư mục đang làm việc và còn đó sau khi tắt chương trình.
Lưu cả pipeline, không chỉ model
Model cuối chỉ biết các con số đã qua biến đổi. Lưu riêng nó thì bảng mới không có ai chuẩn hóa và mã hóa trước khi đưa vào.
Lỗi này còn là trường hợp may: nếu số cột tình cờ khớp, model nhận số chưa chuẩn hóa và trả về dự đoán sai mà không báo gì. Lưu cả pipeline thì không phải nhớ lại các bước biến đổi, vì chúng nằm trong cùng một file.
Ghi phiên bản thư viện kèm model
File joblib chứa đối tượng Python của scikit-learn, nên nó gắn với phiên bản thư viện đã tạo ra nó. Nạp bằng một phiên bản khác, scikit-learn đưa ra cảnh báo InconsistentVersionWarning, và kết quả có thể lệch. Ghi phiên bản ra một file JSON đặt cạnh file model giúp bạn biết cần cài lại phiên bản nào:
import json
import numpy
import pandas
import sklearn
def phien_ban():
return {"scikit-learn": sklearn.__version__,
"numpy": numpy.__version__,
"pandas": pandas.__version__}
with open("soc_vang.json", "w") as f:
json.dump(phien_ban(), f)
with open("soc_vang.json") as f:
ghi = json.load(f)
ghi["scikit-learn"] = "1.6.1" # giả lập file làm từ máy cũ
bay_gio = phien_ban()
print({k: v for k, v in ghi.items() if v != bay_gio[k]})KẾT QUẢ
{'scikit-learn': '1.6.1'}Dòng gán "1.6.1" giả lập một file JSON làm từ máy có scikit-learn cũ hơn; khi nạp, phép so cho biết thư viện nào lệch và lệch về phiên bản nào. Đổi "1.6.1" thành "1.8.0" rồi chạy lại: không còn thư viện nào lệch, chương trình in {}.
joblib.load chạy code nằm trong file trong lúc nạp, giống pickle.load. Một file model lạ tải từ mạng có thể làm bất cứ việc gì chương trình của bạn làm được. Chỉ nạp file do chính bạn hoặc người bạn tin tạo ra.
Kiểm tra nhanh
Sau
import joblibvàjoblib.dump([1, 2, 3], "so.joblib"),joblib.load("so.joblib")[1]cho kết quả gì?12"so.joblib"
Pipeline gồm scaler, encoder rồi
LogisticRegression. Nên lưu gì để lần sau dự đoán được từ bảng gốc?pipe[-1]pipe[:-1]pipe
Vì sao nên ghi
sklearn.__version__kèm file model?- Để biết cần cài phiên bản nào khi nạp lại ở máy khác
- Để
joblib.loadtự cài đúng phiên bản - Để file model nhỏ hơn
Một đồng nghiệp gửi link tải file
model.joblibtừ một trang lạ. Nạp nó bằngjoblib.loadcó an toàn không?- Có, vì file joblib chỉ chứa số
- Không, vì nạp file có thể chạy code bên trong nó
- Có, nếu đổi đuôi file thành
.pkl
Bài tập
Dự đoán từ file model
Viết thân hàm du_doan_tu_file(duong_dan, bang): nạp pipeline đã lưu ở duong_dan bằng joblib, rồi tính xác suất rời bỏ (cột 1 của predict_proba) cho từng dòng của bang. Hàm không sửa bang.
Trả về: một Series các xác suất, có index của bang.
Ví dụ: nếu pipeline của khối đầu bài vừa được lưu thành "soc_vang.joblib" trong cùng lần chạy, gọi hàm với file đó và ba dòng đầu của hoi_vien.csv trả về Series khoảng 0.111, 0.45, 0.516 với index 0, 1, 2.
import joblib
import pandas as pd
def du_doan_tu_file(duong_dan, bang):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
joblib.dump(pipe, "ten.joblib")ghi pipeline đã học ra file;joblib.load("ten.joblib")trả lại đúng pipeline đó, dự đoán y hệt.Lưu cả pipeline: model cuối không tự biến đổi bảng gốc, và lưu riêng nó dễ dẫn tới lỗi số cột hoặc dự đoán sai im lặng.
Ghi phiên bản scikit-learn, numpy, pandas ra file JSON cạnh file model, và so lại khi nạp.
joblib.loadchạy code trong file: chỉ nạp file từ nguồn mình tin.Trên trang này, file chỉ sống trong một lần chạy: lần chạy sau bắt đầu ở một thư mục trống, nên ghi và nạp file trong cùng một khối.
Câu hỏi thường gặp
joblib khác pickle thế nào?
joblib dùng pickle bên dưới, cộng thêm cách ghi hiệu quả cho mảng numpy lớn và tùy chọn nén qua tham số compress=. Với model scikit-learn, cả hai đều dùng được; tài liệu scikit-learn thường dùng joblib. Rủi ro an toàn khi nạp file là như nhau.
Vì sao lưu pipeline có FunctionTransformer dùng lambda thì lỗi?
pickle lưu một hàm bằng tên của nó để lần sau tìm lại, mà lambda không có tên tìm được. Viết hàm bằng def ở cấp module như bài FunctionTransformer, và khi nạp ở chương trình khác, hàm đó phải import được ở đó. Trên trang này, cả hàm def viết trong khối cũng không lưu được (PicklingError): mỗi khối chạy trong một vùng tên riêng, còn pickle tìm hàm theo tên trong module __main__ thật, nơi không có hàm đó. Lưu pipeline như vậy bằng Python trên máy.
Lưu model thì có cần lưu dữ liệu train không?
Để dự đoán thì không: những gì pipeline cần đã nằm trong file. Để học lại, kiểm tra hay so model mới với model cũ thì nên giữ dữ liệu train, hoặc ít nhất ghi lại đã dùng file nào.
Có cách lưu model không phụ thuộc phiên bản scikit-learn không?
Có những định dạng như ONNX hoặc thư viện skops, nhưng chúng cần cài thêm và không chạy được trên trang này. Với phần lớn dự án nhỏ, ghi phiên bản và cài lại đúng phiên bản khi nạp là đủ. Cách cài một phiên bản cụ thể có trong bài cài đặt scikit-learn.
Chủ đề
Dữ liệu của bài
- Tải xuống
hoi_vien.csv
CSV · 207.25 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.