InconsistentVersionWarning khi nạp model joblib
Bài 17/18 · Chương 13
Giải nghĩa lỗi và cảnh báo
- 5 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 9
InconsistentVersionWarning là cảnh báo scikit-learn in ra khi bạn nạp một model bằng joblib.load() mà model đó được lưu bằng một bản scikit-learn khác bản đang cài. Câu cảnh báo bắt đầu bằng Trying to unpickle estimator rồi kể tên model và hai phiên bản. Model vẫn nạp được, nhưng cấu trúc bên trong có thể đã đổi giữa hai bản, nên kết quả dự đoán không còn được bảo đảm.
Cần biết trước: lưu model bằng joblib.
Bảng tra nhanh: ba cách sửa
Đây là một cảnh báo, lớp con của UserWarning, nên bắt được bằng module warnings:
Cách sửa | Khi nào dùng |
|---|---|
Cài đúng bản đã lưu model trên máy nạp | cần dùng ngay model cũ, không fit lại được |
Fit lại rồi lưu lại bằng bản đang cài | còn dữ liệu và code huấn luyện |
Lưu phiên bản kèm model, kiểm khi nạp | mọi model mới từ nay |
Khối dưới giả lập một file lưu bằng scikit-learn 1.6.1: nó lưu một model vào bộ nhớ, rồi sửa chuỗi phiên bản trong dữ liệu đã lưu. Trên thực tế bạn chỉ cần joblib.load("model.joblib"):
import io
import warnings
import joblib
from sklearn.linear_model import LogisticRegression
model = LogisticRegression().fit([[0], [1], [2], [3]], [0, 0, 1, 1])
tep = io.BytesIO()
joblib.dump(model, tep)
cu = io.BytesIO(tep.getvalue().replace(b"1.8.0", b"1.6.1"))
with warnings.catch_warnings(record=True) as ds:
warnings.simplefilter("always")
joblib.load(cu)
print(ds[0].category.__name__)
print(str(ds[0].message).split(". ")[0])KẾT QUẢ
InconsistentVersionWarning
Trying to unpickle estimator LogisticRegression from version 1.6.1 when using version 1.8.0Đổi b"1.6.1" thành b"1.7.2" rồi chạy lại: dòng cuối in Trying to unpickle estimator LogisticRegression from version 1.7.2 when using version 1.8.0.
Đối tượng cảnh báo giữ sẵn hai phiên bản trong thuộc tính original_sklearn_version và current_sklearn_version, cùng tên model trong estimator_name. Một pipeline cho một cảnh báo cho mỗi bước và một cho chính nó.
Lưu phiên bản kèm model
Cách chắc nhất là lưu một dict gồm model và chuỗi sklearn.__version__, rồi so khi nạp. Bạn biết ngay file cần bản nào, trước cả khi dùng model:
import io
import joblib
import sklearn
from sklearn.linear_model import LogisticRegression
model = LogisticRegression().fit([[0], [1], [2], [3]], [0, 0, 1, 1])
tep = io.BytesIO()
joblib.dump({"model": model, "sklearn": sklearn.__version__}, tep)
tep.seek(0)
goi = joblib.load(tep)
print(goi["sklearn"], goi["sklearn"] == sklearn.__version__)
print(goi["model"].predict([[2.5]]))KẾT QUẢ
1.8.0 True
[1]Trên máy chạy model, ghim đúng bản đó trong file requirements, như scikit-learn==1.8.0; cách ghim phiên bản có ở bài cài đặt scikit-learn.
Muốn chương trình dừng hẳn thay vì chỉ cảnh báo, biến cảnh báo thành lỗi trong khối nạp bằng warnings.simplefilter("error", InconsistentVersionWarning); khi đó joblib.load() ném chính cảnh báo đó như một exception, bắt được bằng except InconsistentVersionWarning.
Kiểm tra nhanh
Cảnh báo ghi
from version 1.6.1 when using version 1.8.0. Model được lưu bằng bản nào?- 1.6.1
- 1.8.0
- Không biết được
InconsistentVersionWarninglà lớp con trực tiếp của lớp nào?UserWarningValueErrorDeprecationWarning
Những cách nào xử lý đúng cảnh báo này?
- Cài đúng bản đã lưu model trên máy nạp
- Fit lại model rồi lưu bằng bản đang cài
- Lưu
sklearn.__version__kèm model và so khi nạp warnings.filterwarnings("ignore")rồi dùng tiếp
Bài tập
Đọc phiên bản đã lưu model
du_lieu là nội dung một file model do joblib.dump() ghi ra, kiểu bytes. Viết thân hàm ban_luu(du_lieu) nạp model từ io.BytesIO(du_lieu) và trả chuỗi phiên bản scikit-learn đã dùng để lưu: lấy từ original_sklearn_version của InconsistentVersionWarning khi cảnh báo xuất hiện, còn không có cảnh báo thì model được lưu bằng chính bản đang cài, sklearn.__version__.
Ví dụ: file lưu bằng bản 1.6.1 cho "1.6.1".
Trả về: phiên bản lúc lưu, một str.
import io
import warnings
import joblib
import sklearn
from sklearn.exceptions import InconsistentVersionWarning
from sklearn.linear_model import LogisticRegression
def ban_luu(du_lieu):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
InconsistentVersionWarning báo model được lưu bằng bản scikit-learn khác bản đang cài.
from versionlà bản lúc lưu,when using versionlà bản hiện tại; cả hai có trong thuộc tính của cảnh báo.Sửa bằng cách cài đúng bản, fit lại, hay lưu
sklearn.__version__kèm model và so khi nạp.Tắt cảnh báo không sửa gì: model cũ vẫn có thể dự đoán sai mà không báo.
Câu hỏi thường gặp
Cảnh báo này có nghĩa là model đã hỏng không?
Chưa chắc: nhiều model qua một hai bản vẫn cho đúng kết quả. Nhưng thư viện không bảo đảm điều đó, nên hãy kiểm dự đoán trên vài dòng đã biết đáp án, hay tốt hơn là fit lại, như bài lưu model bằng joblib gợi ý.
Sao một pipeline in nhiều cảnh báo?
Mỗi bước của pipeline là một estimator được lưu riêng, nên mỗi bước cho một cảnh báo, cộng một cho chính pipeline. Đọc estimator_name của từng cảnh báo để biết bước nào.
Lưu model bằng pickle thay cho joblib có tránh được không?
Không: cảnh báo đến từ chính estimator khi được dựng lại, dù nạp bằng pickle.load() hay joblib.load(). Cách lọc cảnh báo theo lớp có ở bài warnings.
Chủ đề
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.