Bỏ qua đến nội dung chính
Mục lục

ConvergenceWarning: lbfgs failed to converge

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 7/18 · Chương 13

Giải nghĩa lỗi và cảnh báo

  • 5 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

ConvergenceWarning với câu lbfgs failed to converge là cảnh báo scikit-learn in ra khi bộ giải lbfgs của LogisticRegression chạy hết số vòng lặp cho phép (max_iter) mà các hệ số vẫn chưa ổn định. Chương trình không dừng và model vẫn dự đoán được, nhưng nó có thể chưa học xong; nguyên nhân hay gặp nhất là các cột có thang đo chênh nhau, như tuổi vài chục bên cạnh chi tiêu hàng nghìn.

Cần biết trước: Logistic regression trong sklearn.

Bảng tra nhanh: hai cảnh báo và cách sửa

Đây là một cảnh báo: Python in nó qua module warnings rồi chạy tiếp. Hai model hay gặp nhất:

Model

Câu đầu của cảnh báo

Thử trước

Thử sau

LogisticRegression

lbfgs failed to converge after 100 iteration(s) (status=1):

StandardScaler trong pipeline

tăng max_iter, giảm C

Lasso, ElasticNet

Objective did not converge.

tăng alpha

tăng max_iter, tol

Mười cột số của file hội viên có độ lớn rất khác nhau: tỉ lệ giao trễ quanh 0,1, chi tiêu trung bình 825 nghìn. Bắt cảnh báo bằng warnings.catch_warnings(record=True) để in ra gọn:

python
import warnings
import pandas as pd
from sklearn.linear_model import LogisticRegression

kh = pd.read_csv("hoi_vien.csv")
X = kh.drop(columns=["ma_kh", "roi_bo", "hoi_cach_huy_sau_moc",
                     "diem_danh_gia_tb"]).select_dtypes("number")
with warnings.catch_warnings(record=True) as ds:
    warnings.simplefilter("always")
    model = LogisticRegression().fit(X, kh["roi_bo"])
print(ds[0].category.__name__)
print(str(ds[0].message).splitlines()[0])

KẾT QUẢ

ConvergenceWarning
lbfgs failed to converge after 100 iteration(s) (status=1):

Đổi LogisticRegression() thành LogisticRegression(max_iter=1000) rồi chạy lại: dòng cuối in lbfgs failed to converge after 1000 iteration(s) (status=1):.

Mười lần số vòng vẫn chưa đủ: trên bảng này bộ giải cần khoảng 1.600 vòng mới dừng, và chậm hơn hẳn. Tăng max_iter chỉ che triệu chứng.

Chuẩn hóa trước, tăng max_iter sau

Bộ giải đi từng bước theo hướng giảm sai số. Khi một cột có thang đo gấp vài nghìn lần cột khác, mặt sai số thành một rãnh dài và hẹp, và mỗi bước chỉ nhích được một chút. Đưa mọi cột về cùng thang bằng StandardScaler làm rãnh tròn lại:

python
import warnings
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

kh = pd.read_csv("hoi_vien.csv")
X = kh.drop(columns=["ma_kh", "roi_bo", "hoi_cach_huy_sau_moc",
                     "diem_danh_gia_tb"]).select_dtypes("number")
with warnings.catch_warnings(record=True) as ds:
    warnings.simplefilter("always")
    pipe = make_pipeline(StandardScaler(), LogisticRegression())
    pipe.fit(X, kh["roi_bo"])
print(len(ds), pipe[-1].n_iter_)

KẾT QUẢ

0 [11]

Không còn cảnh báo, và bộ giải dừng sau 11 vòng thay cho hơn một nghìn. Thuộc tính n_iter_ cho biết số vòng đã chạy; bằng đúng max_iter là dấu hiệu chưa hội tụ. Chuẩn hóa nằm trong pipeline để bộ chuẩn hóa chỉ học trên dữ liệu train. Nếu đã chuẩn hóa mà vẫn cảnh báo, thử giảm C (phạt mạnh hơn) hoặc tăng max_iter vừa phải.

Lasso: Objective did not converge

Lasso dùng bộ giải khác (coordinate descent) nên câu cảnh báo khác, nhưng ý vẫn vậy. Với alpha rất nhỏ, Lasso gần như không phạt và phải đi rất lâu mới dừng, kể cả trên dữ liệu đã chuẩn hóa:

python
import warnings
import pandas as pd
from sklearn.linear_model import Lasso
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

nha = pd.read_csv("gia_nha.csv")
X = pd.get_dummies(nha.drop(columns="gia_ty"), dtype=int)
with warnings.catch_warnings(record=True) as ds:
    warnings.simplefilter("always")
    pipe = make_pipeline(StandardScaler(), Lasso(alpha=0.0001))
    pipe.fit(X, nha["gia_ty"])
print(len(ds), str(ds[0].message).split(".")[0], pipe[-1].n_iter_)

KẾT QUẢ

1 Objective did not converge 1000

Ở đây cách sửa đầu tiên là tăng alpha: một alpha quá nhỏ cho kết quả gần như hồi quy thường, nên không có lý do dùng Lasso. Cách chọn alpha có ở bài Ridge và Lasso.

Kiểm tra nhanh

  1. LogisticRegression().fit(X, y) in ConvergenceWarning. Điều gì xảy ra với model?

    • Chương trình dừng, model không dùng được
    • Model vẫn fit xong và dự đoán được, nhưng hệ số có thể chưa tối ưu
    • Model tự chuẩn hóa dữ liệu rồi fit lại
  2. Trên dữ liệu chưa chuẩn hóa, cách sửa nào nên thử đầu tiên?

    • Đặt StandardScaler trước model trong make_pipeline()
    • LogisticRegression(max_iter=100000)
    • warnings.filterwarnings("ignore")
  3. Những câu nào đúng về n_iter_ sau khi fit LogisticRegression(max_iter=100)?

    • n_iter_ bằng 100 là dấu hiệu chưa hội tụ
    • Sau khi chuẩn hóa, n_iter_ thường nhỏ hơn nhiều
    • n_iter_ luôn bằng max_iter
    • n_iter_ là số dòng dữ liệu đã dùng
Đúng hết lần đầu +15 XP

Bài tập

Đếm ConvergenceWarning khi fit

Bạn muốn biết một lần fit() có in ConvergenceWarning hay không, mà không để cảnh báo hiện ra màn hình. Viết thân hàm dem_canh_bao(model, X, y) fit model trên X, y bên trong warnings.catch_warnings(record=True) và trả số cảnh báo thuộc lớp ConvergenceWarning (hay lớp con của nó) đã phát ra. Cảnh báo loại khác không tính. Mọi cảnh báo phát ra đều phải được ghi lại, kể cả khi lặp lại ở cùng một chỗ.

Ví dụ: LogisticRegression() trên mười cột số chưa chuẩn hóa của file hội viên cho 1. Hàm không sửa X, y của nơi gọi.

Trả về: số ConvergenceWarning, một int.

python
import warnings
from sklearn.exceptions import ConvergenceWarning
from sklearn.linear_model import LogisticRegression

def dem_canh_bao(model, X, y):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • ConvergenceWarning là cảnh báo, không dừng chương trình, nhưng model có thể chưa học xong.

  • lbfgs failed to converge của LogisticRegression thường do các cột lệch thang đo: thêm StandardScaler vào pipeline trước.

  • n_iter_ bằng max_iter là dấu hiệu chưa hội tụ; tăng max_iter chỉ là bước sau.

  • Objective did not converge của Lasso hay đến từ alpha quá nhỏ: tăng alpha trước.

  • Không tắt mọi cảnh báo; bắt và đếm bằng warnings.catch_warnings(record=True).

Câu hỏi thường gặp

Model có ConvergenceWarning còn dùng được không?

Dùng được để thử, nhưng đừng đưa đi chấm hay triển khai khi chưa sửa: hệ số dừng ở giữa đường nên điểm số và các hệ số có thể khác hẳn khi bạn sửa xong. Sửa theo thứ tự chuẩn hóa, rồi mới chỉnh max_iter hay C; cách đọc hệ số có ở bài logistic regression.

Đổi solver có hết cảnh báo không?

Có thể, nhưng không chữa gốc. Bộ giải liblinear hay saga có tốc độ khác trên dữ liệu lệch thang đo, và saga thậm chí nhạy với thang đo hơn. Chuẩn hóa bằng StandardScaler giúp mọi bộ giải.

Làm sao chỉ ẩn ConvergenceWarning mà không ẩn cảnh báo khác?

Dùng warnings.filterwarnings("ignore", category=ConvergenceWarning) bên trong một khối with warnings.catch_warnings():, để bộ lọc mất tác dụng khi ra khỏi khối. Cách lọc theo lớp cảnh báo có ở bài warnings trong Python.

Chủ đề

lbfgs failed to converge

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập