LightGBM: lỗi early_stopping_rounds và pandas dtypes
Bài 15/18 · Chương 13
Giải nghĩa lỗi và cảnh báo
- 5 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 10
Hai lỗi hay gặp nhất khi chạy code LightGBM cũ trên LightGBM 4 là early_stopping_rounds không còn được fit() nhận, và lỗi pandas dtypes khi bảng còn cột chữ. Lỗi đầu đến từ việc early stopping đã chuyển sang cơ chế callback; lỗi sau báo LightGBM chỉ nhận cột số, cột đúng sai, hay cột kiểu category.
Cần biết trước: LightGBM.
Bảng tra nhanh: code cũ và code mới
Lỗi đầu là TypeError về tham số, lỗi sau là ValueError về kiểu dữ liệu. LightGBM chưa có trên trình chạy của trang này, nên code LightGBM trong bài chỉ để đọc. Mọi thông báo dưới đây được chạy thật bằng LightGBM 4.6.0, pandas 3.0.2 và Python 3.14.
Code cũ | Thông báo | Code mới |
|---|---|---|
|
|
|
|
| bỏ khỏi |
|
| đổi cột chữ sang |
pandas dtypes must be int, float or bool
File huan_luyen.py đưa thẳng hai cột chữ của file hội viên vào model:
import pandas as pd
import lightgbm as lgb
kh = pd.read_csv("hoi_vien.csv")
X = kh[["kenh_dang_ky", "goi", "so_don_90_ngay", "so_ngay_tu_lan_mua_cuoi"]]
model = lgb.LGBMClassifier(random_state=0, verbose=-1)
model.fit(X, kh["roi_bo"])
Chạy file trong terminal:
python huan_luyen.py
Hai dòng cuối của thông báo lỗi:
ValueError: pandas dtypes must be int, float or bool.
Fields with bad pandas dtypes: kenh_dang_ky: str, goi: str
Dòng sau kể tên từng cột hỏng kèm kiểu của nó; với pandas 3 cột chữ có kiểu str, còn dữ liệu đọc bằng pandas cũ ghi object. LightGBM xử lý cột nhóm tốt nhất khi cột có kiểu category của pandas: nó tự chia nhóm, không cần mã hóa one-hot. Đổi kiểu trước khi fit:
X = X.astype({"kenh_dang_ky": "category", "goi": "category"})
Cách đổi kiểu cột có ở bài astype trong pandas. Bạn có thể thử phần đổi kiểu ngay trên trang, vì nó chỉ cần pandas:
import pandas as pd
bang = pd.DataFrame({"goi": ["Tháng", "Quý", "Tháng"], "so_don": [3, 1, 4]})
bang = bang.astype({"goi": "category"})
print(bang.dtypes.astype(str).tolist())
print(bang["goi"].cat.categories.tolist())KẾT QUẢ
['category', 'int64']
['Quý', 'Tháng']Đổi "Quý" thành "Năm" rồi chạy lại: dòng cuối in ['Năm', 'Tháng'].
early_stopping_rounds trong fit()
Code cũ đặt số vòng chờ ngay trong fit():
import pandas as pd
import lightgbm as lgb
kh = pd.read_csv("hoi_vien.csv")
X = kh[["kenh_dang_ky", "goi", "so_don_90_ngay", "so_ngay_tu_lan_mua_cuoi"]]
X = X.astype({"kenh_dang_ky": "category", "goi": "category"})
X_tr, X_va = X.iloc[:2400], X.iloc[2400:]
y_tr, y_va = kh["roi_bo"].iloc[:2400], kh["roi_bo"].iloc[2400:]
model = lgb.LGBMClassifier(n_estimators=500, learning_rate=0.05,
random_state=0, verbose=-1)
model.fit(X_tr, y_tr, eval_set=[(X_va, y_va)], early_stopping_rounds=20)
python huan_luyen.py
Dòng cuối của thông báo lỗi:
TypeError: LGBMClassifier.fit() got an unexpected keyword argument 'early_stopping_rounds'
Trên LightGBM 4, early stopping là một callback: một hàm được gọi sau mỗi vòng để quyết định có dừng hay không. Thay dòng fit cuối bằng:
model.fit(X_tr, y_tr, eval_set=[(X_va, y_va)],
callbacks=[lgb.early_stopping(20, verbose=False)])
print(model.best_iteration_)
Lần chạy trên in 21: điểm logloss trên tập validation tốt nhất ở vòng 21, và 20 vòng sau đó không cải thiện nên model dừng, dù n_estimators=500. Khi dự đoán, model tự dùng 21 cây đó. Từ LightGBM 4.7, eval_set= vẫn chạy nhưng in cảnh báo bỏ dần và khuyên truyền eval_X= cùng eval_y=; code của trang này kiểm trên 4.6, chưa chạy trên 4.7.
Kiểm tra nhanh
Với
import pandas as pd,pd.DataFrame({"goi": ["Tháng", "Quý"]}).astype({"goi": "category"})["goi"].dtype.namecho kết quả gì?'category''str''object'
LGBMClassifier().fit(X, y, eval_set=[(X_va, y_va)], early_stopping_rounds=20)trên LightGBM 4.6.0 báo lỗi gì?TypeErrorValueErrorImportError
Những câu nào đúng về LightGBM 4?
- Early stopping viết bằng
callbacks=[lgb.early_stopping(20)] - Cột chữ cần đổi sang kiểu
categorytrước khi fit fit()vẫn nhậnverbose=False- Bỏ
early_stopping_roundsthì model tự dừng sớm như cũ
- Early stopping viết bằng
Bài tập
Đổi mọi cột chữ sang category
Trước khi đưa bảng vào LightGBM, bạn cần đổi mọi cột chữ sang kiểu category. Viết thân hàm doi_category(bang) trả một bảng mới: các cột có kiểu chữ (kiểm bằng pd.api.types.is_string_dtype()) đổi sang "category", các cột khác giữ nguyên kiểu và thứ tự. Hàm không sửa bang của nơi gọi.
Ví dụ: bảng có goi là chữ và so_don là số nguyên cho bảng có goi kiểu category, so_don vẫn int64.
Trả về: bảng đã đổi kiểu, một DataFrame.
import pandas as pd
def doi_category(bang):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
LightGBM 4 bỏ
early_stopping_roundsvàverbosekhỏifit(); truyền chúng báo TypeError.Early stopping viết bằng
callbacks=[lgb.early_stopping(20)];best_iteration_cho biết vòng dừng.pandas dtypes must be int, float or boolkể tên các cột chữ; đổi chúng sang"category".Xóa
early_stopping_roundsmà không thêm callback thì không lỗi, nhưng model chạy đủ mọi vòng.
Câu hỏi thường gặp
Có nên dùng OrdinalEncoder cho cột chữ thay vì category?
Được (với cột feature thì dùng OrdinalEncoder; LabelEncoder dành cho nhãn y), nhưng mất phần LightGBM làm tốt nhất: với cột category, nó tự gom các nhóm theo mục tiêu khi chia nút. Mã số nguyên khiến nó coi nhóm như số có thứ tự. Cách khai báo cột category có ở bài kiểu category trong pandas.
lgb.train() cũng báo lỗi early_stopping_rounds?
Có: trên LightGBM 4.6.0, lgb.train(..., early_stopping_rounds=20) báo TypeError, với câu train() got an unexpected keyword argument 'early_stopping_rounds'. Cách sửa giống hệt, truyền callbacks=[lgb.early_stopping(20)].
Sao không chạy được code LightGBM trên trang?
Trình chạy của trang chưa nạp gói LightGBM. Trên máy của bạn, cài bằng pip install lightgbm rồi chạy các khối trong bài; cách dùng model có ở bài LightGBM.
Chủ đề
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.