UndefinedMetricWarning: Precision is ill-defined
Bài 8/18 · Chương 13
Giải nghĩa lỗi và cảnh báo
- 6 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 10
UndefinedMetricWarning với câu Precision is ill-defined and being set to 0.0 là cảnh báo scikit-learn in ra khi bạn tính precision cho lớp dương mà model không đoán một mẫu nào thuộc lớp đó. Phép chia của precision khi ấy là 0/0, thư viện tạm ghi 0,0 và nhắc bạn; trên dữ liệu lệch như hồ sơ vay chỉ 5 % vỡ nợ, đây thường là dấu hiệu model lười đoán toàn lớp đông.
Cần biết trước: precision, recall, F1.
Bảng tra nhanh: ba cảnh báo và nghĩa
Cách tính precision cho thấy chỗ chia cho 0:
Trong đó:
là số mẫu dương mà model đoán đúng là dương;
là số mẫu âm mà model đoán nhầm là dương;
là tổng số mẫu model đoán là dương, bằng 0 khi model không đoán dương lần nào.
Recall chia cho số mẫu dương thật, nên nó ill-defined khi bảng không có mẫu dương nào. Ba cảnh báo đều thuộc lớp UndefinedMetricWarning:
Cảnh báo bắt đầu bằng | Mẫu số bằng 0 | Thường do |
|---|---|---|
| không mẫu nào được đoán dương | model lười, ngưỡng quá cao |
| không có mẫu dương thật | một fold hay một nhóm con quá nhỏ |
| cả hai | như hai dòng trên cùng lúc |
Một model lười trên bảng vay: DummyClassifier đoán mọi hồ sơ là không vỡ nợ:
import warnings
import pandas as pd
from sklearn.dummy import DummyClassifier
from sklearn.metrics import precision_score
vay = pd.read_csv("don_vay_tieu_dung.csv")
X, y = vay[["thu_nhap_trieu"]], vay["vo_no"]
doan = DummyClassifier().fit(X, y).predict(X)
with warnings.catch_warnings(record=True) as ds:
warnings.simplefilter("always")
p = precision_score(y, doan)
print(doan.sum(), p)
print([str(w.message).split(" due")[0] for w in ds])KẾT QUẢ
0 0.0
['Precision is ill-defined and being set to 0.0']Đổi p = precision_score(y, doan) thành p = precision_score(y, doan, zero_division=0) rồi chạy lại: dòng cuối in [], vì không còn cảnh báo nào.
Số 0 đầu dòng là số hồ sơ được đoán vỡ nợ. Model lười và vì sao accuracy của nó vẫn cao có ở bài baseline.
zero_division: chọn giá trị cho phép chia 0/0
Tham số zero_division= của precision_score(), recall_score(), f1_score() nói thư viện ghi gì khi gặp 0/0, và đặt nó thì cảnh báo không còn hiện:
import numpy as np
from sklearn.metrics import precision_score
y_that = [0, 1, 0, 1]
y_doan = [0, 0, 0, 0]
for gia_tri in [0, 1, np.nan]:
p = precision_score(y_that, y_doan, zero_division=gia_tri)
print(gia_tri, p)KẾT QUẢ
0 0.0
1 1.0
nan nannp.nan là lựa chọn thật thà nhất: precision không xác định, và nan lan sang mọi phép tính sau nên không ai lấy nhầm nó làm điểm. Giá trị 0 hợp khi bạn coi "không bắt được ca nào" là kém như "bắt toàn ca sai". Mặc định "warn" cho ra 0 kèm cảnh báo.
classification_report và cảnh báo lặp
classification_report() tính precision cho mọi lớp và cả hai dòng trung bình, nên cùng một model lười in cảnh báo nhiều lần. Tham số zero_division= có ở đây với cùng nghĩa:
import pandas as pd
from sklearn.dummy import DummyClassifier
from sklearn.metrics import classification_report
vay = pd.read_csv("don_vay_tieu_dung.csv")
X, y = vay[["thu_nhap_trieu"]], vay["vo_no"]
doan = DummyClassifier().fit(X, y).predict(X)
bang = classification_report(y, doan, zero_division=0,
output_dict=True)
lop_1 = bang["1"]
dung = round(bang["accuracy"], 3)
print(lop_1["precision"], lop_1["recall"], dung)KẾT QUẢ
0.0 0.0 0.95Accuracy 0,95 bên cạnh precision và recall bằng 0 cho lớp vỡ nợ: model này không bắt được ca nào. Khi đọc báo cáo, cảnh báo ill-defined là lời nhắc nhìn vào lớp hiếm trước. Cách đọc từng dòng của bảng có ở bài classification_report.
Kiểm tra nhanh
Precision is ill-defined
due to no predicted samplesnghĩa là gì?- Bảng không có mẫu dương thật nào
- Model không đoán mẫu nào là lớp dương, nên TP + FP bằng 0
- Nhãn
ycó ô trống
Với
from sklearn.metrics import precision_score,precision_score([1, 0, 1], [0, 0, 0], zero_division=0)cho kết quả gì?0.01.0nan
Những câu nào đúng khi model trên bảng vay báo Precision is ill-defined?
- Nên in số hồ sơ được đoán vỡ nợ để kiểm
zero_division=np.nancho thấy rõ precision không xác địnhzero_division=1cho biết model có precision tuyệt đối- Cảnh báo này làm chương trình dừng
Bài tập
Tính precision không cảnh báo, ra nan khi 0/0
Bạn so nhiều model trên bảng vay và muốn precision của lớp 1 bằng nan khi model không đoán mẫu nào là 1, để không nhầm với model đoán sai hết. Viết thân hàm precision_hoac_nan(y_that, y_doan) trả precision của lớp 1; khi model không đoán mẫu nào là 1 thì trả nan. Hàm không được làm hiện cảnh báo nào.
Ví dụ: y_that = [1, 0, 1, 0, 1, 0], y_doan = [1, 1, 0, 0, 0, 0] cho 0.5; y_doan toàn 0 cho nan.
Trả về: precision của lớp 1, một float.
import numpy as np
from sklearn.metrics import precision_score, recall_score
def precision_hoac_nan(y_that, y_doan):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Precision is ill-defined … due to no predicted samples: mẫu số TP + FP bằng 0 vì model không đoán lớp dương nào.Recall ill-defined khi không có mẫu dương thật; F-score khi thiếu cả hai.
zero_division=chọn giá trị cho 0/0 và tắt cảnh báo;np.nanthật thà nhất,1dễ làm hiểu lầm.Trên dữ liệu lệch, cảnh báo này thường là dấu hiệu model lười: in
y_doan.sum()cạnh precision.
Câu hỏi thường gặp
Model logistic thật cũng báo cảnh báo này thì sửa sao?
Model đó gần như không có xác suất nào vượt ngưỡng 0,5 mặc định, thường vì lớp dương quá hiếm. Hạ ngưỡng quyết định hoặc cân lại lớp bằng class_weight="balanced" sẽ làm model chịu đoán lớp dương; cách xử lý dữ liệu lệch có ở bài dữ liệu mất cân bằng.
Cảnh báo hiện khi chạy cross-validation thì sao?
Một fold có thể không có mẫu dương nào, hoặc model của fold đó không đoán dương lần nào. Chia bằng StratifiedKFold để fold nào cũng có lớp hiếm, và đặt zero_division trong scorer nếu cần. Các metric được nhắc lại ở bài precision, recall, F1.
Có nên tắt UndefinedMetricWarning bằng warnings không?
Không nên tắt chung: cảnh báo này báo một sự thật về model. Đặt zero_division= ngay trong lời gọi là cách nói rõ bạn đã biết và đã chọn cách tính; cách lọc cảnh báo theo lớp có ở bài warnings.
Chủ đề
Dữ liệu của bài
- Tải xuống
don_vay_tieu_dung.csv
CSV · 239.48 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.