Bỏ qua đến nội dung chính
Mục lục

UndefinedMetricWarning: Precision is ill-defined

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 8/18 · Chương 13

Giải nghĩa lỗi và cảnh báo

  • 6 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

UndefinedMetricWarning với câu Precision is ill-defined and being set to 0.0 là cảnh báo scikit-learn in ra khi bạn tính precision cho lớp dương mà model không đoán một mẫu nào thuộc lớp đó. Phép chia của precision khi ấy là 0/0, thư viện tạm ghi 0,0 và nhắc bạn; trên dữ liệu lệch như hồ sơ vay chỉ 5 % vỡ nợ, đây thường là dấu hiệu model lười đoán toàn lớp đông.

Cần biết trước: precision, recall, F1.

Bảng tra nhanh: ba cảnh báo và nghĩa

Cách tính precision cho thấy chỗ chia cho 0:

precision=TPTP+FP\text{precision} = \frac{TP}{TP + FP}

Trong đó:

  • TPTP là số mẫu dương mà model đoán đúng là dương;

  • FPFP là số mẫu âm mà model đoán nhầm là dương;

  • TP+FPTP + FP là tổng số mẫu model đoán là dương, bằng 0 khi model không đoán dương lần nào.

Recall chia cho số mẫu dương thật, nên nó ill-defined khi bảng không có mẫu dương nào. Ba cảnh báo đều thuộc lớp UndefinedMetricWarning:

Cảnh báo bắt đầu bằng

Mẫu số bằng 0

Thường do

Precision is ill-defined … due to no predicted samples

không mẫu nào được đoán dương

model lười, ngưỡng quá cao

Recall is ill-defined … due to no true samples

không có mẫu dương thật

một fold hay một nhóm con quá nhỏ

F-score is ill-defined … due to no true nor predicted samples

cả hai

như hai dòng trên cùng lúc

Một model lười trên bảng vay: DummyClassifier đoán mọi hồ sơ là không vỡ nợ:

python
import warnings
import pandas as pd
from sklearn.dummy import DummyClassifier
from sklearn.metrics import precision_score

vay = pd.read_csv("don_vay_tieu_dung.csv")
X, y = vay[["thu_nhap_trieu"]], vay["vo_no"]
doan = DummyClassifier().fit(X, y).predict(X)
with warnings.catch_warnings(record=True) as ds:
    warnings.simplefilter("always")
    p = precision_score(y, doan)
print(doan.sum(), p)
print([str(w.message).split(" due")[0] for w in ds])

KẾT QUẢ

0 0.0
['Precision is ill-defined and being set to 0.0']

Đổi p = precision_score(y, doan) thành p = precision_score(y, doan, zero_division=0) rồi chạy lại: dòng cuối in [], vì không còn cảnh báo nào.

Số 0 đầu dòng là số hồ sơ được đoán vỡ nợ. Model lười và vì sao accuracy của nó vẫn cao có ở bài baseline.

zero_division: chọn giá trị cho phép chia 0/0

Tham số zero_division= của precision_score(), recall_score(), f1_score() nói thư viện ghi gì khi gặp 0/0, và đặt nó thì cảnh báo không còn hiện:

python
import numpy as np
from sklearn.metrics import precision_score

y_that = [0, 1, 0, 1]
y_doan = [0, 0, 0, 0]
for gia_tri in [0, 1, np.nan]:
    p = precision_score(y_that, y_doan, zero_division=gia_tri)
    print(gia_tri, p)

KẾT QUẢ

0 0.0
1 1.0
nan nan

np.nan là lựa chọn thật thà nhất: precision không xác định, và nan lan sang mọi phép tính sau nên không ai lấy nhầm nó làm điểm. Giá trị 0 hợp khi bạn coi "không bắt được ca nào" là kém như "bắt toàn ca sai". Mặc định "warn" cho ra 0 kèm cảnh báo.

classification_report và cảnh báo lặp

classification_report() tính precision cho mọi lớp và cả hai dòng trung bình, nên cùng một model lười in cảnh báo nhiều lần. Tham số zero_division= có ở đây với cùng nghĩa:

python
import pandas as pd
from sklearn.dummy import DummyClassifier
from sklearn.metrics import classification_report

vay = pd.read_csv("don_vay_tieu_dung.csv")
X, y = vay[["thu_nhap_trieu"]], vay["vo_no"]
doan = DummyClassifier().fit(X, y).predict(X)
bang = classification_report(y, doan, zero_division=0,
                             output_dict=True)
lop_1 = bang["1"]
dung = round(bang["accuracy"], 3)
print(lop_1["precision"], lop_1["recall"], dung)

KẾT QUẢ

0.0 0.0 0.95

Accuracy 0,95 bên cạnh precision và recall bằng 0 cho lớp vỡ nợ: model này không bắt được ca nào. Khi đọc báo cáo, cảnh báo ill-defined là lời nhắc nhìn vào lớp hiếm trước. Cách đọc từng dòng của bảng có ở bài classification_report.

Kiểm tra nhanh

  1. Precision is ill-defined due to no predicted samples nghĩa là gì?

    • Bảng không có mẫu dương thật nào
    • Model không đoán mẫu nào là lớp dương, nên TP + FP bằng 0
    • Nhãn y có ô trống
  2. Với from sklearn.metrics import precision_score, precision_score([1, 0, 1], [0, 0, 0], zero_division=0) cho kết quả gì?

    • 0.0
    • 1.0
    • nan
  3. Những câu nào đúng khi model trên bảng vay báo Precision is ill-defined?

    • Nên in số hồ sơ được đoán vỡ nợ để kiểm
    • zero_division=np.nan cho thấy rõ precision không xác định
    • zero_division=1 cho biết model có precision tuyệt đối
    • Cảnh báo này làm chương trình dừng
Đúng hết lần đầu +15 XP

Bài tập

Tính precision không cảnh báo, ra nan khi 0/0

Bạn so nhiều model trên bảng vay và muốn precision của lớp 1 bằng nan khi model không đoán mẫu nào là 1, để không nhầm với model đoán sai hết. Viết thân hàm precision_hoac_nan(y_that, y_doan) trả precision của lớp 1; khi model không đoán mẫu nào là 1 thì trả nan. Hàm không được làm hiện cảnh báo nào.

Ví dụ: y_that = [1, 0, 1, 0, 1, 0], y_doan = [1, 1, 0, 0, 0, 0] cho 0.5; y_doan toàn 0 cho nan.

Trả về: precision của lớp 1, một float.

python
import numpy as np
from sklearn.metrics import precision_score, recall_score

def precision_hoac_nan(y_that, y_doan):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • Precision is ill-defined … due to no predicted samples: mẫu số TP + FP bằng 0 vì model không đoán lớp dương nào.

  • Recall ill-defined khi không có mẫu dương thật; F-score khi thiếu cả hai.

  • zero_division= chọn giá trị cho 0/0 và tắt cảnh báo; np.nan thật thà nhất, 1 dễ làm hiểu lầm.

  • Trên dữ liệu lệch, cảnh báo này thường là dấu hiệu model lười: in y_doan.sum() cạnh precision.

Câu hỏi thường gặp

Model logistic thật cũng báo cảnh báo này thì sửa sao?

Model đó gần như không có xác suất nào vượt ngưỡng 0,5 mặc định, thường vì lớp dương quá hiếm. Hạ ngưỡng quyết định hoặc cân lại lớp bằng class_weight="balanced" sẽ làm model chịu đoán lớp dương; cách xử lý dữ liệu lệch có ở bài dữ liệu mất cân bằng.

Cảnh báo hiện khi chạy cross-validation thì sao?

Một fold có thể không có mẫu dương nào, hoặc model của fold đó không đoán dương lần nào. Chia bằng StratifiedKFold để fold nào cũng có lớp hiếm, và đặt zero_division trong scorer nếu cần. Các metric được nhắc lại ở bài precision, recall, F1.

Có nên tắt UndefinedMetricWarning bằng warnings không?

Không nên tắt chung: cảnh báo này báo một sự thật về model. Đặt zero_division= ngay trong lời gọi là cách nói rõ bạn đã biết và đã chọn cách tính; cách lọc cảnh báo theo lớp có ở bài warnings.

Chủ đề

undefinedmetricwarning

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập