Bỏ qua đến nội dung chính
Mục lục

IQR là gì? Phát hiện ngoại lai (outlier) bằng pandas

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 9/17 · Chương 6

Làm sạch dữ liệu

  • 6 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

IQR là gì? IQR (interquartile range, khoảng tứ phân vị) là độ rộng của nửa giữa dữ liệu, Q3 trừ Q1, và là thước đo thường dùng để tìm ngoại lai: giá trị nằm xa hẳn phần đông còn lại. Bạn dùng nó khi một đơn hàng hai triệu đứng giữa hàng nghìn đơn vài chục nghìn, và cần biết đó là khách sỉ thật hay ai đó gõ thừa một số không.

Cần biết trước: thống kê mô tả, lọc dữ liệu bằng điều kiện, isin() và between() và hàm toán học của NumPy.

IQR là gì: Q1, Q3 và nửa giữa

Xếp dữ liệu từ nhỏ đến lớn. Q1 là giá trị mà một phần tư số liệu nằm dưới nó, Q3 là giá trị mà ba phần tư nằm dưới. IQR = Q3 − Q1 là bề rộng của nửa giữa, phần không bị hai đầu kéo đi. quantile() tính các mốc đó. Đây là số phút pha chế chín đơn ở quầy, một đơn bị máy quên bấm kết thúc:

python
import pandas as pd

phut = pd.Series([12, 15, 14, 18, 16, 13, 95, 17, 15])
q1, q3 = phut.quantile(0.25), phut.quantile(0.75)
print(q1, q3, q3 - q1)
print(phut.median(), round(phut.mean(), 2))

KẾT QUẢ

14.0 17.0 3.0
15.0 23.89

Một con số 95 kéo trung bình lên gần 24 phút, trong khi tám đơn còn lại đều dưới 20. Q1, Q3 và trung vị gần như không nhúc nhích, nên IQR mô tả độ phân tán của phần đông mà không bị ngoại lai làm lệch.

Ngưỡng 1,5 IQR

Quy ước của John Tukey: giá trị dưới Q1 − 1,5 × IQR hay trên Q3 + 1,5 × IQR là ngoại lai (outlier). Hệ số 1,5 là quy ước, không có gì thiêng liêng; ngưỡng 3 IQR chỉ bắt những giá trị cực xa. Áp lên thành tiền mỗi đơn của bảng đơn đã làm sạch:

python
import pandas as pd

don = pd.read_csv("don_hang.csv")
tien = don["so_luong"] * don["don_gia"]
q1, q3 = tien.quantile([0.25, 0.75])
duoi, tren = q1 - 1.5 * (q3 - q1), q3 + 1.5 * (q3 - q1)
ngoai = ~tien.between(duoi, tren)
print(f"{tren:,.0f}".replace(",", "."), "đ trở lên là ngoại lai")
print(ngoai.sum(), "đơn")
print(don.loc[ngoai, ["ma_sp", "so_luong", "don_gia"]].tail(3))

KẾT QUẢ

410.625 đ trở lên là ngoại lai
139 đơn
      ma_sp  so_luong  don_gia
1488     25         3   890000
1493     44         2   280000
1502     29         2   210000

Ngưỡng dưới âm nên chỉ có đầu trên bắt được đơn. Mask ~between() là "không nằm trong ngưỡng", và lọc bằng nó như mọi mask khác. Đổi 1.5 * (q3 - q1) thành 3 * (q3 - q1) ở cả hai chỗ rồi chạy lại: dòng hai in 63, chỉ còn các đơn xa nhất.

Giữ, cắt hay điều tra

Danh sách vừa in không phải lỗi: đó là khách mua mười hộp quà Tết và đơn máy xay giá cao. Ngoại lai chỉ là tín hiệu "xem kỹ dòng này". Có ba cách xử lý:

  • Giữ khi giá trị thật, như đơn sỉ. Doanh thu phải tính cả chúng.

  • Điều tra khi nghi lỗi nhập: một ly cà phê 950.000 đ thì đối chiếu bảng sản phẩm hoặc hỏi người bán.

  • Cắt khi cần một con số ít nhạy cho biểu đồ hay mô hình: clip() kéo giá trị vượt ngưỡng về đúng ngưỡng, giữ đủ số dòng, giống np.clip() trên mảng.

python
import pandas as pd

don = pd.read_csv("don_hang.csv")
tien = don["so_luong"] * don["don_gia"]
q1, q3 = tien.quantile([0.25, 0.75])
tren = q3 + 1.5 * (q3 - q1)
cat = tien.clip(upper=tren)
print(len(tien), len(cat), round(tien.mean()), round(cat.mean()))

KẾT QUẢ

1526 1526 171522 142126

Sau clip(), số dòng không đổi, chỉ các đơn lớn bị hạ về ngưỡng, nên trung bình giảm. Con số đã cắt hợp cho câu hỏi "đơn điển hình bao nhiêu tiền", sai cho câu hỏi "tháng này thu bao nhiêu".

Khi IQR bắt nhầm

Cột lệch hẳn về một phía, như số lượng mỗi đơn, phần lớn là 1 và 2, cho IQR rất hẹp. Lúc đó ngưỡng 1,5 IQR gọi mọi đơn từ bốn ly trở lên là ngoại lai, gần một phần mười số đơn. Với cột như vậy, nhìn value_counts() hay biểu đồ hộp trước khi tin ngưỡng; quy tắc IQR là điểm bắt đầu để soát, không thay được việc đọc dữ liệu.

Kiểm tra nhanh

  1. Sau import pandas as pd, print(pd.Series([1, 2, 3, 4, 5]).quantile(0.75)) in ra gì?

    • 4.0
    • 3.75
    • 5
  2. Sau import pandas as pd, print(pd.Series([2, 9, 5]).clip(upper=6).to_list()) in ra gì?

    • [2, 5]
    • [2, 6, 5]
    • [6, 9, 6]
  3. Đơn mười hộp quà Tết vượt ngưỡng 1,5 IQR. Nên làm gì khi tính doanh thu tháng?

    • Giữ nguyên, vì đó là đơn thật
    • Xóa dòng, vì nó là ngoại lai
    • Cắt về ngưỡng bằng clip()
  4. Những câu nào đúng về IQR và ngoại lai?

    • IQR ít bị vài giá trị cực lớn kéo đi
    • Mọi giá trị ngoài ngưỡng 1,5 IQR là lỗi nhập liệu
    • clip() giữ nguyên số dòng
    • Hệ số 1,5 là quy định bắt buộc
Đúng hết lần đầu +15 XP

Bài tập

Cắt giá trị theo ngưỡng IQR

Viết thân hàm cat_theo_iqr(cot, k) nhận một Series số và hệ số k. Hàm tính Q1, Q3 bằng quantile(), đặt ngưỡng dưới Q1 − k × IQR và ngưỡng trên Q3 + k × IQR.

  • Giá trị dưới ngưỡng dưới thành đúng ngưỡng dưới, giá trị trên ngưỡng trên thành đúng ngưỡng trên.

  • Giá trị trong ngưỡng giữ nguyên; số dòng không đổi.

Kết quả giữ index và tên của Series. Hàm không sửa Series của nơi gọi.

Trả về: cột đã cắt, một Series.

python
import pandas as pd

def cat_theo_iqr(cot, k):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • IQR = Q3 − Q1, bề rộng của nửa giữa dữ liệu; quantile(0.25) và quantile(0.75) cho Q1, Q3.

  • Ngưỡng 1,5 IQR: dưới Q1 − 1,5 × IQR hay trên Q3 + 1,5 × IQR là ngoại lai; hệ số là quy ước.

  • ~cot.between(duoi, tren) là mask các dòng ngoại lai, dùng để lọc ra xem.

  • clip(duoi, tren) kéo giá trị về ngưỡng và giữ đủ số dòng.

  • Ngoại lai thật thì giữ, nghi lỗi thì điều tra; xóa ngoại lai thật làm tổng sai.

Câu hỏi thường gặp

Outlier là gì, có phải luôn là lỗi không?

Không. Ngoại lai (outlier) chỉ là giá trị đứng xa đám đông. Một đơn mười hộp quà Tết và một đơn gõ thừa ba số 0 đều có thể vượt ngưỡng; chỉ đối chiếu với chứng từ mới biết cái nào là lỗi, và bài kiểm tra chất lượng dữ liệu chỉ cách ghi những dòng đã soát vào nhật ký.

Xử lý outlier trong pandas có những cách nào?

Ba cách chính: giữ nguyên, cắt về ngưỡng bằng clip(), hoặc bỏ dòng bằng mask khi đã chắc là lỗi. Với số tiền lệch phải, nhiều người còn lấy log trước khi vẽ. Chọn theo câu hỏi bạn đang trả lời, không theo thói quen.

Vì sao dùng IQR mà không dùng trung bình cộng trừ ba độ lệch chuẩn?

Trung bình và độ lệch chuẩn đều bị chính ngoại lai kéo lên, nên ngưỡng nở ra và bắt sót. Q1, Q3 dựa vào thứ tự, vài giá trị cực không đổi được chúng. Bài thống kê mô tả so hai cách tóm tắt này trên cùng một cột.

Có cách nhìn ngoại lai bằng hình không?

Có: biểu đồ hộp vẽ đúng Q1, Q3, hai râu ở ngưỡng 1,5 IQR, và các chấm rời là ngoại lai. Tutorial Matplotlib có bài biểu đồ hộp vẽ nó từ một cột pandas.

Chủ đề

iqr là gì

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập