Bỏ qua đến nội dung chính
Mục lục

Dữ liệu thiếu trong pandas (missing data): NaN, pd.NA

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 2/17 · Chương 6

Làm sạch dữ liệu

  • 6 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Dữ liệu thiếu trong pandas (missing data) là các ô không có giá trị, hiện thành NaN, None hay <NA> tùy kiểu của cột. Trước khi xóa hay điền một ô trống, bạn cần biết nó trống vì người nhập quên, hay vì chuyện đó chưa từng xảy ra, như đơn bị hủy thì không có ngày giao.

Cần biết trước: kiểm tra chất lượng dữ liệu, NaN trong NumPy và groupby().

NaN, None và pd.NA trong một cột

Python có None để nói "không có giá trị", bài None đã dạy. Khi None vào một Series, pandas đổi nó thành dấu hiệu ô thiếu hợp với kiểu của cột:

python
import pandas as pd

gia = pd.Series([1.5, None, 3.0])
chi_nhanh = pd.Series(["Huế", None, "Đà Lạt"])
so_ly = pd.Series([2, None, 1], dtype="Int64")
print(gia)
print(chi_nhanh)
print(so_ly)

KẾT QUẢ

0    1.5
1    NaN
2    3.0
dtype: float64
0       Huế
1       NaN
2    Đà Lạt
dtype: str
0       2
1    <NA>
2       1
dtype: Int64

Cột số thực và cột chữ str dùng NaN, giá trị "không phải số" của NumPy. Cột Int64 (chữ I hoa, số nguyên cho phép ô trống) dùng pd.NA và in là <NA>; bài Int64 có ô trống nói kỹ kiểu này. Ba dấu hiệu khác nhau, nhưng pandas coi cả ba là ô thiếu.

isna() và notna() trên một cột

isna() trả một Series True/False cùng độ dài, True ở ô thiếu. notna() là phép ngược lại. Hai Series này dùng được như mọi mask: đếm bằng sum(), lấy tỉ lệ bằng mean(), lọc dòng bằng df[mask]. Bảng don_hang.csv là bản sạch, chỉ cột ngay_giao có ô trống:

python
import pandas as pd

don = pd.read_csv("don_hang.csv")
co_ngay = don["ngay_giao"].notna()
print(don["ngay_giao"].isna().sum(), co_ngay.sum())
print(round(don["ngay_giao"].isna().mean() * 100, 1))
print(don.loc[~co_ngay, ["ma_don", "trang_thai"]].head(3))

KẾT QUẢ

126 1400
8.3
     ma_don trang_thai
3   DH00004     Đã hủy
9   DH00010     Đã hủy
13  DH00014     Đã hủy

Lấy mean() của mask là ra tỉ lệ ô trống: mỗi True góp 1, mỗi False góp 0. Dấu ~ đảo mask, nên ~co_ngay chọn các đơn chưa có ngày giao. Ba dòng đầu đều là đơn Đã hủy, một gợi ý đáng theo.

Thiếu ngẫu nhiên hay thiếu có hệ thống

Ô thiếu ngẫu nhiên do lỗi nhập rải đều khắp bảng: nhân viên quên gõ số lượng ở đơn này đơn kia, không theo quy luật nào. Ô thiếu có hệ thống dồn vào một nhóm và thường mang nghĩa. Cách thử là tính tỉ lệ ô trống theo từng nhóm, bằng groupby() trên mask của isna():

python
import pandas as pd

don = pd.read_csv("don_hang.csv")
trong = don["ngay_giao"].isna()
ti_le = trong.groupby(don["trang_thai"]).mean() * 100
print(ti_le)

KẾT QUẢ

trang_thai
Hoàn thành      0.0
Hoàn trả        0.0
Đang giao     100.0
Đã hủy        100.0
Name: ngay_giao, dtype: float64

Tỉ lệ dồn trọn vào hai nhóm: mọi đơn Đã hủy và Đang giao đều trống ngày giao, còn đơn hoàn thành hay hoàn trả không trống ô nào. Đó là thiếu có hệ thống, và ô trống ở đây có nghĩa "chưa giao". Xóa các dòng này là xóa toàn bộ đơn hủy khỏi báo cáo. Đổi "trang_thai" thành "kenh" rồi chạy lại: năm kênh chỉ chênh nhau trong khoảng 6% tới 10%, cao nhất là 10,3% của Ứng dụng, vì kênh bán không quyết định đơn có được giao hay không.

Nếu mọi nhóm có tỉ lệ gần bằng nhau, ô thiếu nhiều khả năng ngẫu nhiên: bỏ dòng hay điền đều không làm lệch một nhóm nào. Bài dropna() và fillna() là hai cách xử lý tiếp theo.

Kiểm tra nhanh

  1. Sau import pandas as pd, print(pd.Series([3, None], dtype="Int64").iloc[1]) in ra gì?

    • nan
    • <NA>
    • None
  2. Sau import numpy as np và import pandas as pd, print((pd.Series([1.0, np.nan]) == np.nan).sum()) in ra gì?

    • 0
    • 1
    • 2
  3. Trong ví dụ tính tỉ lệ ô trống theo trang_thai, điều gì cho thấy ngay_giao thiếu có hệ thống?

    • Cột có hơn 100 ô trống
    • Ô trống dồn trọn vào nhóm Đã hủy và Đang giao
    • Ô trống hiện là NaN chứ không là <NA>
  4. Cột so_luong có 1% ô trống ở mỗi kênh bán, kênh nào cũng xấp xỉ như nhau. Những nhận định nào hợp lý?

    • Ô trống nhiều khả năng là thiếu ngẫu nhiên
    • Ô trống chắc chắn có nghĩa "khách không mua"
    • Bỏ các dòng này không làm lệch riêng một kênh nào
    • Phải xóa cả cột so_luong
Đúng hết lần đầu +15 XP

Bài tập

Tính tỉ lệ ô trống theo từng nhóm

Bạn nghi một cột thiếu có hệ thống và muốn xem ô trống có dồn vào nhóm nào không. Viết thân hàm ti_le_trong(bang, cot, theo): với mỗi giá trị của cột theo, tính phần trăm số dòng mà cột cot bị thiếu.

  • Kết quả tính theo phần trăm: nhóm trống một nửa là 50.0, không làm tròn.

  • Index là các giá trị của cột theo, sắp tăng dần như groupby() trả về.

Hàm không sửa bảng của nơi gọi.

Trả về: phần trăm ô trống của từng nhóm, một Series.

python
import pandas as pd

def ti_le_trong(bang, cot, theo):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • Ô thiếu hiện là NaN ở cột số thực và cột str, <NA> (giá trị pd.NA) ở cột Int64; None đưa vào cột thành một trong hai.

  • So với np.nan bằng == luôn cho False; hỏi ô trống bằng isna(), ô có giá trị bằng notna().

  • isna().mean() là tỉ lệ ô trống, vì True tính là 1.

  • Một ô pd.NA làm điều kiện của if báo TypeError.

  • Thiếu có hệ thống dồn vào một nhóm; tìm bằng isna() rồi groupby() và mean().

Câu hỏi thường gặp

NaN trong pandas khác None thế nào?

None là giá trị của Python, NaN là số thực đặc biệt của NumPy. Khi bạn đưa None vào cột số hay cột str, pandas lưu thành NaN, nên isna() thấy cả hai như nhau. Bài NaN trong NumPy giải thích vì sao NaN không bằng chính nó.

Dùng isna() hay isnull() trong pandas?

Hai tên là một phương thức, cho cùng kết quả. Bài này dùng isna() vì tên đó khớp với dropna(), fillna(), notna(), nên dễ nhớ cả bộ.

Xử lý missing value thế nào cho đúng?

Bắt đầu từ lý do của ô trống, không từ lệnh. Ô trống theo nhóm, như ngày giao của đơn hủy, là một thông tin: giữ nguyên, hoặc thay bằng một giá trị ghi rõ điều nó muốn nói. Ô trống lác đác vì gõ sót ở cột không thể thiếu thì bỏ dòng bằng dropna(); ở cột số có thể thay bằng trung vị qua fillna(). Bài Blog làm sạch dữ liệu với pandas đặt các bước này vào cả quy trình.

sum() và mean() có tính ô NaN không?

Không. Mặc định chúng bỏ qua ô thiếu: mean() của [1.5, NaN, 3.0] là 2,25, chia cho hai ô có giá trị. Muốn biết bao nhiêu ô được tính thì dùng count(), còn len() đếm cả ô trống.

Chủ đề

missing data pandas

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập