Dữ liệu thiếu trong pandas (missing data): NaN, pd.NA
Bài 2/17 · Chương 6
Làm sạch dữ liệu
- 6 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 11
Dữ liệu thiếu trong pandas (missing data) là các ô không có giá trị, hiện thành NaN, None hay <NA> tùy kiểu của cột. Trước khi xóa hay điền một ô trống, bạn cần biết nó trống vì người nhập quên, hay vì chuyện đó chưa từng xảy ra, như đơn bị hủy thì không có ngày giao.
Cần biết trước: kiểm tra chất lượng dữ liệu, NaN trong NumPy và groupby().
NaN, None và pd.NA trong một cột
Python có None để nói "không có giá trị", bài None đã dạy. Khi None vào một Series, pandas đổi nó thành dấu hiệu ô thiếu hợp với kiểu của cột:
import pandas as pd
gia = pd.Series([1.5, None, 3.0])
chi_nhanh = pd.Series(["Huế", None, "Đà Lạt"])
so_ly = pd.Series([2, None, 1], dtype="Int64")
print(gia)
print(chi_nhanh)
print(so_ly)KẾT QUẢ
0 1.5
1 NaN
2 3.0
dtype: float64
0 Huế
1 NaN
2 Đà Lạt
dtype: str
0 2
1 <NA>
2 1
dtype: Int64Cột số thực và cột chữ str dùng NaN, giá trị "không phải số" của NumPy. Cột Int64 (chữ I hoa, số nguyên cho phép ô trống) dùng pd.NA và in là <NA>; bài Int64 có ô trống nói kỹ kiểu này. Ba dấu hiệu khác nhau, nhưng pandas coi cả ba là ô thiếu.
isna() và notna() trên một cột
isna() trả một Series True/False cùng độ dài, True ở ô thiếu. notna() là phép ngược lại. Hai Series này dùng được như mọi mask: đếm bằng sum(), lấy tỉ lệ bằng mean(), lọc dòng bằng df[mask]. Bảng don_hang.csv là bản sạch, chỉ cột ngay_giao có ô trống:
import pandas as pd
don = pd.read_csv("don_hang.csv")
co_ngay = don["ngay_giao"].notna()
print(don["ngay_giao"].isna().sum(), co_ngay.sum())
print(round(don["ngay_giao"].isna().mean() * 100, 1))
print(don.loc[~co_ngay, ["ma_don", "trang_thai"]].head(3))KẾT QUẢ
126 1400
8.3
ma_don trang_thai
3 DH00004 Đã hủy
9 DH00010 Đã hủy
13 DH00014 Đã hủyLấy mean() của mask là ra tỉ lệ ô trống: mỗi True góp 1, mỗi False góp 0. Dấu ~ đảo mask, nên ~co_ngay chọn các đơn chưa có ngày giao. Ba dòng đầu đều là đơn Đã hủy, một gợi ý đáng theo.
Thiếu ngẫu nhiên hay thiếu có hệ thống
Ô thiếu ngẫu nhiên do lỗi nhập rải đều khắp bảng: nhân viên quên gõ số lượng ở đơn này đơn kia, không theo quy luật nào. Ô thiếu có hệ thống dồn vào một nhóm và thường mang nghĩa. Cách thử là tính tỉ lệ ô trống theo từng nhóm, bằng groupby() trên mask của isna():
import pandas as pd
don = pd.read_csv("don_hang.csv")
trong = don["ngay_giao"].isna()
ti_le = trong.groupby(don["trang_thai"]).mean() * 100
print(ti_le)KẾT QUẢ
trang_thai
Hoàn thành 0.0
Hoàn trả 0.0
Đang giao 100.0
Đã hủy 100.0
Name: ngay_giao, dtype: float64Tỉ lệ dồn trọn vào hai nhóm: mọi đơn Đã hủy và Đang giao đều trống ngày giao, còn đơn hoàn thành hay hoàn trả không trống ô nào. Đó là thiếu có hệ thống, và ô trống ở đây có nghĩa "chưa giao". Xóa các dòng này là xóa toàn bộ đơn hủy khỏi báo cáo. Đổi "trang_thai" thành "kenh" rồi chạy lại: năm kênh chỉ chênh nhau trong khoảng 6% tới 10%, cao nhất là 10,3% của Ứng dụng, vì kênh bán không quyết định đơn có được giao hay không.
Nếu mọi nhóm có tỉ lệ gần bằng nhau, ô thiếu nhiều khả năng ngẫu nhiên: bỏ dòng hay điền đều không làm lệch một nhóm nào. Bài dropna() và fillna() là hai cách xử lý tiếp theo.
Kiểm tra nhanh
Sau
import pandas as pd,print(pd.Series([3, None], dtype="Int64").iloc[1])in ra gì?nan<NA>None
Sau
import numpy as npvàimport pandas as pd,print((pd.Series([1.0, np.nan]) == np.nan).sum())in ra gì?012
Trong ví dụ tính tỉ lệ ô trống theo
trang_thai, điều gì cho thấyngay_giaothiếu có hệ thống?- Cột có hơn 100 ô trống
- Ô trống dồn trọn vào nhóm
Đã hủyvàĐang giao - Ô trống hiện là
NaNchứ không là<NA>
Cột
so_luongcó 1% ô trống ở mỗi kênh bán, kênh nào cũng xấp xỉ như nhau. Những nhận định nào hợp lý?- Ô trống nhiều khả năng là thiếu ngẫu nhiên
- Ô trống chắc chắn có nghĩa "khách không mua"
- Bỏ các dòng này không làm lệch riêng một kênh nào
- Phải xóa cả cột
so_luong
Bài tập
Tính tỉ lệ ô trống theo từng nhóm
Bạn nghi một cột thiếu có hệ thống và muốn xem ô trống có dồn vào nhóm nào không. Viết thân hàm ti_le_trong(bang, cot, theo): với mỗi giá trị của cột theo, tính phần trăm số dòng mà cột cot bị thiếu.
Kết quả tính theo phần trăm: nhóm trống một nửa là
50.0, không làm tròn.Index là các giá trị của cột
theo, sắp tăng dần nhưgroupby()trả về.
Hàm không sửa bảng của nơi gọi.
Trả về: phần trăm ô trống của từng nhóm, một Series.
import pandas as pd
def ti_le_trong(bang, cot, theo):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Ô thiếu hiện là
NaNở cột số thực và cộtstr,<NA>(giá trịpd.NA) ở cộtInt64;Noneđưa vào cột thành một trong hai.So với
np.nanbằng==luôn choFalse; hỏi ô trống bằngisna(), ô có giá trị bằngnotna().isna().mean()là tỉ lệ ô trống, vìTruetính là1.Một ô
pd.NAlàm điều kiện củaifbáoTypeError.Thiếu có hệ thống dồn vào một nhóm; tìm bằng
isna()rồigroupby()vàmean().
Câu hỏi thường gặp
NaN trong pandas khác None thế nào?
None là giá trị của Python, NaN là số thực đặc biệt của NumPy. Khi bạn đưa None vào cột số hay cột str, pandas lưu thành NaN, nên isna() thấy cả hai như nhau. Bài NaN trong NumPy giải thích vì sao NaN không bằng chính nó.
Dùng isna() hay isnull() trong pandas?
Hai tên là một phương thức, cho cùng kết quả. Bài này dùng isna() vì tên đó khớp với dropna(), fillna(), notna(), nên dễ nhớ cả bộ.
Xử lý missing value thế nào cho đúng?
Bắt đầu từ lý do của ô trống, không từ lệnh. Ô trống theo nhóm, như ngày giao của đơn hủy, là một thông tin: giữ nguyên, hoặc thay bằng một giá trị ghi rõ điều nó muốn nói. Ô trống lác đác vì gõ sót ở cột không thể thiếu thì bỏ dòng bằng dropna(); ở cột số có thể thay bằng trung vị qua fillna(). Bài Blog làm sạch dữ liệu với pandas đặt các bước này vào cả quy trình.
sum() và mean() có tính ô NaN không?
Không. Mặc định chúng bỏ qua ô thiếu: mean() của [1.5, NaN, 3.0] là 2,25, chia cho hai ô có giá trị. Muốn biết bao nhiêu ô được tính thì dùng count(), còn len() đếm cả ô trống.
Chủ đề
Dữ liệu của bài
- Tải xuống
don_hang.csv
CSV · 109.5 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.