dropna() trong pandas: xóa dòng thiếu dữ liệu
Bài 3/17 · Chương 6
Làm sạch dữ liệu
- 6 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 11
Phương thức dropna() của pandas xóa các dòng có ô thiếu dữ liệu và trả về một bảng mới. Bạn dùng nó khi một dòng thiếu thứ bắt buộc cho phép tính, như đơn không ghi số lượng thì không tính được doanh thu. Chỗ khó là chọn đúng cột cần xét để không xóa nhầm dòng còn dùng được.
Cần biết trước: dữ liệu thiếu và drop() và rename().
Bỏ dòng có ô trống bằng dropna()
Gọi trần, dropna() coi một ô trống ở bất kỳ cột nào là đủ lý do để bỏ cả dòng. Như drop(), nó không sửa bảng gốc mà trả bảng mới, nên bạn so được số dòng trước và sau:
import pandas as pd
don = pd.read_csv("don_hang_tho.csv")
con = don.dropna()
print(len(don), "->", len(con))
print(con["trang_thai"].value_counts())KẾT QUẢ
1556 -> 1418
trang_thai
Hoàn thành 1330
Hoàn trả 88
Name: count, dtype: int64Bảng mất 138 dòng, và trong số đơn còn lại không còn đơn Đã hủy hay Đang giao nào. Lý do: hai loại đơn đó luôn trống ngay_giao, một ô trống có nghĩa như bài trước đã chỉ ra. dropna() không biết ô nào trống hợp lệ, nó chỉ thấy ô trống.
Chỉ xét cột quan trọng với subset=
subset= nhận list tên cột: dropna() chỉ bỏ dòng trống ở một trong các cột đó, ô trống ở cột khác được giữ. Để tính doanh thu và đếm đơn theo trạng thái, hai cột bắt buộc là so_luong và trang_thai:
import pandas as pd
don = pd.read_csv("don_hang_tho.csv")
cot = ["so_luong", "trang_thai"]
con = don.dropna(subset=cot)
print(len(don), "->", len(con))
print(con[cot].isna().sum().sum(), con["ngay_giao"].isna().sum())KẾT QUẢ
1556 -> 1544
0 126Chỉ 12 dòng bị bỏ: sáu dòng trống số lượng, sáu dòng trống trạng thái. Hai cột bắt buộc không còn ô trống nào, còn ngay_giao vẫn giữ ô trống của đơn hủy. Đổi subset=cot thành subset=["so_luong"] rồi chạy lại: dòng đầu in 1556 -> 1550, chỉ sáu dòng trống số lượng bị bỏ.
Kết quả của dropna() giữ index cũ, nên index có chỗ hở ở các dòng đã bỏ. Muốn đánh số lại từ 0 thì gọi thêm reset_index(drop=True).
Bỏ dòng trống hẳn với how="all" và thresh=
File xuất từ bảng tính hay có dòng trống ở cuối, hay phiếu khảo sát chỉ điền tên rồi bỏ. Mặc định how="any" bỏ dòng có một ô trống trở lên. how="all" chỉ bỏ dòng mà mọi ô (trong subset, nếu có) đều trống. thresh=k giữ dòng có ít nhất k ô có giá trị, một mức ở giữa hai cách trên:
import numpy as np
import pandas as pd
phieu = pd.DataFrame({
"ten": ["Lan", "Minh", np.nan, "Ngọc", "Quân"],
"chi_nhanh": ["Huế", np.nan, np.nan, "Đà Lạt", np.nan],
"diem": [8.0, 7.5, np.nan, np.nan, np.nan],
"y_kien": ["Tốt", np.nan, np.nan, np.nan, np.nan],
})
print(phieu.dropna(how="all").index.to_list())
print(phieu.dropna(thresh=2).index.to_list())
print(phieu.dropna().index.to_list())KẾT QUẢ
[0, 1, 3, 4]
[0, 1, 3]
[0]Dòng 2 trống cả bốn ô nên how="all" bỏ nó. Với thresh=2, dòng của Quân chỉ có một ô có giá trị nên cũng bị bỏ. Không tham số, chỉ phiếu của Lan đủ cả bốn ô. In index.to_list() thay cho cả bảng giúp bạn thấy ngay dòng nào còn lại.
Kiểm tra nhanh
Trong ví dụ phiếu khảo sát,
phieu.dropna(thresh=3)giữ lại những dòng nào?- Chỉ dòng
0 - Dòng
0và1 - Dòng
0,1và3
- Chỉ dòng
Sau
import numpy as npvàimport pandas as pd,print(len(pd.DataFrame({"a": [1, np.nan, np.nan], "b": [2, 3, np.nan]}).dropna(how="all")))in ra gì?123
Bảng đơn hàng có
ngay_giaotrống ở mọi đơn hủy. Saudon.dropna(), điều gì xảy ra?- Python báo lỗi vì cột có ô trống hợp lệ
- Mọi đơn hủy biến mất khỏi bảng mới
- Chỉ các dòng trống
so_luongbị bỏ
Sau
don.dropna(subset=["so_luong"])mà không gán, những câu nào đúng?donvẫn còn các dòng trốngso_luongdonđã mất các dòng trốngso_luong- Muốn giữ kết quả phải viết
don = don.dropna(subset=["so_luong"]) dropna()báo lỗi vì thiếuinplace=True
Bài tập
Lọc phiếu đăng ký còn dùng được
Form đăng ký khóa học xuất ra một bảng, mỗi dòng một phiếu. Viết thân hàm loc_phieu(bang, cot_bat_buoc, toi_thieu) giữ lại các phiếu dùng được:
Phiếu không trống ô nào trong list cột
cot_bat_buoc.Phiếu có ít nhất
toi_thieuô có giá trị, tính trên mọi cột.
Giữ nguyên index và thứ tự của các dòng còn lại. Hàm không sửa bảng của nơi gọi.
Trả về: các phiếu dùng được, một DataFrame.
import pandas as pd
def loc_phieu(bang, cot_bat_buoc, toi_thieu):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
dropna()gọi trần bỏ dòng nào có ô trống ở bất kỳ cột nào, trả bảng mới; bảng gốc giữ nguyên, nên phải gán lại.subset=["so_luong"]chỉ xét các cột trong list; ô trống ở cột khác được giữ.how="all"chỉ bỏ dòng trống mọi ô đang xét;how="any"là mặc định.thresh=kgiữ dòng có ít nhấtkô có giá trị.Kết quả giữ index cũ; in số dòng trước và sau mỗi lần bỏ để biết đã mất bao nhiêu.
Câu hỏi thường gặp
dropna(subset=) nhận một cột hay nhiều cột?
Cả hai. Một cột thì viết subset="so_luong" hay subset=["so_luong"], nhiều cột thì viết list. Dòng bị bỏ khi trống ở một trong các cột đó, hoặc ở mọi cột đó nếu thêm how="all".
Làm sao xóa cột thiếu nhiều dữ liệu thay cho xóa dòng?
Thêm axis=1: df.dropna(axis=1, thresh=k) bỏ các cột có ít hơn k ô có giá trị. Trước khi bỏ một cột, hãy đếm ô thiếu như bài kiểm tra chất lượng dữ liệu để biết mình mất gì.
Nên xóa dòng thiếu hay điền giá trị vào?
Xóa khi dòng thiếu thứ bắt buộc cho phép tính và số dòng mất ít. Ô trống mang nghĩa, hay xóa làm mất nhiều dòng, thì điền bằng fillna(). Bài dữ liệu thiếu chỉ cách xem ô trống ngẫu nhiên hay có hệ thống; bài Blog làm sạch dữ liệu với pandas đặt bước bỏ dòng vào cả quy trình làm sạch.
Sau dropna() index bị nhảy số thì làm sao?
Gọi reset_index(drop=True) để đánh số lại từ 0. drop=True bỏ index cũ thay cho đưa nó thành một cột mới.
Chủ đề
Dữ liệu của bài
- Tải xuống
don_hang_tho.csv
CSV · 111.93 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.