fillna(), ffill(), bfill() trong pandas: điền dữ liệu thiếu
Bài 4/17 · Chương 6
Làm sạch dữ liệu
- 7 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 12
Phương thức fillna() của pandas điền một giá trị vào các ô thiếu, còn ffill() và bfill() lấy giá trị của ô kề bên. Bạn dùng chúng khi ô trống có một nghĩa rõ ràng, như đơn không chọn topping là "Không", hay khi cần một con số tạm cho phép tính mà vẫn giữ được mọi dòng.
Cần biết trước: dữ liệu thiếu, thống kê mô tả và transform().
Điền một giá trị bằng fillna()
Quán cà phê ghi đơn trên máy tính bảng, và ô topping để trống khi khách không chọn gì. Ô trống ở đây nói một điều rõ ràng, nên điền chữ "Không" là đúng nghĩa. fillna() nhận một giá trị cho mọi ô, hoặc một dict để mỗi cột điền một kiểu:
import numpy as np
import pandas as pd
don = pd.DataFrame({
"mon": ["Bạc xỉu", "Cà phê sữa", "Trà đào", "Bạc xỉu"],
"topping": [np.nan, "Thạch", np.nan, "Trân châu"],
"ghi_chu": ["Ít đá", np.nan, np.nan, np.nan],
})
sach = don.fillna({"topping": "Không", "ghi_chu": ""})
print(sach)
print(don["topping"].isna().sum(), sach["topping"].isna().sum())KẾT QUẢ
mon topping ghi_chu
0 Bạc xỉu Không Ít đá
1 Cà phê sữa Thạch
2 Trà đào Không
3 Bạc xỉu Trân châu
2 0Như dropna(), fillna() trả bảng mới và để don nguyên vẹn, nên dòng cuối in hai số khác nhau. Cột không có trong dict giữ nguyên ô trống của nó.
Khi nào không nên điền
Điền sai làm lệch trung bình. File diem_thi.csv có cột ly trống ở mọi thí sinh ban KHXH: họ không thi môn này. Điền 0 vào những ô đó là nói rằng họ thi và được không điểm:
import pandas as pd
diem = pd.read_csv("diem_thi.csv")
print(diem["ly"].isna().sum(), "ô trống")
print("Trung bình bỏ qua ô trống:", round(diem["ly"].mean(), 2))
print("Trung bình sau fillna(0):", round(diem["ly"].fillna(0).mean(), 2))KẾT QUẢ
196 ô trống
Trung bình bỏ qua ô trống: 6.58
Trung bình sau fillna(0): 4.0mean() mặc định bỏ qua ô trống, nên con số đầu là điểm trung bình thật của những người thi. Sau fillna(0), gần hai trăm ô 0 kéo trung bình xuống còn khoảng bốn điểm, một con số không mô tả ai cả. Ô trống có hệ thống như thế này nên để nguyên. Hai thí sinh vắng thi môn toan cũng vậy: điền điểm cho người vắng là bịa ra một bài thi.
Điền bằng trung vị của nhóm
Khi ô thiếu là ngẫu nhiên và cần một số tạm, trung vị (median) an toàn hơn trung bình: vài giá trị rất lớn không kéo nó đi. Số ngày giao thường khác nhau theo chi nhánh, nên điền trung vị của chính chi nhánh đó thì sát hơn trung vị chung. groupby().transform("median") trả trung vị của nhóm, đặt đúng vào từng dòng:
import numpy as np
import pandas as pd
giao = pd.DataFrame({
"chi_nhanh": ["Huế", "Huế", "Huế", "Hà Nội", "Hà Nội", "Hà Nội"],
"so_ngay": [2, np.nan, 3, 1, 1, np.nan],
})
tv_nhom = giao.groupby("chi_nhanh")["so_ngay"].transform("median")
giao["dien_chung"] = giao["so_ngay"].fillna(giao["so_ngay"].median())
giao["dien_nhom"] = giao["so_ngay"].fillna(tv_nhom)
print(giao)KẾT QUẢ
chi_nhanh so_ngay dien_chung dien_nhom
0 Huế 2.0 2.0 2.0
1 Huế NaN 1.5 2.5
2 Huế 3.0 3.0 3.0
3 Hà Nội 1.0 1.0 1.0
4 Hà Nội 1.0 1.0 1.0
5 Hà Nội NaN 1.5 1.0Trung vị chung là 1.5 cho mọi ô trống. Trung vị theo nhóm cho Huế 2.5 và Hà Nội 1.0, đúng với nhịp giao của từng nơi. fillna() nhận một Series cùng index: ô trống ở dòng nào lấy giá trị ở dòng đó của Series.
Lấy giá trị kề bên với ffill() và bfill()
Cảm biến của tủ bánh chỉ gửi một số đo khi nhiệt độ đổi, nên giờ nào không có tin thì tủ vẫn ở mức đã báo trước đó. Lấp ô trống bằng số gần nhất phía trên là việc của ffill() (forward fill); bfill() (backward fill) lấy số gần nhất phía dưới:
import numpy as np
import pandas as pd
tu = pd.DataFrame({
"gio": ["08:00", "09:00", "10:00", "11:00", "12:00"],
"nhiet_do": [np.nan, 4.0, np.nan, np.nan, 6.5],
})
tu["ffill"] = tu["nhiet_do"].ffill()
tu["bfill"] = tu["nhiet_do"].bfill()
print(tu)KẾT QUẢ
gio nhiet_do ffill bfill
0 08:00 NaN NaN 4.0
1 09:00 4.0 4.0 4.0
2 10:00 NaN 4.0 6.5
3 11:00 NaN 4.0 6.5
4 12:00 6.5 6.5 6.5Lúc 08:00 chưa có số đo nào phía trên nên ffill() để trống. Ở đây ffill() mới đúng: lúc 10:00 tủ vẫn ở 4 độ như lần báo 09:00, còn bfill() mượn số đo của tương lai. Cả hai đi theo thứ tự dòng, nên bảng phải sắp theo thời gian trước. Đổi .ffill() thành .ffill(limit=1) rồi chạy lại: chỉ ô 10:00 được điền, ô 11:00 vẫn là NaN.
Kiểm tra nhanh
Sau
import numpy as npvàimport pandas as pd,print(pd.Series([np.nan, 4.0, np.nan, 7.0]).ffill().to_list())in ra gì?[nan, 4.0, 4.0, 7.0][4.0, 4.0, 7.0, 7.0][4.0, 4.0, 4.0, 7.0]
Sau
import numpy as npvàimport pandas as pd,print(pd.Series([np.nan, 4.0, np.nan, 7.0]).bfill().to_list())in ra gì?[nan, 4.0, 4.0, 7.0][4.0, 4.0, 7.0, 7.0][4.0, 4.0, 4.0, 7.0]
Trong ví dụ điểm môn Lý, vì sao trung bình sau
fillna(0)thấp hơn hẳn?fillna(0)làm tròn điểm xuống- Thí sinh không thi môn này bị tính như được
0điểm mean()không bỏ qua ô trống
Những ô trống nào hợp để điền bằng
fillna()?- Ô topping để trống khi khách không chọn, điền "Không"
- Điểm môn Lý của thí sinh ban KHXH, điền
0 - Vài ô số ngày giao bị quên ngẫu nhiên, điền trung vị của chi nhánh
- Điểm Toán của thí sinh vắng thi, điền trung vị cả lớp
Bài tập
Điền ô trống bằng trung vị của nhóm
Bảng đơn hàng có vài ô số bị quên nhập ngẫu nhiên. Viết thân hàm dien_trung_vi_nhom(bang, cot, theo): điền mỗi ô trống của cột cot bằng trung vị của cột đó trong cùng nhóm, nhóm theo cột theo.
Ô có giá trị giữ nguyên.
Nhóm mà cột
cottrống hết thì ô của nhóm đó vẫn trống.
Kết quả giữ index và tên cột cot. Hàm không sửa bảng của nơi gọi.
Trả về: cột cot đã điền, một Series.
import pandas as pd
def dien_trung_vi_nhom(bang, cot, theo):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
fillna(gia_tri)điền mọi ô trống;fillna({"cot": gia_tri})điền theo từng cột; kết quả là bảng mới.Điền sai làm lệch trung bình: ô trống nghĩa là "không có" thì để nguyên, đừng điền
0.Trung vị ít bị giá trị lớn kéo đi;
groupby().transform("median")cho trung vị của nhóm trên từng dòng.ffill()lấy giá trị gần nhất phía trên,bfill()lấy phía dưới; bảng phải sắp đúng thứ tự trước.fillna(method="ffill")báoTypeErrortrên pandas 3; viếtffill().
Câu hỏi thường gặp
fillna() điền theo cột khác nhau thế nào?
Truyền một dict, mỗi khóa là tên cột và giá trị là thứ điền vào: df.fillna({"topping": "Không", "so_ngay": 0}). Cột không có trong dict giữ nguyên ô trống, như ví dụ quán cà phê ở đầu bài.
Vì sao fillna(inplace=True) trên một cột không đổi gì?
Lệnh df["cot"].fillna(0, inplace=True) sửa một bản sao của cột, nên trên pandas 3 bảng df giữ nguyên; pandas in một cảnh báo ChainedAssignmentError để nhắc chuyện này. Viết df["cot"] = df["cot"].fillna(0) hay df = df.fillna({"cot": 0}). Bài copy-on-write giải thích vì sao.
Nên điền trung bình hay trung vị?
Trung vị khi cột lệch, có vài giá trị rất lớn như tiền đơn hàng hay số ngày giao. Trung bình chỉ hợp với cột phân bố đều quanh giữa. Bài thống kê mô tả so hai số này trên cùng một cột, còn bài làm sạch dữ liệu với pandas đặt việc điền ô trống vào cả quy trình làm sạch.
pandas ffill() theo từng nhóm được không?
Được: df.groupby("tu")["nhiet_do"].ffill() chỉ lấy giá trị phía trên trong cùng một tủ, không lấy sang tủ khác. Bảng vẫn phải sắp theo thời gian trong mỗi nhóm trước.
Chủ đề
Dữ liệu của bài
- Tải xuống
diem_thi.csv
CSV · 38.56 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.