interpolate() trong pandas: lấp ngày trống, bỏ gai cảm biến
Bài 10/17 · Chương 8
Dữ liệu thời gian
- 6 phút
- Cơ bản
- Python 3.14
- Cập nhật
Trong bài này · 11
interpolate() trong pandas lấp ô trống của chuỗi thời gian bằng cách nối thẳng hai số đo hai bên: trống giữa 10 và 40 thì điền 20 rồi 30. Với dữ liệu cảm biến, việc đó chỉ an toàn sau khi bạn đổi các số đo hỏng, như "gai" 999, thành ô trống, và giới hạn số ô được lấp bằng limit=.
Cần biết trước: date_range() và asfreq(), fillna() và NaN trong NumPy.
Lấp ô trống bằng interpolate()
Lấy hai cột mốc trên đường làm ví dụ, một ở số 10, một ở số 40, giữa chúng là hai mốc bị mất: kẻ một đường thẳng nối hai mốc còn lại, rồi đọc vị trí trên đường đó. interpolate() làm đúng như vậy với mỗi đoạn trống:
import numpy as np
import pandas as pd
do = pd.Series([10.0, np.nan, np.nan, 40.0])
print("interpolate:", do.interpolate().to_list())
print("ffill: ", do.ffill().to_list())
print("fillna mean:", do.fillna(do.mean()).to_list())KẾT QUẢ
interpolate: [10.0, 20.0, 30.0, 40.0]
ffill: [10.0, 10.0, 10.0, 40.0]
fillna mean: [10.0, 25.0, 25.0, 40.0]ffill() chép số đo trước đó, fillna() với trung bình điền một số cho mọi ô, như ở bài fillna(). Với số đo thay đổi dần theo ngày, như bụi mịn hay nhiệt độ, đường thẳng của interpolate() thường gần thật hơn. Đổi 40.0 thành 70.0 rồi chạy lại: dòng đầu in [10.0, 30.0, 50.0, 70.0].
Lấp ngày trống của chuỗi PM2.5
Trong file khong_khi_tho.csv của bộ dữ liệu thực hành, cảm biến ở Hà Nội mất ba ngày liền 10–12/02/2025. Sau asfreq("D"), ba ngày đó có dòng với ô trống; interpolate() lấp chúng:
import pandas as pd
kk = pd.read_csv("khong_khi_tho.csv", parse_dates=["ngay"])
ha_noi = kk[kk["tinh"] == "Hà Nội"].set_index("ngay").sort_index()
pm25 = ha_noi["pm25"].asfreq("D")
doan = pm25.loc["2025-02-08":"2025-02-14"]
print(pd.DataFrame({"goc": doan,
"lap_het": doan.interpolate().round(1),
"lap_2": doan.interpolate(limit=2).round(1)}))KẾT QUẢ
goc lap_het lap_2
ngay
2025-02-08 48.1 48.1 48.1
2025-02-09 51.4 51.4 51.4
2025-02-10 NaN 51.2 51.2
2025-02-11 NaN 51.0 51.0
2025-02-12 NaN 50.9 NaN
2025-02-13 50.7 50.7 50.7
2025-02-14 97.9 97.9 97.9Cột lap_het điền đủ ba ngày trên đường thẳng từ 51,4 tới 50,7. limit=2 chỉ cho lấp tối đa 2 ô liên tiếp của mỗi đoạn trống, tính từ đầu đoạn, nên ngày 12/02 vẫn trống. Đoạn trống càng dài, đường thẳng càng xa thực tế: ngày 14/02 bụi vọt lên 97,9, và một đường thẳng không đoán được điều đó. Đặt limit= là cách nói "chỉ đoán khi khoảng trống đủ ngắn".
Đổi gai cảm biến thành NaN trước khi lấp
Có khi cảm biến không bỏ trống mà gửi một số vô lý, như 999.0 cho PM2.5, một "gai" trên biểu đồ. Ô đó không trống, nên interpolate() để yên nó. Bạn phải tự đổi gai thành NaN trước: mask(điều kiện) thay ô thỏa điều kiện bằng NaN, giữ nguyên các ô khác.
import pandas as pd
kk = pd.read_csv("khong_khi_tho.csv", parse_dates=["ngay"])
da_nang = kk[kk["tinh"] == "Đà Nẵng"].set_index("ngay").sort_index()
pm25 = da_nang["pm25"]
sach = pm25.mask(pm25 >= 900).interpolate()
print(pm25.loc["2025-09-01":"2025-09-03"].to_list())
print(sach.loc["2025-09-01":"2025-09-03"].round(2).to_list())
print("Tháng 9 trước:", pm25.loc["2025-09"].mean().round(1))
print("Tháng 9 sau: ", sach.loc["2025-09"].mean().round(1))KẾT QUẢ
[18.3, 999.0, 10.0]
[18.3, 14.15, 10.0]
Tháng 9 trước: 76.9
Tháng 9 sau: 11.1Ngày 02/09 thành 14,15, nằm giữa hai ngày bên cạnh. Trung bình tháng 9 của Đà Nẵng giảm từ 76,9 xuống 11,1: hai gai 999 trong tháng đã đủ làm con số tăng gần bảy lần. Ngưỡng 900 là một quyết định của người làm dữ liệu, dựa trên hiểu biết rằng PM2.5 ngoài trời hiếm khi vượt vài trăm.
Kiểm tra nhanh
Sau
import pandas as pd,pd.Series([2.0, None, None, None, 10.0]).interpolate().to_list()cho kết quả gì?[2.0, 4.0, 6.0, 8.0, 10.0][2.0, 2.0, 2.0, 2.0, 10.0][2.0, 6.0, 6.0, 6.0, 10.0][2.0, 10.0, 10.0, 10.0, 10.0]
Sau
import pandas as pd,pd.Series([2.0, None, None, None, 10.0]).interpolate(limit=1).to_list()cho kết quả gì?[2.0, 4.0, 6.0, 8.0, 10.0][2.0, 4.0, nan, nan, 10.0][2.0, nan, nan, 8.0, 10.0][2.0, 2.0, nan, nan, 10.0]
Chuỗi
docó gai 999 và vài ô trống. Những cách nào cho chuỗi đã bỏ gai và lấp ô?do.mask(do >= 900).interpolate()do.interpolate().mask(do >= 900)do.where(do < 900).interpolate()do.interpolate()
Trung bình PM2.5 tháng 9 của Đà Nẵng là 76,9 trên dữ liệu thô và 11,1 sau khi bỏ gai. Vì sao chênh nhiều thế?
- Vì
interpolate()làm giảm mọi số đo - Vì vài số 999 kéo trung bình của cả tháng lên rất cao
- Vì tháng 9 có nhiều ngày trống
- Vì
mean()tính cả ôNaN
- Vì
Bài tập
Làm sạch chuỗi số đo cảm biến
Đội vận hành cần một hàm làm sạch dùng cho mọi trạm đo. do là một Series số đo mỗi ngày (index là ngày liên tiếp, có ô trống và có thể có gai). nguong là số đo nhỏ nhất bị coi là gai; toi_da là số ô liên tiếp lớn nhất được lấp. Viết thân hàm lam_sach(do, nguong, toi_da):
Số đo lớn hơn hay bằng
nguonglà gai và được coi như ô trống.Lấp ô trống bằng
interpolate(), mỗi đoạn trống lấp tối đatoi_daô tính từ đầu đoạn; phần còn lại để trống.
Hàm không sửa chuỗi do của nơi gọi.
Trả về: chuỗi số đo đã làm sạch, một Series.
import pandas as pd
def lam_sach(do, nguong, toi_da):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
interpolate()lấp mỗi đoạn trống bằng đường thẳng nối hai số đo hai bên; ô trống ở đầu chuỗi vẫn trống.limit=nchỉ lấp tối đanô liên tiếp của mỗi đoạn, tính từ đầu đoạn: đoạn trống dài thì đừng đoán hết.interpolate()không biết số hỏng: đổi gai thànhNaNtrước bằngmask(do >= nguong)haywhere(do < nguong).Gai làm sai trung bình tháng rất mạnh; luôn bỏ gai trước khi
resample().mean().
Câu hỏi thường gặp
Interpolate python có cần index là ngày không?
Không: mặc định interpolate() coi các dòng cách đều nhau, bất kể index. Vì vậy hãy asfreq("D") trước để mỗi ngày có đúng một dòng, như ở bài date_range() và asfreq(); nếu không, hai số đo cách nhau ba ngày vẫn bị coi là kề nhau.
Khi nào nên dùng ffill() thay cho interpolate()?
Khi giá trị giữ nguyên tới lần đổi sau, như giá bán, trạng thái đơn hay hạng thành viên. Giá hôm qua là 45.000 đ thì hôm nay vẫn 45.000 đ cho tới khi có giá mới; đường thẳng giữa hai mức giá không có ý nghĩa.
Làm sao chọn ngưỡng cho gai?
Dựa trên hiểu biết về số đo: PM2.5 ngoài trời ở Việt Nam hiếm khi vượt vài trăm, còn 999 là mã lỗi quen thuộc của nhiều thiết bị. In vài số lớn nhất bằng nlargest() trước khi chọn. Nếu cảm biến ghi mã lỗi bằng chữ, như "ERR", hãy tìm chúng bằng biểu thức chính quy rồi đổi thành NaN.
Lấp xong rồi tính trung bình tháng thế nào?
Gọi resample("ME").mean() trên chuỗi đã làm sạch, như ở bài resample(). Dự án dữ liệu PM2.5 ghép mọi bước này cho cả sáu tỉnh.
Chủ đề
Dữ liệu của bài
- Tải xuống
khong_khi_tho.csv
CSV · 97.82 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.