date_range() và asfreq() trong pandas: tìm ngày bị thiếu
Bài 9/17 · Chương 8
Dữ liệu thời gian
- 7 phút
- Cơ bản
- Python 3.14
- Cập nhật
Trong bài này · 11
pd.date_range() trong pandas tạo một dãy ngày đều nhau, như mọi ngày từ 01/01 tới 31/12/2025, còn asfreq("D") chèn vào chuỗi số đo những ngày đang vắng mặt. Ghép hai thứ đó, bạn tìm ngày bị thiếu trong dữ liệu cảm biến: so dãy ngày đầy đủ với những ngày thật sự có dòng.
Cần biết trước: resample(), lọc theo ngày và dữ liệu thiếu.
Tạo dãy ngày bằng pd.date_range()
pd.date_range() nhận ngày đầu và ngày cuối (hoặc số mốc periods=) cùng bước nhảy freq=, rồi trả về một DatetimeIndex có đủ các mốc ở giữa.
import pandas as pd
ca_nam = pd.date_range("2025-01-01", "2025-12-31", freq="D")
print("Số ngày:", len(ca_nam))
tuan = pd.date_range("2026-01-01", periods=4, freq="W")
print(tuan.strftime("%d/%m").tolist())
cuoi_thang = pd.date_range("2026-01-31", periods=3, freq="ME")
print(cuoi_thang.strftime("%d/%m").tolist())KẾT QUẢ
Số ngày: 365
['04/01', '11/01', '18/01', '25/01']
['31/01', '28/02', '31/03']Năm 2025 không nhuận nên có 365 ngày, kể cả ngày đầu và ngày cuối. freq="W" nhảy tới từng Chủ nhật, bắt đầu từ Chủ nhật đầu tiên sau 01/01/2026; "ME" tự biết tháng 2 chỉ có 28 ngày. Đổi "2025-12-31" thành "2025-06-30" rồi chạy lại: dòng đầu in Số ngày: 181.
So dãy ngày đầy đủ với ngày có số đo
File khong_khi_tho.csv của bộ dữ liệu thực hành ghi mỗi ngày một dòng số đo cho từng tỉnh trong năm 2025. Trạm nào mất điện thì ngày đó không có dòng. Năm 2025 có 365 ngày, nên một tỉnh có ít dòng hơn là đã vắng ngày. Muốn biết vắng ngày nào, lấy dãy ngày đầy đủ từ date_range() rồi giữ những ngày không có trong cột ngay của tỉnh đó:
import pandas as pd
kk = pd.read_csv("khong_khi_tho.csv", parse_dates=["ngay"])
lich = pd.date_range("2025-01-01", "2025-12-31", freq="D")
co_do = kk.loc[kk["tinh"] == "Hà Nội", "ngay"]
print("Hà Nội có", len(co_do), "ngày đo trên", len(lich), "ngày")
vang = lich[~lich.isin(co_do)]
print(vang.strftime("%d/%m").tolist())KẾT QUẢ
Hà Nội có 357 ngày đo trên 365 ngày
['10/02', '11/02', '12/02', '21/05', '02/06', '29/08', '22/12', '23/12']lich.isin(co_do) cho True ở ngày có đo; dấu ~ đảo lại, nên vang chỉ còn tám ngày không có dòng nào, ba ngày trong số đó liền nhau từ 10 tới 12/02. Cách này không cần sắp bảng hay đặt index, và khoảng ngày là do bạn chọn.
Đặt số đo lên lưới ngày bằng asfreq("D")
Khi cần tính tiếp trên chuỗi số đo, như lấp ngày trống hay tính trung bình trượt, bạn muốn những ngày vắng hiện thành dòng thật. asfreq("D") làm việc đó trên một bảng có DatetimeIndex: nó dựng lưới mỗi ngày một dòng, từ ngày đầu tới ngày cuối của index, và giữ nguyên các dòng đã có.
import pandas as pd
kk = pd.read_csv("khong_khi_tho.csv", parse_dates=["ngay"])
hn = kk[kk["tinh"] == "Hà Nội"].set_index("ngay").sort_index()
luoi = hn.asfreq("D")
print(luoi.loc["2025-02-09":"2025-02-13",
["tinh", "pm25", "mua_mm"]])KẾT QUẢ
tinh pm25 mua_mm
ngay
2025-02-09 Hà Nội 51.4 0.0
2025-02-10 NaN NaN NaN
2025-02-11 NaN NaN NaN
2025-02-12 NaN NaN NaN
2025-02-13 Hà Nội 50.7 0.0Ba dòng 10–12/02 là dòng asfreq() vừa thêm: chúng trống ở mọi cột, kể cả tinh. Bảng luoi giờ có đủ 365 dòng, và mỗi ngày vắng là một dòng NaN đúng chỗ của nó trong thời gian.
Đếm ngày bị thiếu của từng tháng
Mỗi ngày vắng trong vang được đếm là 1. Đặt số 1 lên index vang rồi resample("ME").sum() cộng số ngày vắng theo từng tháng:
import pandas as pd
kk = pd.read_csv("khong_khi_tho.csv", parse_dates=["ngay"])
lich = pd.date_range("2025-01-01", "2025-12-31", freq="D")
co_do = kk.loc[kk["tinh"] == "Hà Nội", "ngay"]
vang = lich[~lich.isin(co_do)]
dem = pd.Series(1, index=vang).resample("ME").sum()
dem.index = dem.index.strftime("%m/%Y")
print(dem[dem > 0].to_string())KẾT QUẢ
02/2025 3
05/2025 1
06/2025 1
08/2025 1
12/2025 2Tháng 2 thiếu nhiều nhất, 3 ngày liền. Chuỗi dem chỉ chạy từ tháng 2 tới tháng 12, vì resample() bắt đầu ở ngày vắng đầu tiên; muốn có cả tháng 1 với số 0, đánh dấu trên toàn bộ lich như bài tập cuối bài. Một tháng thiếu 3 ngày còn tính được trung bình tháng, nhưng nên ghi chú trong báo cáo; bài interpolate() cho cách lấp các ngày trống trước khi tính tiếp.
Kiểm tra nhanh
Sau
import pandas as pd,len(pd.date_range("2024-02-01", "2024-03-01", freq="D"))cho kết quả gì?29302831
Sau
import pandas as pd,pd.date_range("2025-03-31", periods=3, freq="ME").strftime("%d/%m").tolist()cho kết quả gì?['31/03', '30/04', '31/05']['31/03', '31/04', '31/05']['01/04', '01/05', '01/06']['31/03', '01/04', '02/04']
Chuỗi số đo bắt đầu ngày 03/03, nhưng bạn cần đếm ngày thiếu từ 01/03. Những cách nào đếm được cả 01/03 và 02/03?
~pd.date_range("2025-03-01", "2025-03-31", freq="D").isin(do.index)do.asfreq("D").isna()do.reindex(pd.date_range("2025-03-01", "2025-03-31", freq="D")), rồi đánh dấu các ngày không có trongdo.indexdo.isna()
Sau asfreq("D"), cột pm25 có 12 ô trống, nhưng so với date_range() chỉ có 8 ngày vắng. Câu nào giải thích đúng?
asfreq("D")chèn thừa 4 ngày- 4 ngày có dòng gốc nhưng số đo
pm25bị trống date_range()bỏ sót 4 ngày cuối thángisna()đếm cả số 0 là ô trống
Bài tập
Đếm ngày trống của từng tháng
Kỹ thuật viên cần biết mỗi tháng cảm biến bỏ trống bao nhiêu ngày, trong một khoảng do họ chọn. do là một Series số đo, index là ngày có đo (kiểu ngày, có thể chưa sắp; ô số đo có thể trống). tu, den là hai chuỗi ngày ISO. Viết thân hàm ngay_trong_theo_thang(do, tu, den):
Ngày trống là ngày từ
tutớiden(lấy cả hai đầu) không có trong index củado. Ngày có trong index nhưng ô số đo trống vẫn tính là có đo.Đếm theo tháng: index là ngày cuối tháng như
resample("ME")cho ra; tháng không trống ngày nào có số0.
Hàm không sửa chuỗi do của nơi gọi.
Trả về: số ngày trống của từng tháng, một Series.
import pandas as pd
def ngay_trong_theo_thang(do, tu, den):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
pd.date_range(dau, cuoi, freq=)haypd.date_range(dau, periods=n, freq=)tạo một dãy ngày đều nhau, lấy cả hai đầu.asfreq("D")trải chuỗi có DatetimeIndex ra đủ mọi ngày giữa ngày đầu và ngày cuối đang có, dòng chèn mới trống ở mọi cột.asfreq()cần index không trùng: bảng nhiều tỉnh phải lọc một tỉnh trước.Ngày thiếu hẳn khác ngày có dòng nhưng số đo trống: đếm ngày thiếu bằng phép so với
date_range(), không bằng ô trống của cột số đo.Muốn đếm cả ngày thiếu ở hai đầu, so một dãy
date_range()do bạn chọn với index của dữ liệu.
Câu hỏi thường gặp
Tìm ngày bị thiếu khi dữ liệu có nhiều tỉnh thế nào?
Làm từng tỉnh: lọc một tỉnh rồi asfreq("D") như trong bài, hay so mỗi tỉnh với cùng một dãy pd.date_range() của cả năm. Đếm số dòng mỗi tỉnh bằng kk.groupby("tinh").size() trước cũng cho biết nhanh tỉnh nào hụt ngày.
Pandas asfreq khác resample ở đâu?
asfreq("D") chỉ đặt chuỗi lên lưới ngày đều: giữ giá trị ở những ngày đã có, chèn ô trống ở ngày thiếu, không tính gì. resample("D") gom các dòng vào từng ngày rồi bạn gọi sum() hay mean(). Với số đo mỗi ngày một dòng, hai cách cho cùng lưới ngày; khác nhau khi đổi sang kỳ dài hơn, như tuần, xem bài resample().
Pandas date range theo giờ thì viết thế nào?
Dùng freq="h" cho mỗi giờ và freq="min" cho mỗi phút, theo tên của pandas 3: pd.date_range("2026-01-01", periods=24, freq="h"). Tên cũ "H" không còn dùng được; bảng đầy đủ ở bảng tra tần suất pandas.
Chủ đề
Dữ liệu của bài
- Tải xuống
khong_khi_tho.csv
CSV · 97.82 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.