Bỏ qua đến nội dung chính
Mục lục

Dự án pandas: dữ liệu PM2.5 theo tháng của sáu tỉnh

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 16/17 · Chương 8

Dữ liệu thời gian

  • 7 phút
  • Cơ bản
  • Python 3.14
  • Cập nhật

Dự án này đi từ dữ liệu PM2.5 thô của sáu tỉnh năm 2025 tới bảng bụi mịn trung bình từng tháng, để so tỉnh nào ô nhiễm hơn và vào mùa nào. Bạn làm qua năm bước: kiểm tra file, tìm ngày thiếu, bỏ gai cảm biến và lấp ô trống, tính trung bình tháng, rồi ghép thành một chương trình; cuối trang bạn tự viết hàm đếm số tháng vượt ngưỡng.

Cần biết trước: date_range() và asfreq(), interpolate() và resample().

Chương trình sẽ làm gì

File khong_khi_tho.csv trong bộ dữ liệu thực hành ghi số đo mỗi ngày của sáu trạm hư cấu ở Hà Nội, Bắc Ninh, Hải Phòng, Đà Nẵng, TP. Hồ Chí Minh và Cần Thơ, mỗi dòng một tỉnh một ngày: PM2.5, PM10, nhiệt độ, độ ẩm và lượng mưa. File "thô" đúng như tên: có ngày cảm biến không gửi dòng nào, có ô số đo trống, và có gai 999 khi thiết bị lỗi. Chương trình nhận file đó, làm sạch cột pm25, và đưa ra hai bảng: PM2.5 trung bình từng tháng của từng tỉnh, và trung bình cả năm xếp từ cao xuống thấp.

Mỗi bước đọc lại file nên chạy riêng được. Chương trình không có vòng lặp hay rẽ nhánh tự viết: mọi việc đi qua các phép của pandas trên cả bảng. Thứ tự dựng: kiểm tra, đếm ngày thiếu, dựng bảng ngày × tỉnh và làm sạch, gom theo tháng, ghép lại.

Bước 1: Kiểm tra file thô

Trước khi tính, hãy xem file có gì bất thường: mỗi tỉnh bao nhiêu dòng, bao nhiêu ô pm25 trống, bao nhiêu số đo lớn tới mức vô lý. parse_dates=["ngay"] đọc cột ngày thành kiểu ngày, như ở bài pd.to_datetime().

python
import pandas as pd

kk = pd.read_csv("khong_khi_tho.csv", parse_dates=["ngay"])
print(kk.shape, kk["ngay"].min().date(), kk["ngay"].max().date())
print(kk.groupby("tinh").size().to_string())
print("Ô pm25 trống:", kk["pm25"].isna().sum())
print("Gai từ 900:", (kk["pm25"] >= 900).sum())

KẾT QUẢ

(2182, 7) 2025-01-01 2025-12-31
tinh
Bắc Ninh           365
Cần Thơ            365
Hà Nội             357
Hải Phòng          365
TP. Hồ Chí Minh    365
Đà Nẵng            365
Ô pm25 trống: 6
Gai từ 900: 5

Năm 2025 có 365 ngày, nên Hà Nội hụt 8 ngày; năm tỉnh còn lại đủ. File còn 6 ô pm25 trống và 5 gai. Ba việc làm sạch hiện ra rõ: thêm ngày thiếu, bỏ gai, lấp ô trống. Đổi (kk["pm25"] >= 900) thành (kk["pm25"] >= 200) rồi chạy lại: dòng cuối vẫn in 5, vì ngoài năm số 999, không ngày nào vượt 200; ngưỡng 900 chỉ bắt đúng mã lỗi.

Bước 2: Tìm ngày bị thiếu

pd.date_range() cho tờ lịch đủ 365 ngày; so số dòng mỗi tỉnh với độ dài tờ lịch cho số ngày thiếu, còn difference() cho chính các ngày đó:

python
import pandas as pd

kk = pd.read_csv("khong_khi_tho.csv", parse_dates=["ngay"])
lich = pd.date_range("2025-01-01", "2025-12-31", freq="D")
thieu = len(lich) - kk.groupby("tinh").size()
print(thieu[thieu > 0].to_dict())
ha_noi = kk.loc[kk["tinh"] == "Hà Nội", "ngay"]
print(lich.difference(ha_noi).strftime("%d/%m").tolist())

KẾT QUẢ

{'Hà Nội': 8}
['10/02', '11/02', '12/02', '21/05', '02/06', '29/08', '22/12', '23/12']

Tám ngày thiếu của Hà Nội gồm một đoạn ba ngày 10–12/02 và hai ngày liền 22–23/12. Các đoạn này ngắn, nên lấp bằng đường thẳng ở bước sau là hợp lý; một đoạn trống cả tuần thì nên để trống và ghi chú.

Bước 3: Bảng ngày × tỉnh, bỏ gai, lấp ô trống

pivot_table() xoay file thành bảng mỗi dòng một ngày, mỗi cột một tỉnh, như ở bài pivot_table(). Bảng đó chỉ có ngày nào ít nhất một tỉnh có số đo; asfreq("D") bảo đảm đủ mọi ngày. Rồi mask() đổi gai thành ô trống, và interpolate(limit=3) lấp mỗi đoạn trống tối đa 3 ngày:

python
import pandas as pd

kk = pd.read_csv("khong_khi_tho.csv", parse_dates=["ngay"])
bang = kk.pivot_table(index="ngay", columns="tinh", values="pm25")
bang = bang.asfreq("D")
print("Ô trống:", bang.isna().sum().sum(), "| gai:",
      (bang >= 900).sum().sum())
sach = bang.mask(bang >= 900).interpolate(limit=3)
print("Sau khi làm sạch:", sach.isna().sum().sum(), "ô trống")
print("Đà Nẵng trước:", round(bang["Đà Nẵng"].mean(), 1),
      "| sau:", round(sach["Đà Nẵng"].mean(), 1))

KẾT QUẢ

Ô trống: 14 | gai: 5
Sau khi làm sạch: 0 ô trống
Đà Nẵng trước: 26.8 | sau: 21.4

14 ô trống là 8 ngày thiếu của Hà Nội cộng 6 ô số đo trống. Mọi đoạn trống, kể cả 5 gai vừa thành ô trống, đều không dài quá 3 ngày, nên sau bước này không còn ô nào. Hai gai 999 đã kéo trung bình cả năm của Đà Nẵng lên 26,8; bỏ gai đi, con số thật là 21,4.

Bước 4: Trung bình tháng và so các tỉnh

Bảng sạch có DatetimeIndex, nên resample("ME").mean() cho trung bình từng tháng của mọi cột cùng lúc. Đổi nhãn sang 01, 02… cho bảng gọn, rồi lấy trung bình cả năm để xếp hạng:

python
import pandas as pd

kk = pd.read_csv("khong_khi_tho.csv", parse_dates=["ngay"])
bang = kk.pivot_table(index="ngay", columns="tinh", values="pm25")
bang = bang.asfreq("D")
sach = bang.mask(bang >= 900).interpolate(limit=3)
thang = sach.resample("ME").mean().round(1)
thang.index = thang.index.strftime("%m")
print(thang[["Hà Nội", "Bắc Ninh", "Đà Nẵng"]].iloc[[0, 6, 10]])
print(sach.mean().round(1).sort_values(ascending=False).to_string())

KẾT QUẢ

tinh  Hà Nội  Bắc Ninh  Đà Nẵng
ngay
01      72.4      69.2     28.0
07      20.7      21.3     19.6
11      52.2      80.6     13.0
tinh
Bắc Ninh           48.0
Hà Nội             44.9
Hải Phòng          37.8
TP. Hồ Chí Minh    24.7
Cần Thơ            23.7
Đà Nẵng            21.4

Ba tỉnh phía Bắc ô nhiễm hơn hẳn; ở Hà Nội và Bắc Ninh, trung bình tháng trên 50 từ tháng 11 tới tháng 3. Tháng 7, Hà Nội, Bắc Ninh và Đà Nẵng cùng quanh 20. Đà Nẵng đi ngược: bụi cao nhất vào tháng 5, thấp vào mùa mưa cuối năm.

Bước 5: Ghép thành chương trình hoàn chỉnh

Ghép bốn bước: đọc file và kiểm tra, đếm ngày thiếu, dựng bảng sạch, rồi in bảng tháng và xếp hạng. Mọi dòng đã có ở một bước trên.

python
import pandas as pd

kk = pd.read_csv("khong_khi_tho.csv", parse_dates=["ngay"])
print("Ô pm25 trống:", kk["pm25"].isna().sum())
print("Gai từ 900:", (kk["pm25"] >= 900).sum())

lich = pd.date_range("2025-01-01", "2025-12-31", freq="D")
thieu = len(lich) - kk.groupby("tinh").size()
print(thieu[thieu > 0].to_dict())

bang = kk.pivot_table(index="ngay", columns="tinh", values="pm25")
bang = bang.asfreq("D")
sach = bang.mask(bang >= 900).interpolate(limit=3)
print("Sau khi làm sạch:", sach.isna().sum().sum(), "ô trống")

thang = sach.resample("ME").mean().round(1)
thang.index = thang.index.strftime("%m")
print(thang[["Hà Nội", "Bắc Ninh", "Đà Nẵng"]].iloc[[0, 6, 10]])
print(sach.mean().round(1).sort_values(ascending=False).to_string())

KẾT QUẢ

Ô pm25 trống: 6
Gai từ 900: 5
{'Hà Nội': 8}
Sau khi làm sạch: 0 ô trống
tinh  Hà Nội  Bắc Ninh  Đà Nẵng
ngay
01      72.4      69.2     28.0
07      20.7      21.3     19.6
11      52.2      80.6     13.0
tinh
Bắc Ninh           48.0
Hà Nội             44.9
Hải Phòng          37.8
TP. Hồ Chí Minh    24.7
Cần Thơ            23.7
Đà Nẵng            21.4

Chương trình in đủ các câu trả lời: file thiếu gì, làm sạch xong còn gì, tháng nào bụi nhất và tỉnh nào ô nhiễm nhất. Đổi limit=3 thành limit=1 rồi chạy lại: dòng "Sau khi làm sạch" in 3 ô trống, là ngày thứ hai và thứ ba của đoạn 10–12/02 và ngày thứ hai của đoạn 22–23/12, và các trung bình của Hà Nội nhích đi một chút.

Bài tập

Đếm số tháng vượt ngưỡng

Bước 4 cho thấy mỗi tỉnh có mùa bụi riêng. Để tóm tắt bằng một con số, viết thân hàm so_thang_vuot(sach, nguong). Bảng sach có dạng như bảng của chương trình: index là các ngày (DatetimeIndex), mỗi cột một tỉnh, số đo PM2.5 có thể có ô trống. Hàm đếm, cho từng tỉnh, số tháng có PM2.5 trung bình lớn hơn nguong:

  • Trung bình tháng tính như resample("ME").mean(), bỏ qua ô trống.

  • Tháng có trung bình bằng đúng nguong chưa tính là vượt; tỉnh không có tháng nào vượt có số 0.

  • Kết quả có index là tên tỉnh, theo thứ tự cột của sach.

Ví dụ: Hà Nội đo 60, 50 (tháng 1), 40 (tháng 2), 56, 54 (tháng 3); Đà Nẵng đo 20, trống, 30, 70, 10 cùng các ngày. Với nguong=50, kết quả là Hà Nội 2, Đà Nẵng 0.

Hàm không sửa bảng sach của nơi gọi. Trình chấm gọi hàm với các bảng nhỏ dựng sẵn, không đọc file.

Trả về: số tháng vượt ngưỡng của từng tỉnh, một Series.

python
import pandas as pd

def so_thang_vuot(sach, nguong):
    pass  # Viết thân hàm thay cho dòng này

Thử mở rộng

Hàm của bài tập tóm tắt mùa bụi bằng một con số; vài hướng đi tiếp với cùng file:

  • Gọi so_thang_vuot(sach, 50) trên bảng sạch của chương trình: Bắc Ninh 6 tháng, Hà Nội 5, Hải Phòng 4; ba tỉnh phía Nam và miền Trung không có tháng nào.

  • Làm lại các bước cho cột pm10: đổi values="pm25" và kiểm xem cột đó có gai hay ô trống ở tỉnh nào.

  • Tính trung bình theo quý bằng resample("QE") và xem quý nào của Hà Nội sạch nhất; bí danh có ở bảng tra tần suất.

  • Vẽ PM2.5 trung bình tháng của ba tỉnh phía Bắc trên một hình, như bài biểu đồ đường.

Chủ đề

dữ liệu pm2 5

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập