groupby().filter() trong pandas: giữ hoặc bỏ cả nhóm
Bài 6/13 · Chương 5
GroupBy, map và apply
- 6 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 12
Phương thức filter() gọi sau groupby() giữ hoặc bỏ cả một nhóm dòng theo một điều kiện tính trên nhóm, như "quận có từ 20 tin đăng trở lên". Với pandas groupby filter, bạn loại các nhóm quá ít dữ liệu trước khi tính trung vị hay so sánh, để con số không bị vài tin lẻ quyết định.
Cần biết trước: groupby(), transform() và lambda.
Giữ nhóm thỏa một điều kiện
Lọc dòng bằng điều kiện xét từng dòng một. filter() xét từng nhóm: bạn đưa cho nó một hàm nhận cả nhóm (một DataFrame con) và trả True hoặc False. Nhóm nhận True được giữ nguyên các dòng, nhóm nhận False bị bỏ hết.
import pandas as pd
tin = pd.DataFrame({
"quan": ["Gò Vấp", "Quận 1", "Gò Vấp", "Nhà Bè", "Gò Vấp",
"Quận 1", "Nhà Bè", "Cần Giờ"],
"gia_ty": [5.2, 18.0, 4.8, 3.9, 6.1, 22.5, 4.2, 2.7],
})
giu = tin.groupby("quan").filter(lambda g: len(g) >= 2)
print(giu)KẾT QUẢ
quan gia_ty
0 Gò Vấp 5.2
1 Quận 1 18.0
2 Gò Vấp 4.8
3 Nhà Bè 3.9
4 Gò Vấp 6.1
5 Quận 1 22.5
6 Nhà Bè 4.2lambda g: len(g) >= 2 nhận một nhóm g và trả True khi nhóm có từ hai dòng. Cần Giờ chỉ có một tin nên dòng 7 bị bỏ. Kết quả khác hẳn sum() hay agg(): các dòng gốc giữ nguyên, cùng index và cùng thứ tự như bảng tin, không có dòng nào là tổng của nhóm. Hình dung việc chấm thi theo đội: đội nào đủ người thì cả đội vào vòng sau, đội thiếu người thì cả đội dừng.
Bỏ quận ít tin trên dữ liệu nhà đất
File nha_dat_sach.csv của bộ dữ liệu thực hành có cột quan và loai_nha. Chỉ xét căn hộ chung cư, một số quận có quá ít tin để trung vị giá đáng tin. Giữ các quận có từ 20 tin trở lên rồi mới tính:
import pandas as pd
nd = pd.read_csv("nha_dat_sach.csv")
can_ho = nd[nd["loai_nha"] == "Căn hộ chung cư"]
du_tin = can_ho.groupby("quan").filter(lambda g: len(g) >= 20)
print(len(can_ho), can_ho["quan"].nunique())
print(len(du_tin), du_tin["quan"].nunique())
gia = du_tin.groupby("quan")["gia_trieu_m2"].median()
print(gia.round(1).head(4))KẾT QUẢ
359 15
278 9
quan
Bình Chánh 39.5
Bình Thạnh 70.0
Bình Tân 41.2
Gò Vấp 52.8
Name: gia_trieu_m2, dtype: float64Từ 359 tin căn hộ ở 15 quận, filter() giữ 278 tin của 9 quận. Sáu quận bị bỏ có từ 10 đến 17 tin căn hộ. Phép tính trung vị sau đó chỉ chạy trên các quận đủ dữ liệu. Đổi 20 thành 30 rồi chạy lại: dòng thứ hai in 142 4, chỉ còn bốn quận.
Điều kiện trên giá trị của nhóm
Hàm trong filter() dùng được các phép tính trên nhóm, không riêng số dòng. Giữ các quận có trung vị giá từ 100 triệu đồng mỗi m² trở lên:
import pandas as pd
nd = pd.read_csv("nha_dat_sach.csv")
dat = nd.groupby("quan").filter(
lambda g: g["gia_trieu_m2"].median() >= 100)
print(dat["quan"].value_counts())KẾT QUẢ
quan
Tân Bình 92
Phú Nhuận 48
Quận 10 42
Quận 3 39
Quận 5 39
Quận 1 38
Name: count, dtype: int64Sáu quận được giữ, mỗi quận mang theo toàn bộ tin của nó, kể cả những tin có giá dưới 100 triệu mỗi m². Đó là điểm khác với lọc dòng thường: điều kiện quyết định cho cả nhóm, các dòng riêng lẻ không bị xét lại.
Cùng kết quả bằng transform()
Có một cách khác cho cùng bảng: ghi số dòng của nhóm vào từng dòng bằng transform("size"), rồi lọc dòng thường. Hai cách cho cùng bảng:
import pandas as pd
nd = pd.read_csv("nha_dat_sach.csv")
cach_1 = nd.groupby("quan").filter(lambda g: len(g) >= 20)
so_tin = nd.groupby("quan")["ma_tin"].transform("size")
cach_2 = nd[so_tin >= 20]
print(cach_1.equals(cach_2))KẾT QUẢ
Truefilter() đọc như câu nói "giữ nhóm nào thỏa điều kiện". Cách transform() chạy nhanh hơn trên bảng lớn, vì lambda của filter() được gọi một lần cho mỗi nhóm, còn transform("size") tính các nhóm trong một lần. Đừng thay "size" bằng "count": count bỏ qua ô trống của cột, nên chỉ bằng số dòng khi cột không thiếu ô nào. Với vài chục nhóm, chọn cách bạn thấy dễ đọc hơn.
Kiểm tra nhanh
Sau
import pandas as pd,pd.DataFrame({"n": ["a", "b", "a"], "x": [1, 2, 3]}).groupby("n").filter(lambda g: len(g) > 1).index.to_list()cho kết quả gì?[0, 1][0, 2][0]['a']
Trong khung bẫy,
filter(lambda g: g["gia_ty"] > 5)báo lỗi gì?- Báo lỗi
TypeError, vì hàm trả về một Series thay cho một giá trịTruehoặcFalse - Báo lỗi
KeyError, vì nhóm không có cộtgia_ty - Báo lỗi
ValueError, vì5không phải số thực
- Báo lỗi
Những câu nào đúng về kết quả của
groupby("quan").filter(...)?- Kết quả là DataFrame có cùng các cột với bảng gốc
- Các dòng được giữ mang index gốc của chúng
- Mỗi quận được giữ còn đúng một dòng
- Index của kết quả là tên quận
Bảng có quận A 20 tin, quận B 19 tin.
filter(lambda g: len(g) > 20)giữ quận nào?- Cả A và B
- Chỉ A
- Không quận nào
Bài tập
Giữ các lớp đủ sĩ số
Bảng dang_ky của một trung tâm năng khiếu có hai cột: lop và hoc_vien, mỗi dòng là một lượt đăng ký. Lớp chỉ mở khi có từ toi_thieu người đăng ký trở lên. Viết thân hàm lop_du_si_so(dang_ky, toi_thieu) giữ các dòng của những lớp đủ người.
Lớp có đúng
toi_thieungười vẫn được mở.Giữ nguyên index và thứ tự các dòng như trong
dang_ky.
Hàm không sửa bảng dang_ky của nơi gọi.
Trả về: các dòng đăng ký của lớp được mở, một DataFrame.
import pandas as pd
def lop_du_si_so(dang_ky, toi_thieu):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
df.groupby("a").filter(ham)giữ các dòng của nhóm màham(nhom)trảTrue, bỏ hết dòng của nhóm còn lại.Kết quả có cùng cột, cùng index và cùng thứ tự với bảng gốc.
Hàm trong
filter()phải trả một giá trị cho cả nhóm; trả Series báoTypeError."Từ N trở lên" viết
len(g) >= N; dấu>bỏ nhóm có đúng N dòng.df[df.groupby("a")["x"].transform("size") >= N]cho cùng kết quả và nhanh hơn trên bảng lớn.
Câu hỏi thường gặp
groupby filter trong pandas khác lọc dòng bằng điều kiện thế nào?
Lọc dòng xét từng dòng, như df[df["gia_ty"] > 5]. filter() sau groupby() xét từng nhóm, rồi giữ hoặc bỏ cả nhóm.
Đây có phải là HAVING của SQL không?
Gần giống. HAVING COUNT(*) >= 20 trong SQL giữ các nhóm có từ 20 dòng, nhưng kết quả là mỗi nhóm một dòng. filter() giữ các dòng gốc của nhóm. Muốn mỗi nhóm một dòng như SQL, gom bằng agg() rồi lọc dòng trên kết quả.
Muốn giữ nhóm theo hai điều kiện thì viết thế nào?
Nối hai điều kiện trong lambda bằng and, ví dụ lambda g: len(g) >= 20 and g["gia_ty"].median() < 10. Mỗi vế phải là một giá trị đúng sai của cả nhóm. Cách viết lambda có ở bài lambda.
filter() có dùng được khi gom theo nhiều cột không?
Được: df.groupby(["quan", "loai_nha"]).filter(lambda g: len(g) >= 20) giữ các cặp quận và loại nhà có từ 20 tin. Cách gom theo hai cột có ở bài groupby nhiều cột.
Chủ đề
Dữ liệu của bài
- Tải xuống
nha_dat_sach.csv
CSV · 115.58 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.