Bỏ qua đến nội dung chính
Mục lục

groupby().filter() trong pandas: giữ hoặc bỏ cả nhóm

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 6/13 · Chương 5

GroupBy, map và apply

  • 6 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Phương thức filter() gọi sau groupby() giữ hoặc bỏ cả một nhóm dòng theo một điều kiện tính trên nhóm, như "quận có từ 20 tin đăng trở lên". Với pandas groupby filter, bạn loại các nhóm quá ít dữ liệu trước khi tính trung vị hay so sánh, để con số không bị vài tin lẻ quyết định.

Cần biết trước: groupby(), transform() và lambda.

Giữ nhóm thỏa một điều kiện

Lọc dòng bằng điều kiện xét từng dòng một. filter() xét từng nhóm: bạn đưa cho nó một hàm nhận cả nhóm (một DataFrame con) và trả True hoặc False. Nhóm nhận True được giữ nguyên các dòng, nhóm nhận False bị bỏ hết.

python
import pandas as pd

tin = pd.DataFrame({
    "quan": ["Gò Vấp", "Quận 1", "Gò Vấp", "Nhà Bè", "Gò Vấp",
             "Quận 1", "Nhà Bè", "Cần Giờ"],
    "gia_ty": [5.2, 18.0, 4.8, 3.9, 6.1, 22.5, 4.2, 2.7],
})
giu = tin.groupby("quan").filter(lambda g: len(g) >= 2)
print(giu)

KẾT QUẢ

     quan  gia_ty
0  Gò Vấp     5.2
1  Quận 1    18.0
2  Gò Vấp     4.8
3  Nhà Bè     3.9
4  Gò Vấp     6.1
5  Quận 1    22.5
6  Nhà Bè     4.2

lambda g: len(g) >= 2 nhận một nhóm g và trả True khi nhóm có từ hai dòng. Cần Giờ chỉ có một tin nên dòng 7 bị bỏ. Kết quả khác hẳn sum() hay agg(): các dòng gốc giữ nguyên, cùng index và cùng thứ tự như bảng tin, không có dòng nào là tổng của nhóm. Hình dung việc chấm thi theo đội: đội nào đủ người thì cả đội vào vòng sau, đội thiếu người thì cả đội dừng.

Bỏ quận ít tin trên dữ liệu nhà đất

File nha_dat_sach.csv của bộ dữ liệu thực hành có cột quan và loai_nha. Chỉ xét căn hộ chung cư, một số quận có quá ít tin để trung vị giá đáng tin. Giữ các quận có từ 20 tin trở lên rồi mới tính:

python
import pandas as pd

nd = pd.read_csv("nha_dat_sach.csv")
can_ho = nd[nd["loai_nha"] == "Căn hộ chung cư"]
du_tin = can_ho.groupby("quan").filter(lambda g: len(g) >= 20)
print(len(can_ho), can_ho["quan"].nunique())
print(len(du_tin), du_tin["quan"].nunique())
gia = du_tin.groupby("quan")["gia_trieu_m2"].median()
print(gia.round(1).head(4))

KẾT QUẢ

359 15
278 9
quan
Bình Chánh    39.5
Bình Thạnh    70.0
Bình Tân      41.2
Gò Vấp        52.8
Name: gia_trieu_m2, dtype: float64

Từ 359 tin căn hộ ở 15 quận, filter() giữ 278 tin của 9 quận. Sáu quận bị bỏ có từ 10 đến 17 tin căn hộ. Phép tính trung vị sau đó chỉ chạy trên các quận đủ dữ liệu. Đổi 20 thành 30 rồi chạy lại: dòng thứ hai in 142 4, chỉ còn bốn quận.

Điều kiện trên giá trị của nhóm

Hàm trong filter() dùng được các phép tính trên nhóm, không riêng số dòng. Giữ các quận có trung vị giá từ 100 triệu đồng mỗi m² trở lên:

python
import pandas as pd

nd = pd.read_csv("nha_dat_sach.csv")
dat = nd.groupby("quan").filter(
    lambda g: g["gia_trieu_m2"].median() >= 100)
print(dat["quan"].value_counts())

KẾT QUẢ

quan
Tân Bình     92
Phú Nhuận    48
Quận 10      42
Quận 3       39
Quận 5       39
Quận 1       38
Name: count, dtype: int64

Sáu quận được giữ, mỗi quận mang theo toàn bộ tin của nó, kể cả những tin có giá dưới 100 triệu mỗi m². Đó là điểm khác với lọc dòng thường: điều kiện quyết định cho cả nhóm, các dòng riêng lẻ không bị xét lại.

Cùng kết quả bằng transform()

Có một cách khác cho cùng bảng: ghi số dòng của nhóm vào từng dòng bằng transform("size"), rồi lọc dòng thường. Hai cách cho cùng bảng:

python
import pandas as pd

nd = pd.read_csv("nha_dat_sach.csv")
cach_1 = nd.groupby("quan").filter(lambda g: len(g) >= 20)
so_tin = nd.groupby("quan")["ma_tin"].transform("size")
cach_2 = nd[so_tin >= 20]
print(cach_1.equals(cach_2))

KẾT QUẢ

True

filter() đọc như câu nói "giữ nhóm nào thỏa điều kiện". Cách transform() chạy nhanh hơn trên bảng lớn, vì lambda của filter() được gọi một lần cho mỗi nhóm, còn transform("size") tính các nhóm trong một lần. Đừng thay "size" bằng "count": count bỏ qua ô trống của cột, nên chỉ bằng số dòng khi cột không thiếu ô nào. Với vài chục nhóm, chọn cách bạn thấy dễ đọc hơn.

Kiểm tra nhanh

  1. Sau import pandas as pd, pd.DataFrame({"n": ["a", "b", "a"], "x": [1, 2, 3]}).groupby("n").filter(lambda g: len(g) > 1).index.to_list() cho kết quả gì?

    • [0, 1]
    • [0, 2]
    • [0]
    • ['a']
  2. Trong khung bẫy, filter(lambda g: g["gia_ty"] > 5) báo lỗi gì?

    • Báo lỗi TypeError, vì hàm trả về một Series thay cho một giá trị True hoặc False
    • Báo lỗi KeyError, vì nhóm không có cột gia_ty
    • Báo lỗi ValueError, vì 5 không phải số thực
  3. Những câu nào đúng về kết quả của groupby("quan").filter(...)?

    • Kết quả là DataFrame có cùng các cột với bảng gốc
    • Các dòng được giữ mang index gốc của chúng
    • Mỗi quận được giữ còn đúng một dòng
    • Index của kết quả là tên quận
  4. Bảng có quận A 20 tin, quận B 19 tin. filter(lambda g: len(g) > 20) giữ quận nào?

    • Cả A và B
    • Chỉ A
    • Không quận nào
Đúng hết lần đầu +15 XP

Bài tập

Giữ các lớp đủ sĩ số

Bảng dang_ky của một trung tâm năng khiếu có hai cột: lop và hoc_vien, mỗi dòng là một lượt đăng ký. Lớp chỉ mở khi có từ toi_thieu người đăng ký trở lên. Viết thân hàm lop_du_si_so(dang_ky, toi_thieu) giữ các dòng của những lớp đủ người.

  • Lớp có đúng toi_thieu người vẫn được mở.

  • Giữ nguyên index và thứ tự các dòng như trong dang_ky.

Hàm không sửa bảng dang_ky của nơi gọi.

Trả về: các dòng đăng ký của lớp được mở, một DataFrame.

python
import pandas as pd

def lop_du_si_so(dang_ky, toi_thieu):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • df.groupby("a").filter(ham) giữ các dòng của nhóm mà ham(nhom) trả True, bỏ hết dòng của nhóm còn lại.

  • Kết quả có cùng cột, cùng index và cùng thứ tự với bảng gốc.

  • Hàm trong filter() phải trả một giá trị cho cả nhóm; trả Series báo TypeError.

  • "Từ N trở lên" viết len(g) >= N; dấu > bỏ nhóm có đúng N dòng.

  • df[df.groupby("a")["x"].transform("size") >= N] cho cùng kết quả và nhanh hơn trên bảng lớn.

Câu hỏi thường gặp

groupby filter trong pandas khác lọc dòng bằng điều kiện thế nào?

Lọc dòng xét từng dòng, như df[df["gia_ty"] > 5]. filter() sau groupby() xét từng nhóm, rồi giữ hoặc bỏ cả nhóm.

Đây có phải là HAVING của SQL không?

Gần giống. HAVING COUNT(*) >= 20 trong SQL giữ các nhóm có từ 20 dòng, nhưng kết quả là mỗi nhóm một dòng. filter() giữ các dòng gốc của nhóm. Muốn mỗi nhóm một dòng như SQL, gom bằng agg() rồi lọc dòng trên kết quả.

Muốn giữ nhóm theo hai điều kiện thì viết thế nào?

Nối hai điều kiện trong lambda bằng and, ví dụ lambda g: len(g) >= 20 and g["gia_ty"].median() < 10. Mỗi vế phải là một giá trị đúng sai của cả nhóm. Cách viết lambda có ở bài lambda.

filter() có dùng được khi gom theo nhiều cột không?

Được: df.groupby(["quan", "loai_nha"]).filter(lambda g: len(g) >= 20) giữ các cặp quận và loại nhà có từ 20 tin. Cách gom theo hai cột có ở bài groupby nhiều cột.

Chủ đề

pandas groupby filter

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập