Lọc dữ liệu trong pandas theo điều kiện (boolean mask)
Bài 5/16 · Chương 4
Chọn, lọc và sắp xếp
- 5 phút
- Cơ bản
- Python 3.14
- Cập nhật
Trong bài này · 12
Lọc dữ liệu trong pandas theo điều kiện là giữ lại các dòng thỏa một phép so sánh, bằng một boolean mask: Series True/False cùng độ dài với bảng. Bạn đặt mask vào ngoặc vuông, don[mask], và nhận về bảng chỉ gồm các dòng ứng với True, như lọc ra các đơn giá cao hay các đơn của một kênh.
Cần biết trước: boolean mask trong NumPy, loc và iloc và chọn cột.
Boolean mask: một câu hỏi có/không cho mỗi dòng
Phép so don["don_gia"] >= 70000 hỏi từng dòng một câu có/không và trả lời bằng một Series kiểu bool dài đúng bằng bảng. Đặt Series đó vào ngoặc vuông của bảng thì pandas giữ các dòng trả lời "có":
import pandas as pd
don = pd.read_csv("don_hang.csv")
gia_cao = don["don_gia"] >= 70000
print(gia_cao.head(3))
loc_ra = don[gia_cao]
print(len(don), len(loc_ra))KẾT QUẢ
0 True
1 False
2 False
Name: don_gia, dtype: bool
1526 676Mask giống một tấm lưới đặt lên bảng: dòng ứng với True lọt qua, dòng ứng với False bị chặn lại. Bảng kết quả giữ nguyên index của don, nên dãy nhãn dòng có chỗ trống ở các dòng bị loại. Bảng don không đổi. Đổi 70000 thành 500000 rồi chạy lại: dòng thứ hai in 1526 8.
Ghép nhiều điều kiện bằng &, | và ~
Câu hỏi thật hay có hai vế: đơn kênh Website và mua từ 3 món. Giữa hai mask, pandas dùng & cho "và", | cho "hoặc", ~ cho "không". Mỗi điều kiện phải nằm trong ngoặc tròn riêng:
import pandas as pd
don = pd.read_csv("don_hang.csv")
web = don["kenh"] == "Website"
nhieu = don["so_luong"] >= 3
print(len(don[web & nhieu]))
print(len(don[web | (don["kenh"] == "Ứng dụng")]))
print(len(don[~(don["trang_thai"] == "Hoàn thành")]))KẾT QUẢ
93
862
213Đặt từng mask vào một tên như web và nhieu giúp đọc dễ hơn khi điều kiện dài. Ngoặc tròn cần vì & và | được Python tính trước == và >=; thiếu ngoặc, phép ghép chạy trên số và chữ, sai ý hoặc báo lỗi khó hiểu.
Đếm số dòng thỏa điều kiện
Nhiều câu hỏi chỉ cần con số: có bao nhiêu đơn Website mua từ 3 món? Bạn không cần dựng bảng lọc. True được tính là 1 và False là 0, nên sum() của mask là số dòng thỏa, còn mean() là tỉ lệ:
import pandas as pd
don = pd.read_csv("don_hang.csv")
mask = (don["kenh"] == "Website") & (don["so_luong"] >= 3)
print(mask.sum())
ti_le = (don["kenh"] == "Website").mean()
print(f"Website chiếm {ti_le * 100:.0f}% số đơn")KẾT QUẢ
93
Website chiếm 30% số đơnKết quả sum() khớp với len(don[mask]) ở ví dụ trước, nhưng gọn hơn và không tạo bảng mới. len(bang_loc) vẫn hợp khi bạn đã có bảng lọc để dùng tiếp.
Lọc dòng và chọn cột cùng lúc bằng loc
Thường bạn không cần cả chín cột của các dòng lọc ra. loc nhận mask ở vế dòng và list tên ở vế cột, nên một lệnh làm được cả hai việc:
import pandas as pd
don = pd.read_csv("don_hang.csv")
mask = (don["so_luong"] >= 5) & (don["kenh"] == "Cửa hàng")
cot = ["ma_don", "so_luong", "don_gia"]
print(don.loc[mask, cot])KẾT QUẢ
ma_don so_luong don_gia
209 DH00210 10 35000
281 DH00282 10 18000
850 DH00851 10 25000
965 DH00966 5 20000
1311 DH01312 5 15000
1313 DH01314 10 30000
1373 DH01374 5 15000
1391 DH01392 10 78000Đây là cách viết nên quen tay, vì cùng dạng don.loc[mask, "cot"] cũng là cách sửa giá trị theo điều kiện ở bài Copy-on-Write.
Kiểm tra nhanh
Sau
import pandas as pdvàbang = pd.DataFrame({"gia": [10, 25, 40, 25]}),print(len(bang[bang["gia"] >= 25]))in ra gì?234
Sau
import pandas as pdvàbang = pd.DataFrame({"kenh": ["Web", "App", "Web"], "sl": [1, 5, 4]}),print(((bang["kenh"] == "Web") & (bang["sl"] > 2)).sum())in ra gì?123
Sau
import pandas as pdvàbang = pd.DataFrame({"kenh": ["Web", "App", "Web", "Shop"]}),print(bang[~(bang["kenh"] == "Web")].index.to_list())in ra gì?[0, 2][1, 3][0, 1]
Sau
import pandas as pdvàbang = pd.DataFrame({"sl": [1, 5]}),bang[(bang["sl"] > 0) and (bang["sl"] < 3)]báo lỗi gì?- Báo lỗi
TypeError - Báo lỗi
ValueError - Báo lỗi
KeyError
- Báo lỗi
Bài tập
Lọc đơn giá cao của một kênh
Trưởng kênh muốn xem các đơn giá cao của riêng kênh mình. Viết thân hàm loc_don(bang, kenh, nguong): trả về các dòng của bang có cột kenh bằng kenh và cột don_gia từ nguong trở lên.
Bảng kết quả giữ mọi cột và index của các dòng được chọn. Không dòng nào thỏa thì trả bảng rỗng có đủ cột. Hàm không sửa bảng bang của nơi gọi.
Trả về: các dòng thỏa điều kiện, một DataFrame.
import pandas as pd
def loc_don(bang, kenh, nguong):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Phép so trên một cột, như
don["don_gia"] >= 70000, cho một mask;don[mask]chỉ còn các dòngTrue.Ghép mask bằng
&(và),|(hoặc),~(không), mỗi điều kiện trong ngoặc tròn riêng.and,or,notcủa Python giữa hai Series báoValueError.mask.sum()đếm số dòng thỏa,mask.mean()cho tỉ lệ.don.loc[mask, ["a", "b"]]lọc dòng và chọn cột trong một lệnh.
Câu hỏi thường gặp
Lọc DataFrame theo nhiều giá trị của một cột thì viết sao cho gọn?
Thay cho chuỗi | dài, dùng isin() với một list giá trị: don[don["kenh"].isin(["Website", "Ứng dụng"])]. Bài isin() và between() giải thích chi tiết.
Có cách viết điều kiện lọc dễ đọc hơn ngoặc vuông không?
query() cho viết điều kiện như một câu, don.query("kenh == 'Website' and so_luong >= 3"), và dùng được and, or trong chuỗi. Xem bài query().
Vì sao sửa giá trị trên bảng đã lọc không đổi bảng gốc?
Bảng lọc là một bảng mới. Muốn sửa bảng gốc theo điều kiện, viết một lệnh don.loc[mask, "cot"] = gia_tri, như bài Copy-on-Write.
Lọc theo chữ chứa trong tên sản phẩm thì sao?
Phép == chỉ khớp nguyên chuỗi. Muốn tìm từ khóa trong chuỗi, dùng str.contains() ở bài lọc theo chuỗi.
Chủ đề
Dữ liệu của bài
- Tải xuống
don_hang.csv
CSV · 109.5 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.