pipe() trong pandas: pipeline làm sạch dữ liệu từng bước
Bài 14/17 · Chương 6
Làm sạch dữ liệu
- 5 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 10
Phương thức pipe() của pandas gọi một hàm của bạn trên DataFrame, nên mỗi bước làm sạch thành một hàm và cả quy trình làm sạch dữ liệu là một chuỗi pipe() đọc từ trên xuống. Bạn cần cách viết này khi file đơn hàng mới về mỗi tuần: thay vì sửa tay từng lần, bạn chạy lại đúng các bước cũ và biết mỗi bước bỏ đi bao nhiêu dòng.
Cần biết trước: định nghĩa hàm, return, hàm bậc cao, drop_duplicates(), dropna() và pd.to_numeric().
pipe() gọi hàm của bạn trên bảng
df.pipe(f) chính là f(df), và df.pipe(f, a, b) là f(df, a, b). Lợi ích nằm ở thứ tự đọc: ba bước lồng nhau c(b(a(df))) phải đọc từ trong ra ngoài, còn chuỗi pipe() đọc theo đúng thứ tự chạy, như các phương thức có sẵn của DataFrame:
import pandas as pd
def bo_trung(df):
return df.drop_duplicates()
def bo_thieu(df, cot):
return df.dropna(subset=cot)
don = pd.read_csv("don_hang_tho.csv")
long_nhau = bo_thieu(bo_trung(don), ["so_luong"])
noi_tiep = don.pipe(bo_trung).pipe(bo_thieu, ["so_luong"])
print(len(long_nhau), len(noi_tiep), long_nhau.equals(noi_tiep))KẾT QUẢ
1520 1520 TrueHai cách cho cùng một bảng. pipe() nhận chính tên hàm bo_trung, không có ngoặc, đúng kiểu hàm bậc cao: nó nhận một hàm rồi tự gọi. Tham số thêm của bước đi sau tên hàm.
Mỗi bước một hàm
Một bước tốt nhận bảng, trả bảng mới, và không sửa bảng đưa vào. Muốn đổi một cột thì dùng assign(), nó trả bảng mới có cột đã đổi. Bảng đơn thô cần bốn bước: bỏ trùng, bỏ đơn thiếu số lượng hay trạng thái, đổi đơn giá sang số, bỏ đơn có số lượng không dương:
import pandas as pd
def doi_don_gia(df):
gia = (df["don_gia"].str.replace(".", "", regex=False)
.str.replace("đ", "", regex=False))
return df.assign(don_gia=pd.to_numeric(gia))
def bo_so_luong_sai(df):
return df[df["so_luong"] > 0]
don = pd.read_csv("don_hang_tho.csv")
sach = (don.drop_duplicates()
.dropna(subset=["so_luong", "trang_thai"])
.pipe(doi_don_gia).pipe(bo_so_luong_sai))
print(len(don), len(sach), sach["don_gia"].sum() > 0)KẾT QUẢ
1556 1508 TruePhương thức có sẵn như drop_duplicates() nối thẳng vào chuỗi; bước tự viết đi qua pipe(). Mỗi hàm ngắn, có tên nói lên việc nó làm, và thử riêng được. Vì không bước nào sửa don, bạn chạy lại cả chuỗi bao nhiêu lần cũng ra cùng một kết quả. Bài copy-on-write giải thích vì sao pandas 3 giúp việc này.
Ghi số dòng sau mỗi bước
Một quy trình làm sạch đáng tin là quy trình nói được mình đã bỏ những gì. Một bước "ghi nhật ký" in số dòng rồi trả lại nguyên bảng, nên chèn vào đâu trong chuỗi cũng được:
import pandas as pd
def ghi(df, buoc):
print(f"{buoc:<10}{len(df):>6} dòng")
return df
don = pd.read_csv("don_hang_tho.csv")
sach = (don.pipe(ghi, "đọc file")
.drop_duplicates().pipe(ghi, "bỏ trùng")
.dropna(subset=["so_luong", "trang_thai"])
.pipe(ghi, "bỏ thiếu")
.pipe(lambda df: df[df["so_luong"] > 0])
.pipe(ghi, "số lượng"))KẾT QUẢ
đọc file 1556 dòng
bỏ trùng 1526 dòng
bỏ thiếu 1515 dòng
số lượng 1508 dòngBốn dòng nhật ký kể lại quy trình: 30 dòng trùng, 11 đơn thiếu ô bắt buộc, 7 đơn có số lượng không dương. Một bước ngắn viết tại chỗ bằng lambda cũng đi qua pipe() được. Đổi "so_luong"] > 0 thành "so_luong"] > 1 rồi chạy lại: dòng cuối của nhật ký in 661, vì mọi đơn một sản phẩm bị bỏ, một lỗi mà nhật ký giúp bạn thấy ngay.
Kiểm tra nhanh
Sau
import pandas as pd,print(pd.DataFrame({"a": [1, 2, 3]}).pipe(len))in ra gì?31- Báo lỗi
TypeError
Sau
import pandas as pd,print(pd.DataFrame({"a": [1, 2, 3]}).pipe(lambda df, k: df[df["a"] > k], 1).shape)in ra gì?(3, 1)(2, 1)(1, 1)
Một bước quên
return. Chuyện gì xảy ra vớipipe()ngay sau nó?- Bảng đi tiếp không đổi
- Bước sau nhận
Nonevà chuỗi dừng vớiAttributeError - pandas tự trả bảng gốc
Những câu nào đúng về một bước làm sạch tốt?
- Nhận một bảng và trả một bảng mới
- Sửa thẳng bảng truyền vào cho đỡ tốn bộ nhớ
- Đổi cột bằng
assign() - In bảng ra màn hình thay cho
return
Bài tập
Bước lọc số lượng hợp lệ
Viết một bước làm sạch dùng được với pipe(): thân hàm giu_so_luong(bang, cot, toi_da) chỉ giữ những dòng có cột cot từ 1 đến toi_da, tính cả hai đầu.
Dòng có
cottrống, bằng0, âm hay lớn hơntoi_dabị bỏ.Các dòng còn lại giữ nguyên thứ tự, giữ index cũ.
Gọi được dạng bang.pipe(giu_so_luong, "so_luong", 10). Hàm không sửa bảng của nơi gọi.
Trả về: các dòng hợp lệ, một DataFrame.
import pandas as pd
def giu_so_luong(bang, cot, toi_da):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
df.pipe(f, a)làf(df, a); chuỗipipe()đọc theo đúng thứ tự các bước chạy.Mỗi bước làm sạch là một hàm nhận bảng, trả bảng mới, đổi cột bằng
assign().Bước quên
returntrảNone, và bước sau dừng vớiAttributeError.Một bước ghi nhật ký in số dòng rồi trả nguyên bảng, chèn được ở bất kỳ đâu.
Bước không sửa bảng đưa vào thì chạy lại cả quy trình bao nhiêu lần cũng cùng kết quả.
Câu hỏi thường gặp
pandas pipe() khác apply() thế nào?
pipe() gọi hàm một lần trên cả bảng. apply() gọi hàm nhiều lần, mỗi lần trên một cột hay một dòng. Bước làm sạch cần nhìn cả bảng, như bỏ trùng, nên đi qua pipe(); bài apply() nói khi nào cần gọi theo từng dòng.
Quy trình làm sạch dữ liệu nên có những bước nào?
Thường theo thứ tự: soát chất lượng, bỏ trùng, xử lý ô thiếu bằng dropna() hay fillna(), đổi kiểu, chuẩn hóa chữ, rồi lọc giá trị sai. Bài Blog làm sạch dữ liệu với pandas bàn cách chọn thứ tự cho từng loại dữ liệu.
Có nên gộp mọi bước vào một hàm lớn không?
Không nên: một hàm lớn khó thử, và khi số dòng lệch bạn không biết bước nào gây ra. Giữ mỗi bước một hàm, rồi viết một hàm lam_sach(df) chỉ chứa chuỗi pipe(), như dự án làm sạch đơn hàng cuối chương.
Chủ đề
Dữ liệu của bài
- Tải xuống
don_hang_tho.csv
CSV · 111.93 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.