Bỏ qua đến nội dung chính
Mục lục

pipe() trong pandas: pipeline làm sạch dữ liệu từng bước

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 14/17 · Chương 6

Làm sạch dữ liệu

  • 5 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Phương thức pipe() của pandas gọi một hàm của bạn trên DataFrame, nên mỗi bước làm sạch thành một hàm và cả quy trình làm sạch dữ liệu là một chuỗi pipe() đọc từ trên xuống. Bạn cần cách viết này khi file đơn hàng mới về mỗi tuần: thay vì sửa tay từng lần, bạn chạy lại đúng các bước cũ và biết mỗi bước bỏ đi bao nhiêu dòng.

Cần biết trước: định nghĩa hàm, return, hàm bậc cao, drop_duplicates(), dropna() và pd.to_numeric().

pipe() gọi hàm của bạn trên bảng

df.pipe(f) chính là f(df), và df.pipe(f, a, b) là f(df, a, b). Lợi ích nằm ở thứ tự đọc: ba bước lồng nhau c(b(a(df))) phải đọc từ trong ra ngoài, còn chuỗi pipe() đọc theo đúng thứ tự chạy, như các phương thức có sẵn của DataFrame:

python
import pandas as pd

def bo_trung(df):
    return df.drop_duplicates()

def bo_thieu(df, cot):
    return df.dropna(subset=cot)

don = pd.read_csv("don_hang_tho.csv")
long_nhau = bo_thieu(bo_trung(don), ["so_luong"])
noi_tiep = don.pipe(bo_trung).pipe(bo_thieu, ["so_luong"])
print(len(long_nhau), len(noi_tiep), long_nhau.equals(noi_tiep))

KẾT QUẢ

1520 1520 True

Hai cách cho cùng một bảng. pipe() nhận chính tên hàm bo_trung, không có ngoặc, đúng kiểu hàm bậc cao: nó nhận một hàm rồi tự gọi. Tham số thêm của bước đi sau tên hàm.

Mỗi bước một hàm

Một bước tốt nhận bảng, trả bảng mới, và không sửa bảng đưa vào. Muốn đổi một cột thì dùng assign(), nó trả bảng mới có cột đã đổi. Bảng đơn thô cần bốn bước: bỏ trùng, bỏ đơn thiếu số lượng hay trạng thái, đổi đơn giá sang số, bỏ đơn có số lượng không dương:

python
import pandas as pd

def doi_don_gia(df):
    gia = (df["don_gia"].str.replace(".", "", regex=False)
           .str.replace("đ", "", regex=False))
    return df.assign(don_gia=pd.to_numeric(gia))

def bo_so_luong_sai(df):
    return df[df["so_luong"] > 0]

don = pd.read_csv("don_hang_tho.csv")
sach = (don.drop_duplicates()
        .dropna(subset=["so_luong", "trang_thai"])
        .pipe(doi_don_gia).pipe(bo_so_luong_sai))
print(len(don), len(sach), sach["don_gia"].sum() > 0)

KẾT QUẢ

1556 1508 True

Phương thức có sẵn như drop_duplicates() nối thẳng vào chuỗi; bước tự viết đi qua pipe(). Mỗi hàm ngắn, có tên nói lên việc nó làm, và thử riêng được. Vì không bước nào sửa don, bạn chạy lại cả chuỗi bao nhiêu lần cũng ra cùng một kết quả. Bài copy-on-write giải thích vì sao pandas 3 giúp việc này.

Ghi số dòng sau mỗi bước

Một quy trình làm sạch đáng tin là quy trình nói được mình đã bỏ những gì. Một bước "ghi nhật ký" in số dòng rồi trả lại nguyên bảng, nên chèn vào đâu trong chuỗi cũng được:

python
import pandas as pd

def ghi(df, buoc):
    print(f"{buoc:<10}{len(df):>6} dòng")
    return df

don = pd.read_csv("don_hang_tho.csv")
sach = (don.pipe(ghi, "đọc file")
        .drop_duplicates().pipe(ghi, "bỏ trùng")
        .dropna(subset=["so_luong", "trang_thai"])
        .pipe(ghi, "bỏ thiếu")
        .pipe(lambda df: df[df["so_luong"] > 0])
        .pipe(ghi, "số lượng"))

KẾT QUẢ

đọc file    1556 dòng
bỏ trùng    1526 dòng
bỏ thiếu    1515 dòng
số lượng    1508 dòng

Bốn dòng nhật ký kể lại quy trình: 30 dòng trùng, 11 đơn thiếu ô bắt buộc, 7 đơn có số lượng không dương. Một bước ngắn viết tại chỗ bằng lambda cũng đi qua pipe() được. Đổi "so_luong"] > 0 thành "so_luong"] > 1 rồi chạy lại: dòng cuối của nhật ký in 661, vì mọi đơn một sản phẩm bị bỏ, một lỗi mà nhật ký giúp bạn thấy ngay.

Kiểm tra nhanh

  1. Sau import pandas as pd, print(pd.DataFrame({"a": [1, 2, 3]}).pipe(len)) in ra gì?

    • 3
    • 1
    • Báo lỗi TypeError
  2. Sau import pandas as pd, print(pd.DataFrame({"a": [1, 2, 3]}).pipe(lambda df, k: df[df["a"] > k], 1).shape) in ra gì?

    • (3, 1)
    • (2, 1)
    • (1, 1)
  3. Một bước quên return. Chuyện gì xảy ra với pipe() ngay sau nó?

    • Bảng đi tiếp không đổi
    • Bước sau nhận None và chuỗi dừng với AttributeError
    • pandas tự trả bảng gốc
  4. Những câu nào đúng về một bước làm sạch tốt?

    • Nhận một bảng và trả một bảng mới
    • Sửa thẳng bảng truyền vào cho đỡ tốn bộ nhớ
    • Đổi cột bằng assign()
    • In bảng ra màn hình thay cho return
Đúng hết lần đầu +15 XP

Bài tập

Bước lọc số lượng hợp lệ

Viết một bước làm sạch dùng được với pipe(): thân hàm giu_so_luong(bang, cot, toi_da) chỉ giữ những dòng có cột cot từ 1 đến toi_da, tính cả hai đầu.

  • Dòng có cot trống, bằng 0, âm hay lớn hơn toi_da bị bỏ.

  • Các dòng còn lại giữ nguyên thứ tự, giữ index cũ.

Gọi được dạng bang.pipe(giu_so_luong, "so_luong", 10). Hàm không sửa bảng của nơi gọi.

Trả về: các dòng hợp lệ, một DataFrame.

python
import pandas as pd

def giu_so_luong(bang, cot, toi_da):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • df.pipe(f, a) là f(df, a); chuỗi pipe() đọc theo đúng thứ tự các bước chạy.

  • Mỗi bước làm sạch là một hàm nhận bảng, trả bảng mới, đổi cột bằng assign().

  • Bước quên return trả None, và bước sau dừng với AttributeError.

  • Một bước ghi nhật ký in số dòng rồi trả nguyên bảng, chèn được ở bất kỳ đâu.

  • Bước không sửa bảng đưa vào thì chạy lại cả quy trình bao nhiêu lần cũng cùng kết quả.

Câu hỏi thường gặp

pandas pipe() khác apply() thế nào?

pipe() gọi hàm một lần trên cả bảng. apply() gọi hàm nhiều lần, mỗi lần trên một cột hay một dòng. Bước làm sạch cần nhìn cả bảng, như bỏ trùng, nên đi qua pipe(); bài apply() nói khi nào cần gọi theo từng dòng.

Quy trình làm sạch dữ liệu nên có những bước nào?

Thường theo thứ tự: soát chất lượng, bỏ trùng, xử lý ô thiếu bằng dropna() hay fillna(), đổi kiểu, chuẩn hóa chữ, rồi lọc giá trị sai. Bài Blog làm sạch dữ liệu với pandas bàn cách chọn thứ tự cho từng loại dữ liệu.

Có nên gộp mọi bước vào một hàm lớn không?

Không nên: một hàm lớn khó thử, và khi số dòng lệch bạn không biết bước nào gây ra. Giữ mỗi bước một hàm, rồi viết một hàm lam_sach(df) chỉ chứa chuỗi pipe(), như dự án làm sạch đơn hàng cuối chương.

Chủ đề

pandas pipe

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập