Data cleaning project: làm sạch 1.556 đơn hàng bằng pandas
Bài 17/17 · Chương 6
Làm sạch dữ liệu
- 6 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 8
Data cleaning project này đưa bảng đơn hàng thô don_hang_tho.csv về dạng tính được: không dòng trùng, không thiếu ô bắt buộc, đơn giá là số, mỗi kênh và mỗi mã một cách viết. Bạn làm theo năm bước, bước cuối ghép chúng thành một chuỗi pipe() có nhật ký số dòng, rồi tự viết thêm một bước mới ở phần bài tập.
Cần biết trước: pipe(), kiểm tra chất lượng dữ liệu và bảng tra .str.
Chương trình sẽ làm gì
Chương trình nhận vào file don_hang_tho.csv, 1.556 dòng và 9 cột, mang đủ loại lỗi của một file xuất từ nhiều kênh bán. Có đơn gửi hai lần, ô số lượng bỏ trống, đơn giá ghi 195.000đ, kênh Website viết bốn kiểu (Website, website, WEBSITE, Website ), mã sản phẩm 0004 bị cắt thành 4. Nó xử lý bằng bốn hàm nhỏ, mỗi hàm một việc, nối với các phương thức có sẵn trong một chuỗi pipe(). Kết quả đưa ra là bảng sạch cùng một nhật ký số dòng sau từng bước.
Chương trình không có vòng lặp hay rẽ nhánh tự viết: mọi việc chạy trên cả cột. Bạn dựng nó theo thứ tự soát trước, bỏ dòng hỏng, đổi kiểu, chuẩn hóa chữ, rồi ghép. Hai lỗi còn lại của file, ngày đặt lẫn hai định dạng và đơn của khách không có trong bảng khách, cần kỹ thuật của các bài sau. Dự án để nguyên hai chỗ đó; bước 1 chỉ đếm số ngày viết kiểu dd/mm/yyyy.
Bước 1: Đọc và soát
Đọc file với dtype={"ma_sp": str} để pandas giữ mã sản phẩm là chữ, rồi đếm từng loại lỗi trước khi sửa. Mỗi con số ở đây là một dòng của nhật ký chất lượng:
import pandas as pd
don = pd.read_csv("don_hang_tho.csv", dtype={"ma_sp": str})
thieu = don.isna().sum()
print(thieu[thieu > 0].to_dict())
print(don.duplicated().sum(), "dòng trùng")
print(don["ma_sp"].str.len().value_counts().to_dict())
print(don["kenh"].nunique(), "cách viết kênh")
print(don["ngay_dat"].str.contains("/").sum(), "ngày dd/mm/yyyy")KẾT QUẢ
{'so_luong': 6, 'trang_thai': 6, 'ngay_giao': 127}
30 dòng trùng
{4: 1480, 2: 71, 1: 5}
19 cách viết kênh
389 ngày dd/mm/yyyyÔ trống của ngay_giao có lý do: đơn hủy và đơn đang giao chưa có ngày giao, như bài dữ liệu thiếu đã tìm ra, nên không bỏ. Mã sản phẩm có ba độ dài, nghĩa là có mã bị mất số 0 đầu. 389 ngày đặt viết kiểu 10/01/2025 lẫn với kiểu 2025-01-10; bài đọc ngày dd/mm/yyyy xử lý cột này.
Bước 2: Bỏ dòng trùng và ô thiếu bắt buộc
Hàm ghi() in số dòng rồi trả lại nguyên bảng, nên chèn được sau mọi bước. Đơn thiếu so_luong hay trang_thai không tính được doanh thu, nên bỏ; các cột khác giữ:
import pandas as pd
def ghi(df, buoc):
print(f"{buoc:<14}{len(df):>6} dòng")
return df
don = pd.read_csv("don_hang_tho.csv", dtype={"ma_sp": str})
sach = (don.pipe(ghi, "đọc file")
.drop_duplicates().pipe(ghi, "bỏ trùng")
.dropna(subset=["so_luong", "trang_thai"])
.pipe(ghi, "bỏ thiếu"))KẾT QUẢ
đọc file 1556 dòng
bỏ trùng 1526 dòng
bỏ thiếu 1515 dòngBỏ trùng đứng trước bỏ thiếu. Đổi chỗ hai bước thì bảng cuối vẫn vậy, chỉ số trên từng dòng nhật ký đổi; giữ một thứ tự cố định để nhật ký các tuần so được với nhau. Đổi subset=["so_luong", "trang_thai"] thành subset=["so_luong"] rồi chạy lại: dòng cuối in 1520.
Bước 3: Đổi đơn giá sang số
Đơn giá là chữ vì một phần ô ghi 195.000đ. Hàm doi_don_gia() bỏ dấu chấm và chữ đ với regex=False, đổi bằng pd.to_numeric(), và trả bảng mới qua assign():
import pandas as pd
def doi_don_gia(df):
gia = (df["don_gia"].str.replace(".", "", regex=False)
.str.replace("đ", "", regex=False))
return df.assign(don_gia=pd.to_numeric(gia))
don = pd.read_csv("don_hang_tho.csv", dtype={"ma_sp": str})
moi = don.pipe(doi_don_gia)
print(don["don_gia"].dtype, moi["don_gia"].dtype)
print(f"{moi['don_gia'].max():,}".replace(",", ".") + " đ")KẾT QUẢ
str int64
890.000 đKhông có errors="coerce": nếu còn ô lạ, chương trình dừng và báo vị trí, điều bạn muốn ở một quy trình chạy lại mỗi tuần. Cách đọc chuỗi tiền có ở bài pd.to_numeric().
Bước 4: Chuẩn hóa kênh, mã sản phẩm và số lượng
Kênh bán đưa về một khóa so sánh (NFC, gộp khoảng trắng, chữ thường) rồi tra tên hiển thị trong dict KENH. Mã sản phẩm đệm lại đủ bốn ký tự bằng zfill(4). Đơn có số lượng không dương bị bỏ:
import pandas as pd
KENH = {"cửa hàng": "Cửa hàng", "mạng xã hội": "Mạng xã hội",
"sàn tmđt": "Sàn TMĐT", "website": "Website",
"ứng dụng": "Ứng dụng"}
def chuan_hoa_chu(df):
kenh = (df["kenh"].str.normalize("NFC").str.split()
.str.join(" ").str.lower().map(KENH))
return df.assign(kenh=kenh, ma_sp=df["ma_sp"].str.zfill(4))
def bo_so_luong_sai(df):
return df[df["so_luong"] > 0]
don = pd.read_csv("don_hang_tho.csv", dtype={"ma_sp": str})
moi = don.pipe(chuan_hoa_chu).pipe(bo_so_luong_sai)
print(moi["kenh"].nunique(), moi["kenh"].isna().sum(),
len(don) - len(moi))KẾT QUẢ
5 0 14Từ 19 cách viết còn đúng 5 kênh, không ô nào rơi thành NaN, và 14 dòng bị bỏ: 8 đơn số lượng không dương cùng 6 đơn trống số lượng, vì so sánh với ô trống cho False.
Bước 5: Ghép thành quy trình hoàn chỉnh
Chương trình hoàn chỉnh gom các hàm của bốn bước và nối chúng bằng một chuỗi pipe() có nhật ký. Hai dòng cuối kiểm kết quả: số đơn mỗi kênh, độ dài mã và kiểu của đơn giá.
import pandas as pd
KENH = {"cửa hàng": "Cửa hàng", "mạng xã hội": "Mạng xã hội",
"sàn tmđt": "Sàn TMĐT", "website": "Website",
"ứng dụng": "Ứng dụng"}
def ghi(df, buoc):
print(f"{buoc:<14}{len(df):>6} dòng")
return df
def doi_don_gia(df):
gia = (df["don_gia"].str.replace(".", "", regex=False)
.str.replace("đ", "", regex=False))
return df.assign(don_gia=pd.to_numeric(gia))
def chuan_hoa_chu(df):
kenh = (df["kenh"].str.normalize("NFC").str.split()
.str.join(" ").str.lower().map(KENH))
return df.assign(kenh=kenh, ma_sp=df["ma_sp"].str.zfill(4))
def bo_so_luong_sai(df):
return df[df["so_luong"] > 0]
don = pd.read_csv("don_hang_tho.csv", dtype={"ma_sp": str})
sach = (don.pipe(ghi, "đọc file")
.drop_duplicates().pipe(ghi, "bỏ trùng")
.dropna(subset=["so_luong", "trang_thai"])
.pipe(ghi, "bỏ thiếu")
.pipe(doi_don_gia).pipe(chuan_hoa_chu)
.pipe(bo_so_luong_sai).pipe(ghi, "số lượng > 0")
.reset_index(drop=True))
print(sach["kenh"].value_counts().to_dict())
print(sach["ma_sp"].str.len().unique().tolist(),
sach["don_gia"].dtype)KẾT QUẢ
đọc file 1556 dòng
bỏ trùng 1526 dòng
bỏ thiếu 1515 dòng
số lượng > 0 1508 dòng
{'Website': 462, 'Ứng dụng': 389, 'Sàn TMĐT': 373, 'Cửa hàng': 171, 'Mạng xã hội': 113}
[4] int64Nhật ký kể lại cả quy trình: 30 dòng trùng, 11 đơn thiếu ô bắt buộc, 7 đơn số lượng không dương. Tuần sau, bạn chỉ thay tên file ở dòng read_csv() và chạy lại: cùng các bước chạy lại, và nhật ký cho biết tuần đó file bẩn ra sao. Bài Blog làm sạch dữ liệu với pandas làm một mẫu ngắn hơn của cùng quy trình.
Bài tập
Thêm bước bỏ đơn đã hủy
Báo cáo doanh thu không tính đơn đã hủy. Viết thân hàm bo_don_huy(bang), một bước mới cho quy trình: nhận bảng đã làm sạch (cột trang_thai đã đúng bốn giá trị Hoàn thành, Đã hủy, Hoàn trả, Đang giao), trả bảng mới bỏ các đơn Đã hủy, index đánh lại 0, 1, 2… Các cột và thứ tự dòng còn lại giữ nguyên; đơn hoàn trả vẫn giữ.
Gọi được dạng sach.pipe(bo_don_huy). Hàm không sửa bảng của nơi gọi.
Trả về: bảng không còn đơn hủy, một DataFrame.
import pandas as pd
def bo_don_huy(bang):
pass # Viết thân hàm thay cho dòng nàyThử mở rộng
Quy trình đã chạy được; vài hướng để nó đầy đủ hơn:
Nối
.pipe(bo_don_huy).pipe(ghi, "bỏ đơn hủy")vào cuối chuỗi của bước 5, để nhật ký có thêm một dòng cho số đơn hủy bị bỏ.Đổi cột
ngay_datlẫn hai định dạng về kiểu ngày theo bài đọc ngày dd/mm/yyyy.Tìm đơn của khách không có trong bảng khách bằng anti join, rồi ghi bảng sạch ra file bằng to_csv().
Chủ đề
Dữ liệu của bài
- Tải xuống
don_hang_tho.csv
CSV · 111.93 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.