Kiểm tra chất lượng dữ liệu bằng pandas trước khi làm sạch
Bài 1/17 · Chương 6
Làm sạch dữ liệu
- 7 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 12
Kiểm tra chất lượng dữ liệu (data quality) là đếm xem bảng hỏng ở đâu và hỏng kiểu gì trước khi sửa một ô nào. Giống bác sĩ khám trước khi kê đơn, bạn làm việc này mỗi khi nhận một file xuất từ phần mềm bán hàng mà chưa biết người nhập đã gõ những gì.
Cần biết trước: info() và describe(), value_counts() và quy trình làm sạch file CSV bằng Python.
Bốn loại lỗi cần tìm
Bài Python về làm sạch file CSV đã đi qua bốn bước liệt kê lỗi, sửa, loại, báo cáo. Với pandas, bước liệt kê gọn hơn nhiều, vì mỗi phép kiểm chạy trên cả cột. Bảng dữ liệu hay hỏng theo bốn kiểu:
Loại lỗi | Dấu hiệu | Công cụ để thấy |
|---|---|---|
Thiếu | Ô trống, hiện |
|
Trùng | Một đơn xuất hiện hai lần |
|
Sai kiểu | Cột số mang kiểu |
|
Giá trị lạ | Số âm, một kênh bán có năm cách viết |
|
File don_hang_tho.csv là bản thô của bảng đơn hàng trong bộ dữ liệu thực hành. Việc đầu tiên là xem kích thước và kiểu của từng cột:
import pandas as pd
don = pd.read_csv("don_hang_tho.csv")
print(don.shape)
print(don.dtypes)KẾT QUẢ
(1556, 9)
ma_don str
ngay_dat str
ma_kh str
ma_sp int64
so_luong float64
don_gia str
kenh str
trang_thai str
ngay_giao str
dtype: objectHai cột đã lộ lỗi sai kiểu. Số lượng là số nguyên mà so_luong mang kiểu float64, dấu hiệu cột có ô trống (bài dtype và astype() nói vì sao). Đơn giá là tiền mà don_gia là str, tức có ô viết kèm chữ.
Đếm ô thiếu mỗi cột bằng isna().sum()
don.isna() cho một bảng True/False đúng hình của don, True đánh dấu chỗ trống. Gọi .sum() trên bảng đó là đếm số True trong từng cột (pandas coi True là 1), nên một dòng code cho ngay số ô thiếu của mọi cột:
import pandas as pd
don = pd.read_csv("don_hang_tho.csv")
thieu = don.isna().sum()
print(thieu[thieu > 0])
print((thieu / len(don) * 100).round(1)["ngay_giao"])KẾT QUẢ
so_luong 6
trang_thai 6
ngay_giao 127
dtype: int64
8.2Phép lọc thieu[thieu > 0] chỉ giữ các cột có ô trống. Ba cột thiếu, nhưng không cùng một nghĩa. ngay_giao trống ở 8,2% số dòng vì đơn bị hủy hay còn đang giao thì chưa có ngày giao, nên đó là ô trống có lý do. Sáu ô của so_luong thì là lỗi nhập. Bài dữ liệu thiếu dạy cách phân biệt hai trường hợp này.
Tìm dòng trùng và giá trị lạ
Ô thiếu chỉ là một trong bốn loại. Dòng trùng hoàn toàn đếm bằng duplicated().sum(): phương thức đánh dấu True cho mỗi dòng giống hệt một dòng đã gặp phía trên, bài drop_duplicates() dạy cách xem và xóa chúng. Giá trị lạ thì bạn phải tự hỏi: số lượng có được âm không, một kênh bán có mấy cách viết?
import pandas as pd
don = pd.read_csv("don_hang_tho.csv")
print("Dòng trùng:", don.duplicated().sum())
print("Số lượng <= 0:", (don["so_luong"] <= 0).sum())
print("Cách viết kênh:", don["kenh"].nunique())
print(don["kenh"].value_counts().tail(4))KẾT QUẢ
Dòng trùng: 30
Số lượng <= 0: 8
Cách viết kênh: 19
kenh
Cửa hàng 4
mạng xã hội 3
MẠNG XÃ HỘI 2
Mạng xã hội 1
Name: count, dtype: int64Công ty bán qua năm kênh, mà cột kenh có 19 cách viết: chữ thường, chữ hoa, thừa dấu cách cuối. tail(4) cho thấy các cách viết hiếm, thứ mà head() giấu đi. Tám đơn có số lượng 0 hoặc âm là giá trị lạ, cần hỏi lại người bán chứ không tự đoán.
Ghi nhật ký chất lượng
Đếm xong mà chỉ để trên màn hình thì hôm sau bạn quên mất mình đã thấy gì. Nhật ký chất lượng là một bảng nhỏ, mỗi dòng một phát hiện: loại lỗi, cột, số dòng dính lỗi, và việc định làm. Bảng này đi kèm báo cáo, để người đọc biết số liệu cuối cùng đã qua những bước nào:
import pandas as pd
don = pd.read_csv("don_hang_tho.csv")
nhat_ky = pd.DataFrame([
{"loai": "thiếu", "cot": "so_luong",
"so_dong": don["so_luong"].isna().sum()},
{"loai": "trùng", "cot": "(cả dòng)",
"so_dong": don.duplicated().sum()},
{"loai": "sai kiểu", "cot": "don_gia",
"so_dong": don["don_gia"].str.contains("đ").sum()},
{"loai": "giá trị lạ", "cot": "so_luong",
"so_dong": (don["so_luong"] <= 0).sum()},
])
print(nhat_ky)KẾT QUẢ
loai cot so_dong
0 thiếu so_luong 6
1 trùng (cả dòng) 30
2 sai kiểu don_gia 154
3 giá trị lạ so_luong 8Dòng sai kiểu đếm các ô có chữ đ bằng .str.contains(), cách tìm một chuỗi con trên cả cột. Đổi "đ" thành "000đ" rồi chạy lại: dòng sai kiểu vẫn là 154, vì mọi giá viết kèm chữ đều tận cùng bằng ba số 0 và chữ đ. Bài Blog làm sạch dữ liệu với pandas kể cả quy trình cho người muốn xem tổng quan trước.
Kiểm tra nhanh
Sau
import pandas as pd,print(pd.Series(["1", "2", "3"]).sum())in ra gì?6123- Báo lỗi
TypeError
Cột
so_luongcó vài dòng ghi-1. Đó là loại lỗi nào?- Thiếu
- Trùng
- Sai kiểu
- Giá trị lạ
Trong ví dụ đếm ô thiếu, cột
kenhkhông xuất hiện. Những câu nào đúng?- Cột
kenhkhông có ô trống nào - Cột
kenhđã sạch, không cần kiểm thêm - Vẫn cần
value_counts()để xem các cách viết khác nhau isna()bỏ qua các cột kiểustr
- Cột
Sau
import numpy as npvàimport pandas as pd,print(pd.DataFrame({"a": [1, np.nan], "b": [None, None]}).isna().sum().sum())in ra gì?231
Bài tập
Tìm các cột thiếu nhiều ô
Trước khi làm sạch một file mới, bạn muốn biết cột nào thiếu nhiều để hỏi lại người gửi. Viết thân hàm cot_can_xem(bang, nguong): trả về tên các cột có số ô thiếu từ nguong trở lên, theo thứ tự cột trong bảng.
Ô thiếu là ô mà
isna()choTrue(NaN,None).Không cột nào đạt ngưỡng thì trả list rỗng.
Hàm không sửa bảng của nơi gọi.
Trả về: tên các cột cần xem lại, một list.
import pandas as pd
def cot_can_xem(bang, nguong):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Bốn loại lỗi cần tìm trước khi sửa: thiếu, trùng, sai kiểu, giá trị lạ.
dtypeslộ lỗi sai kiểu: cột số mang kiểustrthìsum()nối chuỗi thay cho cộng.df.isna().sum()đếm ô thiếu mỗi cột; lọcthieu[thieu > 0]để chỉ xem cột có ô trống.isna()không thấy giá trị lạ: dùngnunique(),value_counts()và phép so sánh như<= 0.Nhật ký chất lượng là một DataFrame, mỗi dòng một phát hiện: loại lỗi, cột, số dòng.
Câu hỏi thường gặp
Data profiling trong Python là làm những gì?
Là tóm tắt từng cột của bảng: kiểu, số ô thiếu, số giá trị khác nhau, khoảng giá trị. Với pandas, bạn làm bằng dtypes, isna().sum(), nunique() và describe(), rồi ghi điều thấy được vào nhật ký như mục cuối của bài.
Kiểm tra chất lượng dữ liệu xong thì làm gì tiếp?
Xử lý từng dòng của nhật ký theo thứ tự: bỏ dòng trùng trước, rồi sửa kiểu, rồi mới xử lý ô thiếu và giá trị lạ. Bài dropna() và drop_duplicates() là hai bước đầu tiên.
Nên đếm ô thiếu theo số ô hay theo tỉ lệ phần trăm?
In cả hai. Số ô cho biết bao nhiêu dòng sẽ mất nếu bỏ, tỉ lệ cho biết cột đó có còn dùng được không. Chia isna().sum() cho len(df) rồi nhân 100, như ví dụ cột ngay_giao trong bài.
Có thư viện nào làm báo cáo chất lượng dữ liệu tự động không?
Có, nhưng các thư viện đó không chạy trên trang này và vẫn cần bạn đọc từng con số. Bắt đầu bằng các lệnh trong bài, vì bạn sẽ biết chính xác mỗi con số đếm cái gì. Cách đọc kết quả của value_counts() là bước tiếp theo nên nắm chắc.
Chủ đề
Dữ liệu của bài
- Tải xuống
don_hang_tho.csv
CSV · 111.93 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.