Bỏ qua đến nội dung chính
Mục lục

Kiểm tra chất lượng dữ liệu bằng pandas trước khi làm sạch

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 1/17 · Chương 6

Làm sạch dữ liệu

  • 7 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Kiểm tra chất lượng dữ liệu (data quality) là đếm xem bảng hỏng ở đâu và hỏng kiểu gì trước khi sửa một ô nào. Giống bác sĩ khám trước khi kê đơn, bạn làm việc này mỗi khi nhận một file xuất từ phần mềm bán hàng mà chưa biết người nhập đã gõ những gì.

Cần biết trước: info() và describe(), value_counts() và quy trình làm sạch file CSV bằng Python.

Bốn loại lỗi cần tìm

Bài Python về làm sạch file CSV đã đi qua bốn bước liệt kê lỗi, sửa, loại, báo cáo. Với pandas, bước liệt kê gọn hơn nhiều, vì mỗi phép kiểm chạy trên cả cột. Bảng dữ liệu hay hỏng theo bốn kiểu:

Loại lỗi

Dấu hiệu

Công cụ để thấy

Thiếu

Ô trống, hiện NaN

isna().sum()

Trùng

Một đơn xuất hiện hai lần

duplicated().sum()

Sai kiểu

Cột số mang kiểu str hay float64 lạ

dtypes

Giá trị lạ

Số âm, một kênh bán có năm cách viết

value_counts(), phép so sánh

File don_hang_tho.csv là bản thô của bảng đơn hàng trong bộ dữ liệu thực hành. Việc đầu tiên là xem kích thước và kiểu của từng cột:

python
import pandas as pd

don = pd.read_csv("don_hang_tho.csv")
print(don.shape)
print(don.dtypes)

KẾT QUẢ

(1556, 9)
ma_don            str
ngay_dat          str
ma_kh             str
ma_sp           int64
so_luong      float64
don_gia           str
kenh              str
trang_thai        str
ngay_giao         str
dtype: object

Hai cột đã lộ lỗi sai kiểu. Số lượng là số nguyên mà so_luong mang kiểu float64, dấu hiệu cột có ô trống (bài dtype và astype() nói vì sao). Đơn giá là tiền mà don_gia là str, tức có ô viết kèm chữ.

Đếm ô thiếu mỗi cột bằng isna().sum()

don.isna() cho một bảng True/False đúng hình của don, True đánh dấu chỗ trống. Gọi .sum() trên bảng đó là đếm số True trong từng cột (pandas coi True là 1), nên một dòng code cho ngay số ô thiếu của mọi cột:

python
import pandas as pd

don = pd.read_csv("don_hang_tho.csv")
thieu = don.isna().sum()
print(thieu[thieu > 0])
print((thieu / len(don) * 100).round(1)["ngay_giao"])

KẾT QUẢ

so_luong        6
trang_thai      6
ngay_giao     127
dtype: int64
8.2

Phép lọc thieu[thieu > 0] chỉ giữ các cột có ô trống. Ba cột thiếu, nhưng không cùng một nghĩa. ngay_giao trống ở 8,2% số dòng vì đơn bị hủy hay còn đang giao thì chưa có ngày giao, nên đó là ô trống có lý do. Sáu ô của so_luong thì là lỗi nhập. Bài dữ liệu thiếu dạy cách phân biệt hai trường hợp này.

Tìm dòng trùng và giá trị lạ

Ô thiếu chỉ là một trong bốn loại. Dòng trùng hoàn toàn đếm bằng duplicated().sum(): phương thức đánh dấu True cho mỗi dòng giống hệt một dòng đã gặp phía trên, bài drop_duplicates() dạy cách xem và xóa chúng. Giá trị lạ thì bạn phải tự hỏi: số lượng có được âm không, một kênh bán có mấy cách viết?

python
import pandas as pd

don = pd.read_csv("don_hang_tho.csv")
print("Dòng trùng:", don.duplicated().sum())
print("Số lượng <= 0:", (don["so_luong"] <= 0).sum())
print("Cách viết kênh:", don["kenh"].nunique())
print(don["kenh"].value_counts().tail(4))

KẾT QUẢ

Dòng trùng: 30
Số lượng <= 0: 8
Cách viết kênh: 19
kenh
Cửa hàng        4
mạng xã hội     3
MẠNG XÃ HỘI     2
Mạng xã hội     1
Name: count, dtype: int64

Công ty bán qua năm kênh, mà cột kenh có 19 cách viết: chữ thường, chữ hoa, thừa dấu cách cuối. tail(4) cho thấy các cách viết hiếm, thứ mà head() giấu đi. Tám đơn có số lượng 0 hoặc âm là giá trị lạ, cần hỏi lại người bán chứ không tự đoán.

Ghi nhật ký chất lượng

Đếm xong mà chỉ để trên màn hình thì hôm sau bạn quên mất mình đã thấy gì. Nhật ký chất lượng là một bảng nhỏ, mỗi dòng một phát hiện: loại lỗi, cột, số dòng dính lỗi, và việc định làm. Bảng này đi kèm báo cáo, để người đọc biết số liệu cuối cùng đã qua những bước nào:

python
import pandas as pd

don = pd.read_csv("don_hang_tho.csv")
nhat_ky = pd.DataFrame([
    {"loai": "thiếu", "cot": "so_luong",
     "so_dong": don["so_luong"].isna().sum()},
    {"loai": "trùng", "cot": "(cả dòng)",
     "so_dong": don.duplicated().sum()},
    {"loai": "sai kiểu", "cot": "don_gia",
     "so_dong": don["don_gia"].str.contains("đ").sum()},
    {"loai": "giá trị lạ", "cot": "so_luong",
     "so_dong": (don["so_luong"] <= 0).sum()},
])
print(nhat_ky)

KẾT QUẢ

         loai        cot  so_dong
0       thiếu   so_luong        6
1       trùng  (cả dòng)       30
2    sai kiểu    don_gia      154
3  giá trị lạ   so_luong        8

Dòng sai kiểu đếm các ô có chữ đ bằng .str.contains(), cách tìm một chuỗi con trên cả cột. Đổi "đ" thành "000đ" rồi chạy lại: dòng sai kiểu vẫn là 154, vì mọi giá viết kèm chữ đều tận cùng bằng ba số 0 và chữ đ. Bài Blog làm sạch dữ liệu với pandas kể cả quy trình cho người muốn xem tổng quan trước.

Kiểm tra nhanh

  1. Sau import pandas as pd, print(pd.Series(["1", "2", "3"]).sum()) in ra gì?

    • 6
    • 123
    • Báo lỗi TypeError
  2. Cột so_luong có vài dòng ghi -1. Đó là loại lỗi nào?

    • Thiếu
    • Trùng
    • Sai kiểu
    • Giá trị lạ
  3. Trong ví dụ đếm ô thiếu, cột kenh không xuất hiện. Những câu nào đúng?

    • Cột kenh không có ô trống nào
    • Cột kenh đã sạch, không cần kiểm thêm
    • Vẫn cần value_counts() để xem các cách viết khác nhau
    • isna() bỏ qua các cột kiểu str
  4. Sau import numpy as np và import pandas as pd, print(pd.DataFrame({"a": [1, np.nan], "b": [None, None]}).isna().sum().sum()) in ra gì?

    • 2
    • 3
    • 1
Đúng hết lần đầu +15 XP

Bài tập

Tìm các cột thiếu nhiều ô

Trước khi làm sạch một file mới, bạn muốn biết cột nào thiếu nhiều để hỏi lại người gửi. Viết thân hàm cot_can_xem(bang, nguong): trả về tên các cột có số ô thiếu từ nguong trở lên, theo thứ tự cột trong bảng.

  • Ô thiếu là ô mà isna() cho True (NaN, None).

  • Không cột nào đạt ngưỡng thì trả list rỗng.

Hàm không sửa bảng của nơi gọi.

Trả về: tên các cột cần xem lại, một list.

python
import pandas as pd

def cot_can_xem(bang, nguong):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • Bốn loại lỗi cần tìm trước khi sửa: thiếu, trùng, sai kiểu, giá trị lạ.

  • dtypes lộ lỗi sai kiểu: cột số mang kiểu str thì sum() nối chuỗi thay cho cộng.

  • df.isna().sum() đếm ô thiếu mỗi cột; lọc thieu[thieu > 0] để chỉ xem cột có ô trống.

  • isna() không thấy giá trị lạ: dùng nunique(), value_counts() và phép so sánh như <= 0.

  • Nhật ký chất lượng là một DataFrame, mỗi dòng một phát hiện: loại lỗi, cột, số dòng.

Câu hỏi thường gặp

Data profiling trong Python là làm những gì?

Là tóm tắt từng cột của bảng: kiểu, số ô thiếu, số giá trị khác nhau, khoảng giá trị. Với pandas, bạn làm bằng dtypes, isna().sum(), nunique() và describe(), rồi ghi điều thấy được vào nhật ký như mục cuối của bài.

Kiểm tra chất lượng dữ liệu xong thì làm gì tiếp?

Xử lý từng dòng của nhật ký theo thứ tự: bỏ dòng trùng trước, rồi sửa kiểu, rồi mới xử lý ô thiếu và giá trị lạ. Bài dropna() và drop_duplicates() là hai bước đầu tiên.

Nên đếm ô thiếu theo số ô hay theo tỉ lệ phần trăm?

In cả hai. Số ô cho biết bao nhiêu dòng sẽ mất nếu bỏ, tỉ lệ cho biết cột đó có còn dùng được không. Chia isna().sum() cho len(df) rồi nhân 100, như ví dụ cột ngay_giao trong bài.

Có thư viện nào làm báo cáo chất lượng dữ liệu tự động không?

Có, nhưng các thư viện đó không chạy trên trang này và vẫn cần bạn đọc từng con số. Bắt đầu bằng các lệnh trong bài, vì bạn sẽ biết chính xác mỗi con số đếm cái gì. Cách đọc kết quả của value_counts() là bước tiếp theo nên nắm chắc.

Chủ đề

chất lượng dữ liệu

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập