Làm sạch dữ liệu bằng Python thuần: file CSV bẩn
Bài 10/11 · Chương 11
Lỗi và ngoại lệ
- 8 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 11
Làm sạch dữ liệu bằng Python là biến một file gõ tay đầy lỗi thành bảng dùng được, theo bốn bước: liệt kê lỗi, sửa, loại, báo cáo. Bạn chỉ cần csv, các phương thức chuỗi và try except, không cần thư viện ngoài. Bài làm sạch file đơn hàng của một quầy nước, nơi nhân viên gõ tay số lượng và tên món.
Cần biết trước: đọc file CSV, ghi file CSV, try except và raise.
Bước 1: nhìn dữ liệu, liệt kê lỗi
Đừng viết code sửa trước khi nhìn dữ liệu. Ví dụ dưới tự ghi file don_hang.csv rồi đọc lại bằng DictReader, in nguyên từng dòng:
import csv
with open("don_hang.csv", "w", encoding="utf-8") as f:
f.write("ma,mon,so_luong\nDH01, Trà đào ,2\nDH02,bạc xỉu,\n"
"DH03,Cà phê sữa,1 ly\nDH04,trà đào,-1\n"
"DH05,Bạc xỉu\nDH06,cà phê sữa, 3\n")
with open("don_hang.csv", encoding="utf-8", newline="") as f:
for dong in csv.DictReader(f):
print(dong)KẾT QUẢ
{'ma': 'DH01', 'mon': ' Trà đào ', 'so_luong': '2'}
{'ma': 'DH02', 'mon': 'bạc xỉu', 'so_luong': ''}
{'ma': 'DH03', 'mon': 'Cà phê sữa', 'so_luong': '1 ly'}
{'ma': 'DH04', 'mon': 'trà đào', 'so_luong': '-1'}
{'ma': 'DH05', 'mon': 'Bạc xỉu', 'so_luong': None}
{'ma': 'DH06', 'mon': 'cà phê sữa', 'so_luong': ' 3'}Dict in ra kèm nháy, nên khoảng trắng thừa hiện rõ. Đọc từng dòng và ghi lại mỗi cách hỏng:
Tên món có khoảng trắng hai đầu và viết hoa lẫn lộn (DH01, DH03, DH05).
Ô số lượng trống (DH02), hoặc dòng thiếu hẳn cột đó (DH05):
DictReadercho''hoặcNone.Ô số lượng có chữ,
int()không đổi được (DH03).Số đổi được nhưng vô lý: âm hoặc bằng 0 (DH04).
Danh sách này là bản thiết kế cho code. Mỗi cách hỏng thành một bước kiểm, và mỗi bước có một quyết định: sửa hay loại.
Bước 2: sửa những gì chắc chắn sửa được
Một lỗi được sửa khi chỉ có một cách hiểu đúng. " Trà đào " và "trà đào" chắc chắn là một món, nên đưa tên về một dạng chung, bỏ khoảng trắng hai đầu và đổi sang chữ thường:
def chuan_hoa_mon(mon):
return mon.strip().lower()
for mon in [" Trà đào ", "Bạc xỉu", "cà phê sữa "]:
print(repr(chuan_hoa_mon(mon)))KẾT QUẢ
'trà đào'
'bạc xỉu'
'cà phê sữa'Khoảng trắng của ô số lượng, như " 3", cũng sửa được, và int() đã tự bỏ nó. Còn "1 ly" thì sao? Đoán là 1 có thể đúng, nhưng có thể khách gọi 11 mà nhân viên gõ sót. Dữ liệu bán hàng mà đoán sai thì tiền sai, nên dòng đó bị loại để người bán hỏi lại.
Bước 3: loại dòng hỏng, kèm lý do
Mỗi cách hỏng không sửa được thành một câu kiểm, xếp theo thứ tự của danh sách ở bước 1. Hàm doc_so_luong báo ValueError với lý do bằng tiếng Việt; nơi gọi bắt nó và ghi dòng vào danh sách loại:
def doc_so_luong(chuoi):
if chuoi is None or chuoi.strip() == "":
raise ValueError("thiếu số lượng")
try:
so = int(chuoi)
except ValueError:
raise ValueError("số lượng không phải số") from None
if so <= 0:
raise ValueError("số lượng phải lớn hơn 0")
return so
for chuoi in ["2", "", "1 ly", "-1", None, " 3"]:
try:
print(repr(chuoi), "->", doc_so_luong(chuoi))
except ValueError as e:
print(repr(chuoi), "-> loại:", e)KẾT QUẢ
'2' -> 2
'' -> loại: thiếu số lượng
'1 ly' -> loại: số lượng không phải số
'-1' -> loại: số lượng phải lớn hơn 0
None -> loại: thiếu số lượng
' 3' -> 3Thứ tự các câu kiểm có lý do. Kiểm ô trống trước int(), để ô trống được báo đúng là "thiếu số lượng" thay vì lẫn vào "không phải số". from None của bài raise from giấu lỗi gốc của int(), vì lý do mới đã nói đủ cho người bán.
Đổi "1 ly" thành "12" rồi chạy lại: dòng thứ ba in '12' -> 12.
Bước 4: báo cáo dòng bị loại
Dòng bị loại không được biến mất. Ghi chúng ra file loai.csv, mỗi dòng kèm mã đơn và lý do, để người bán hỏi lại khách rồi sửa đúng chỗ:
import csv
loai = [("DH02", "thiếu số lượng"),
("DH03", "số lượng không phải số"),
("DH04", "số lượng phải lớn hơn 0"),
("DH05", "thiếu số lượng")]
with open("loai.csv", "w", encoding="utf-8", newline="") as f:
viet = csv.writer(f)
viet.writerow(["ma", "ly_do"])
viet.writerows(loai)
with open("loai.csv", encoding="utf-8") as f:
print(f.read(), end="")
print(f"Giữ 2 dòng, loại {len(loai)} dòng")KẾT QUẢ
ma,ly_do
DH02,thiếu số lượng
DH03,số lượng không phải số
DH04,số lượng phải lớn hơn 0
DH05,thiếu số lượng
Giữ 2 dòng, loại 4 dòngDòng tổng kết cuối cho biết ngay file có đáng tin không: loại 4 trên 6 dòng là dấu hiệu cần xem lại cách nhập liệu, chứ không chỉ sửa từng dòng. Làm sạch dữ liệu giống nhặt rau: lá úa nào bỏ thì bỏ, nhưng người nấu cần biết mớ rau còn lại bao nhiêu.
Trên máy của bạn, mỗi lần chạy ghi đè loai.csv cũ. Trên trang này, mỗi lần chạy bắt đầu với một thư mục trống, nên ví dụ tự ghi file trước khi đọc.
Kiểm tra nhanh
Với file đơn hàng của bài,
DictReadercho ô số lượng của dòngDH05,Bạc xỉugiá trị nào?''None'0'
Những ô số lượng nào bị
doc_so_luongloại?"1 ly""0"" 3"""
Trong khung bẫy gọi
strip()trước khi kiểmNone, vì sao chương trình dừng ở dòng thiếu cột?- Vì
strip()không nhận chuỗi rỗng - Vì vế
chuoi.strip()chạy trước, vàNonekhông có phương thứcstrip() - Vì
orluôn tính cả hai vế
- Vì
Trong ví dụ điền
"1"cho ô trống, vì sao tổng6là kết quả nguy hiểm?- Vì
int("1")báo lỗi - Vì ô trống được đoán thành 1 ly mà không ai biết, nên tổng trông như thật
- Vì vòng lặp bỏ qua ô cuối
- Vì
Bài tập
Làm sạch các dòng đơn hàng
Các dòng đơn hàng đã được DictReader đọc thành list các dict có ba khóa "ma", "mon", "so_luong"; giá trị là chuỗi, hoặc None khi dòng thiếu cột. Viết thân hàm lam_sach(cac_dong). Với mỗi dòng, kiểm theo đúng thứ tự này và dừng ở lý do đầu tiên gặp:
"mon"làNonehay chỉ có khoảng trắng: loại, lý do"thiếu tên món";"so_luong"làNonehay chỉ có khoảng trắng: loại, lý do"thiếu số lượng";int()không đổi được"so_luong": loại, lý do"số lượng không phải số";số lượng không lớn hơn 0: loại, lý do
"số lượng phải lớn hơn 0".
Dòng qua cả bốn bước là dòng sạch: một dict mới {"ma": ..., "mon": ..., "so_luong": ...} với tên món đã bỏ khoảng trắng hai đầu và đổi sang chữ thường, số lượng là int. Dòng bị loại ghi thành chuỗi "<ma>: <lý do>". Không đoán giá trị thay cho ô hỏng. Không dùng isdigit(), isdecimal() hay isnumeric(): hãy để int() thử đổi rồi bắt ngoại lệ.
Trả về: một tuple gồm list dòng sạch và list dòng bị loại, theo thứ tự các dòng.
Hàm không sửa list cac_dong hay các dict trong đó.
def lam_sach(cac_dong):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Làm sạch theo bốn bước: liệt kê lỗi, sửa, loại, báo cáo; in từng dòng
DictReaderđọc được trước khi viết code.Chỉ sửa lỗi có một cách hiểu đúng, như khoảng trắng và hoa thường; không đoán giá trị cho ô hỏng.
Kiểm
Nonetrước mọi phương thức chuỗi, ô trống trướcint(), giá trị vô lý sau cùng.Mỗi dòng bị loại mang mã và lý do; ghi chúng ra file bằng
csv.writer.Dòng tổng kết số dòng giữ và loại cho biết file có đáng tin không.
Câu hỏi thường gặp
Data cleaning trong Python có cần thư viện ngoài không?
Không cho file vài trăm hay vài nghìn dòng: csv, các phương thức chuỗi và try except là đủ, và bạn thấy rõ từng bước. pandas tiện hơn khi bảng lớn hay cần thống kê nhiều cột, nhưng quy trình liệt kê, sửa, loại, báo cáo vẫn y như bài này.
Làm sạch file CSV bằng Python có nên ghi đè file gốc không?
Không nên. Giữ file gốc nguyên vẹn, ghi dòng sạch ra một file mới và dòng bị loại ra một file khác, như loai.csv của bài. Khi quy tắc làm sạch sai, bạn chạy lại từ file gốc; ghi đè thì dữ liệu gốc mất hẳn.
Tên món có dấu gõ lẫn kiểu Unicode khác nhau thì làm sạch thế nào?
Hai chữ "à" trông giống nhau có thể là hai chuỗi khác nhau, tùy bộ gõ. Cách đưa chúng về một dạng bằng unicodedata.normalize(), cùng việc chuẩn hóa tên người và số điện thoại, nằm ở bài chuẩn hóa dữ liệu tiếng Việt.
Chủ đề
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.