Bài tập làm sạch dữ liệu pandas: thiếu, trùng, ngoại lai
Bài 16/17 · Chương 6
Làm sạch dữ liệu
- 8 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 8
Mười bài tập làm sạch dữ liệu dưới đây được chấm ngay trên trang. Mỗi bài bạn viết thân một hàm làm việc trên một cột hay một bảng nhỏ, bấm Chạy, và từng dòng kiểm tra báo đạt hay chưa. Các bài dùng lại cả chương làm sạch dữ liệu: ô thiếu, dòng trùng, ô toàn khoảng trắng, tiền viết tắt, ngoại lai theo IQR, regex số điện thoại, str.extract(), chuẩn hóa tiếng Việt và pipe().
Cần biết trước: pipe(), str.extract() và chuẩn hóa tiếng Việt.
Cách làm các bài tập
Mỗi bài cho sẵn dòng import pandas as pd và dòng def với thân là pass. Bạn thay pass bằng thân hàm. Trình chấm không đọc những gì bạn in ra: nó gọi hàm của bạn với nhiều cột và bảng khác nhau rồi so giá trị trả về, nên hàm phải return kết quả. Series và bảng được so bằng pandas.testing, không so kiểu số nguyên cụ thể, nhưng có so giá trị, ô trống, index và tên như đề nói.
Mỗi hàm có bốn dòng kiểm tra. Dòng đầu là ví dụ trong đề cùng việc hàm không sửa dữ liệu của nơi gọi, rồi tới kiểu trả về, một trường hợp biên, và một dòng gọi hàm trên 30 bộ dữ liệu sinh bằng np.random.default_rng(). Hàm gõ sẵn đáp số của ví dụ sẽ không qua, và hàm sửa thẳng dữ liệu đầu vào (inplace=True, gán cot[:] = …) cũng không qua.
Bí thì mở gợi ý theo thứ tự: gợi ý thứ nhất chỉ chỗ cần nhìn, thứ hai nêu phương thức cần gọi, thứ ba gần như là lời giải. Mỗi đề kết thúc bằng một dòng "Ôn lại" về bài dạy kỹ thuật của bài tập.
Mức dễ: một thao tác làm sạch
Ba bài đầu mỗi bài cần một, hai lệnh: đếm ô trống, bỏ trùng theo khóa, hay soát ô chỉ có khoảng trắng.
Cột thiếu nhiều nhất
Trước khi làm sạch, bạn muốn biết cột nào cần xem đầu tiên. Viết thân hàm cot_thieu_nhieu_nhat(bang): trả tên cột có nhiều ô trống nhất của bang. Nhiều cột bằng nhau thì lấy cột đứng trước. Hàm không sửa bảng của nơi gọi.
Trả về: tên cột, một str.
Ôn lại: kiểm tra chất lượng dữ liệu.
import pandas as pd
def cot_thieu_nhieu_nhat(bang):
pass # Viết thân hàm thay cho dòng nàyBỏ trùng theo mã
File khách gộp từ hai nguồn nên một mã có thể xuất hiện nhiều lần. Viết thân hàm bo_trung_theo_ma(bang, cot): giữ dòng gặp đầu tiên của mỗi giá trị cột cot, bỏ các dòng sau, rồi đánh lại index từ 0. Hàm không sửa bảng của nơi gọi.
Trả về: bảng không trùng mã, một DataFrame.
Ôn lại: drop_duplicates().
import pandas as pd
def bo_trung_theo_ma(bang, cot):
pass # Viết thân hàm thay cho dòng nàyĐếm ô trống kể cả ô toàn khoảng trắng
Ô bỏ trống trong form đôi khi lưu là NaN, đôi khi là chuỗi rỗng "" hay chỉ có dấu cách, ký tự tab. Viết thân hàm dem_o_trong(cot) nhận một Series chữ và đếm mọi ô thuộc ba loại đó. Hàm không sửa Series của nơi gọi.
Trả về: số ô trống, một int.
Ôn lại: accessor .str.
import pandas as pd
def dem_o_trong(cot):
pass # Viết thân hàm thay cho dòng nàyMức vừa: điền, đọc tiền, ngoại lai và regex
Bốn bài sau cần ghép hai, ba kỹ thuật, và có một tham số đổi cách hàm làm việc.
Điền số đo theo lần đo trước, có giới hạn
Cảm biến nhiệt độ ghi một số đo mỗi giờ, giờ mất tín hiệu thì trống. Bạn chấp nhận dùng số đo của giờ gần nhất phía trên, nhưng chỉ cho tối đa toi_da giờ trống liền nhau; giờ trống thứ toi_da + 1 trở đi vẫn để trống. Viết thân hàm dien_lien_truoc(cot, toi_da). Kết quả giữ index và tên của Series. Hàm không sửa Series của nơi gọi.
Trả về: nhiệt độ đã điền, một Series.
Ôn lại: fillna(), ffill(), bfill().
import pandas as pd
def dien_lien_truoc(cot, toi_da):
pass # Viết thân hàm thay cho dòng nàyTổng tiền từ tin nhắn đặt hàng
Khách đặt hàng qua tin nhắn ghi tiền kiểu viết tắt: "45k" là 45 nghìn, "2tr" là 2 triệu, và "1tr5" là 1 triệu 5 trăm nghìn (một chữ số sau tr là số trăm nghìn). Ô ghi kiểu khác ("Miễn phí", "350.000") không tính; không ô nào trống. Viết thân hàm tong_tien(cot): cộng số tiền của mọi ô viết tắt đúng một trong ba kiểu đó. Hàm không sửa Series của nơi gọi.
Trả về: tổng số tiền, một int.
Ví dụ: "45k", "1tr5", "Miễn phí", "350k", "2tr" cộng được 3.895.000. Ôn lại: str.extract().
import pandas as pd
def tong_tien(cot):
pass # Viết thân hàm thay cho dòng nàyĐếm ngoại lai theo k lần IQR
Viết thân hàm dem_ngoai_lai(cot, k) nhận một Series số không có ô trống và hệ số k. Tính Q1, Q3 bằng quantile(), ngưỡng dưới Q1 − k × IQR, ngưỡng trên Q3 + k × IQR. Đếm số giá trị nhỏ hơn hẳn ngưỡng dưới hoặc lớn hơn hẳn ngưỡng trên; giá trị bằng đúng ngưỡng không tính. Hàm không sửa Series của nơi gọi.
Trả về: số ngoại lai, một int.
Ôn lại: IQR và ngoại lai.
import pandas as pd
def dem_ngoai_lai(cot, k):
pass # Viết thân hàm thay cho dòng nàyChe số điện thoại khi xuất báo cáo
Báo cáo gửi đối tác không được lộ số điện thoại đầy đủ. Viết thân hàm che_sdt(cot):
Số hợp lệ là đúng 10 chữ số, bắt đầu bằng
0. Số hợp lệ giữ 4 chữ số đầu, 3 chữ số cuối, ba chữ số giữa thay bằng***:"0912345678"thành"0912***678".Số không hợp lệ, kể cả số còn dấu cách, và ô trống thành trống.
Kết quả giữ index và tên của Series. Hàm không sửa Series của nơi gọi.
Trả về: số đã che, một Series.
Ôn lại: regex trong pandas.
import pandas as pd
def che_sdt(cot):
pass # Viết thân hàm thay cho dòng nàyMức khó: tách số, gộp cách viết, nối nhiều bước
Ba bài cuối ghép nhiều bước của chương trong một hàm, và mỗi bước có một chỗ dễ sai riêng.
Số phòng ngủ trong tiêu đề tin rao
Tiêu đề tin rao ghi số phòng ngủ dạng 2PN, số đứng sát trước chữ PN: "Bán căn hộ 2PN Thảo Điền". Tin đất nền không có phòng ngủ. Viết thân hàm so_phong_ngu(tieu_de) trả số phòng ngủ của mỗi tin, kiểu Int64; tin không có số phòng hay ô trống thì <NA>. Kết quả giữ index và tên của Series. Hàm không sửa Series của nơi gọi.
Trả về: số phòng ngủ, một Series kiểu Int64.
Ôn lại: str.extract().
import pandas as pd
def so_phong_ngu(tieu_de):
pass # Viết thân hàm thay cho dòng nàyĐếm ô gõ dạng Unicode tổ hợp
Cột tên tỉnh gom từ nhiều máy, và vài máy gõ chữ có dấu ở dạng Unicode tổ hợp (NFD): "Huế" trông y hệt nhưng là chuỗi khác, nên lọc == "Huế" bỏ sót nó. Trước khi sửa, bạn muốn biết có bao nhiêu ô như vậy. Viết thân hàm dem_o_to_hop(cot): đếm số ô mà chuỗi đổi đi khi đưa về NFC. Ô trống không tính. Hàm không sửa Series của nơi gọi.
Trả về: số ô gõ dạng tổ hợp, một int.
Ví dụ: cột "Huế", "Huế" dạng NFD, ô trống, "Hà Nội" dạng NFD, "Ha Noi", "Đà Nẵng" có 2 ô như vậy. Ôn lại: chuẩn hóa tiếng Việt.
import pandas as pd
def dem_o_to_hop(cot):
pass # Viết thân hàm thay cho dòng nàyLàm sạch phiếu bán hàng
Bảng phiếu bán hàng có cột ma_don, so_luong và có thể thêm cột khác. Viết thân hàm lam_sach_phieu(bang) làm lần lượt bốn bước, nối bằng phương thức có sẵn hoặc pipe():
Bỏ dòng trùng hoàn toàn, giữ dòng gặp đầu.
Bỏ dòng có
so_luongtrống.Chỉ giữ dòng có
so_luongtừ1trở lên.Đánh lại index từ
0.
Hai dòng cùng ma_don mà khác so_luong không phải dòng trùng. Hàm không sửa bảng của nơi gọi.
Trả về: bảng phiếu đã làm sạch, một DataFrame.
Ôn lại: pipe().
import pandas as pd
def lam_sach_phieu(bang):
pass # Viết thân hàm thay cho dòng nàyCâu hỏi thường gặp
Làm bài tập làm sạch dữ liệu trên máy của mình được không?
Được. Chép dòng def cùng lời giải của bạn vào một file, rồi chép phần kiểm tra xuống dưới và chạy file bằng Python có cài pandas. Dòng nào báo AssertionError là dòng chưa đạt. Cách tự kiểm hàm bằng assert nằm ở bài assert.
Hàm đúng trên ví dụ mà vẫn chưa đạt, vì sao?
Thường do dữ liệu của nơi gọi bị sửa, do index, hay do ô trống. Gán cot[:] = … hay gọi inplace=True là sửa dữ liệu đầu vào. Lọc xong mà quên reset_index(drop=True) thì index không còn là 0, 1, 2. Đề nói ô trống thành trống thì đừng điền chuỗi rỗng; bài dữ liệu thiếu phân biệt các loại ô trống.
Làm xong 10 bài này thì luyện tiếp ở đâu?
Dự án làm sạch đơn hàng đứng ngay sau trang này: làm sạch trọn bảng đơn thô bằng một chuỗi pipe() có nhật ký từng bước. Tutorial Python cũng có bài làm sạch dữ liệu CSV làm cùng việc bằng module csv, không dùng pandas.
Chủ đề
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.