Bỏ qua đến nội dung chính
Mục lục

Bài tập làm sạch dữ liệu pandas: thiếu, trùng, ngoại lai

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 16/17 · Chương 6

Làm sạch dữ liệu

  • 8 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Mười bài tập làm sạch dữ liệu dưới đây được chấm ngay trên trang. Mỗi bài bạn viết thân một hàm làm việc trên một cột hay một bảng nhỏ, bấm Chạy, và từng dòng kiểm tra báo đạt hay chưa. Các bài dùng lại cả chương làm sạch dữ liệu: ô thiếu, dòng trùng, ô toàn khoảng trắng, tiền viết tắt, ngoại lai theo IQR, regex số điện thoại, str.extract(), chuẩn hóa tiếng Việt và pipe().

Cần biết trước: pipe(), str.extract() và chuẩn hóa tiếng Việt.

Cách làm các bài tập

Mỗi bài cho sẵn dòng import pandas as pd và dòng def với thân là pass. Bạn thay pass bằng thân hàm. Trình chấm không đọc những gì bạn in ra: nó gọi hàm của bạn với nhiều cột và bảng khác nhau rồi so giá trị trả về, nên hàm phải return kết quả. Series và bảng được so bằng pandas.testing, không so kiểu số nguyên cụ thể, nhưng có so giá trị, ô trống, index và tên như đề nói.

Mỗi hàm có bốn dòng kiểm tra. Dòng đầu là ví dụ trong đề cùng việc hàm không sửa dữ liệu của nơi gọi, rồi tới kiểu trả về, một trường hợp biên, và một dòng gọi hàm trên 30 bộ dữ liệu sinh bằng np.random.default_rng(). Hàm gõ sẵn đáp số của ví dụ sẽ không qua, và hàm sửa thẳng dữ liệu đầu vào (inplace=True, gán cot[:] = …) cũng không qua.

Bí thì mở gợi ý theo thứ tự: gợi ý thứ nhất chỉ chỗ cần nhìn, thứ hai nêu phương thức cần gọi, thứ ba gần như là lời giải. Mỗi đề kết thúc bằng một dòng "Ôn lại" về bài dạy kỹ thuật của bài tập.

Mức dễ: một thao tác làm sạch

Ba bài đầu mỗi bài cần một, hai lệnh: đếm ô trống, bỏ trùng theo khóa, hay soát ô chỉ có khoảng trắng.

Cột thiếu nhiều nhất

Trước khi làm sạch, bạn muốn biết cột nào cần xem đầu tiên. Viết thân hàm cot_thieu_nhieu_nhat(bang): trả tên cột có nhiều ô trống nhất của bang. Nhiều cột bằng nhau thì lấy cột đứng trước. Hàm không sửa bảng của nơi gọi.

Trả về: tên cột, một str.

Ôn lại: kiểm tra chất lượng dữ liệu.

python
import pandas as pd

def cot_thieu_nhieu_nhat(bang):
    pass  # Viết thân hàm thay cho dòng này

Bỏ trùng theo mã

File khách gộp từ hai nguồn nên một mã có thể xuất hiện nhiều lần. Viết thân hàm bo_trung_theo_ma(bang, cot): giữ dòng gặp đầu tiên của mỗi giá trị cột cot, bỏ các dòng sau, rồi đánh lại index từ 0. Hàm không sửa bảng của nơi gọi.

Trả về: bảng không trùng mã, một DataFrame.

Ôn lại: drop_duplicates().

python
import pandas as pd

def bo_trung_theo_ma(bang, cot):
    pass  # Viết thân hàm thay cho dòng này

Đếm ô trống kể cả ô toàn khoảng trắng

Ô bỏ trống trong form đôi khi lưu là NaN, đôi khi là chuỗi rỗng "" hay chỉ có dấu cách, ký tự tab. Viết thân hàm dem_o_trong(cot) nhận một Series chữ và đếm mọi ô thuộc ba loại đó. Hàm không sửa Series của nơi gọi.

Trả về: số ô trống, một int.

Ôn lại: accessor .str.

python
import pandas as pd

def dem_o_trong(cot):
    pass  # Viết thân hàm thay cho dòng này

Mức vừa: điền, đọc tiền, ngoại lai và regex

Bốn bài sau cần ghép hai, ba kỹ thuật, và có một tham số đổi cách hàm làm việc.

Điền số đo theo lần đo trước, có giới hạn

Cảm biến nhiệt độ ghi một số đo mỗi giờ, giờ mất tín hiệu thì trống. Bạn chấp nhận dùng số đo của giờ gần nhất phía trên, nhưng chỉ cho tối đa toi_da giờ trống liền nhau; giờ trống thứ toi_da + 1 trở đi vẫn để trống. Viết thân hàm dien_lien_truoc(cot, toi_da). Kết quả giữ index và tên của Series. Hàm không sửa Series của nơi gọi.

Trả về: nhiệt độ đã điền, một Series.

Ôn lại: fillna(), ffill(), bfill().

python
import pandas as pd

def dien_lien_truoc(cot, toi_da):
    pass  # Viết thân hàm thay cho dòng này

Tổng tiền từ tin nhắn đặt hàng

Khách đặt hàng qua tin nhắn ghi tiền kiểu viết tắt: "45k" là 45 nghìn, "2tr" là 2 triệu, và "1tr5" là 1 triệu 5 trăm nghìn (một chữ số sau tr là số trăm nghìn). Ô ghi kiểu khác ("Miễn phí", "350.000") không tính; không ô nào trống. Viết thân hàm tong_tien(cot): cộng số tiền của mọi ô viết tắt đúng một trong ba kiểu đó. Hàm không sửa Series của nơi gọi.

Trả về: tổng số tiền, một int.

Ví dụ: "45k", "1tr5", "Miễn phí", "350k", "2tr" cộng được 3.895.000. Ôn lại: str.extract().

python
import pandas as pd

def tong_tien(cot):
    pass  # Viết thân hàm thay cho dòng này

Đếm ngoại lai theo k lần IQR

Viết thân hàm dem_ngoai_lai(cot, k) nhận một Series số không có ô trống và hệ số k. Tính Q1, Q3 bằng quantile(), ngưỡng dưới Q1 − k × IQR, ngưỡng trên Q3 + k × IQR. Đếm số giá trị nhỏ hơn hẳn ngưỡng dưới hoặc lớn hơn hẳn ngưỡng trên; giá trị bằng đúng ngưỡng không tính. Hàm không sửa Series của nơi gọi.

Trả về: số ngoại lai, một int.

Ôn lại: IQR và ngoại lai.

python
import pandas as pd

def dem_ngoai_lai(cot, k):
    pass  # Viết thân hàm thay cho dòng này

Che số điện thoại khi xuất báo cáo

Báo cáo gửi đối tác không được lộ số điện thoại đầy đủ. Viết thân hàm che_sdt(cot):

  • Số hợp lệ là đúng 10 chữ số, bắt đầu bằng 0. Số hợp lệ giữ 4 chữ số đầu, 3 chữ số cuối, ba chữ số giữa thay bằng ***: "0912345678" thành "0912***678".

  • Số không hợp lệ, kể cả số còn dấu cách, và ô trống thành trống.

Kết quả giữ index và tên của Series. Hàm không sửa Series của nơi gọi.

Trả về: số đã che, một Series.

Ôn lại: regex trong pandas.

python
import pandas as pd

def che_sdt(cot):
    pass  # Viết thân hàm thay cho dòng này

Mức khó: tách số, gộp cách viết, nối nhiều bước

Ba bài cuối ghép nhiều bước của chương trong một hàm, và mỗi bước có một chỗ dễ sai riêng.

Số phòng ngủ trong tiêu đề tin rao

Tiêu đề tin rao ghi số phòng ngủ dạng 2PN, số đứng sát trước chữ PN: "Bán căn hộ 2PN Thảo Điền". Tin đất nền không có phòng ngủ. Viết thân hàm so_phong_ngu(tieu_de) trả số phòng ngủ của mỗi tin, kiểu Int64; tin không có số phòng hay ô trống thì <NA>. Kết quả giữ index và tên của Series. Hàm không sửa Series của nơi gọi.

Trả về: số phòng ngủ, một Series kiểu Int64.

Ôn lại: str.extract().

python
import pandas as pd

def so_phong_ngu(tieu_de):
    pass  # Viết thân hàm thay cho dòng này

Đếm ô gõ dạng Unicode tổ hợp

Cột tên tỉnh gom từ nhiều máy, và vài máy gõ chữ có dấu ở dạng Unicode tổ hợp (NFD): "Huế" trông y hệt nhưng là chuỗi khác, nên lọc == "Huế" bỏ sót nó. Trước khi sửa, bạn muốn biết có bao nhiêu ô như vậy. Viết thân hàm dem_o_to_hop(cot): đếm số ô mà chuỗi đổi đi khi đưa về NFC. Ô trống không tính. Hàm không sửa Series của nơi gọi.

Trả về: số ô gõ dạng tổ hợp, một int.

Ví dụ: cột "Huế", "Huế" dạng NFD, ô trống, "Hà Nội" dạng NFD, "Ha Noi", "Đà Nẵng" có 2 ô như vậy. Ôn lại: chuẩn hóa tiếng Việt.

python
import pandas as pd

def dem_o_to_hop(cot):
    pass  # Viết thân hàm thay cho dòng này

Làm sạch phiếu bán hàng

Bảng phiếu bán hàng có cột ma_don, so_luong và có thể thêm cột khác. Viết thân hàm lam_sach_phieu(bang) làm lần lượt bốn bước, nối bằng phương thức có sẵn hoặc pipe():

  1. Bỏ dòng trùng hoàn toàn, giữ dòng gặp đầu.

  2. Bỏ dòng có so_luong trống.

  3. Chỉ giữ dòng có so_luong từ 1 trở lên.

  4. Đánh lại index từ 0.

Hai dòng cùng ma_don mà khác so_luong không phải dòng trùng. Hàm không sửa bảng của nơi gọi.

Trả về: bảng phiếu đã làm sạch, một DataFrame.

Ôn lại: pipe().

python
import pandas as pd

def lam_sach_phieu(bang):
    pass  # Viết thân hàm thay cho dòng này

Câu hỏi thường gặp

Làm bài tập làm sạch dữ liệu trên máy của mình được không?

Được. Chép dòng def cùng lời giải của bạn vào một file, rồi chép phần kiểm tra xuống dưới và chạy file bằng Python có cài pandas. Dòng nào báo AssertionError là dòng chưa đạt. Cách tự kiểm hàm bằng assert nằm ở bài assert.

Hàm đúng trên ví dụ mà vẫn chưa đạt, vì sao?

Thường do dữ liệu của nơi gọi bị sửa, do index, hay do ô trống. Gán cot[:] = … hay gọi inplace=True là sửa dữ liệu đầu vào. Lọc xong mà quên reset_index(drop=True) thì index không còn là 0, 1, 2. Đề nói ô trống thành trống thì đừng điền chuỗi rỗng; bài dữ liệu thiếu phân biệt các loại ô trống.

Làm xong 10 bài này thì luyện tiếp ở đâu?

Dự án làm sạch đơn hàng đứng ngay sau trang này: làm sạch trọn bảng đơn thô bằng một chuỗi pipe() có nhật ký từng bước. Tutorial Python cũng có bài làm sạch dữ liệu CSV làm cùng việc bằng module csv, không dùng pandas.

Chủ đề

bài tập làm sạch dữ liệu

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập