drop_duplicates() trong pandas: xóa dòng trùng lặp
Bài 5/17 · Chương 6
Làm sạch dữ liệu
- 6 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 12
Phương thức drop_duplicates() của pandas xóa các dòng trùng lặp và giữ lại một dòng cho mỗi nhóm giống nhau, còn duplicated() chỉ đánh dấu chúng để bạn xem trước. Bạn cần hai phương thức này khi một đơn bị gửi hai lần từ ứng dụng, hay khi file chứa cả bản cũ lẫn bản mới của cùng một hồ sơ khách.
Cần biết trước: sort_values(), kiểm tra chất lượng dữ liệu và lọc dữ liệu bằng điều kiện.
Đánh dấu dòng trùng bằng duplicated()
Nhật ký chất lượng của bảng đơn thô ghi 30 dòng trùng. duplicated() trả một Series True/False: mặc định (keep="first") dòng đầu của mỗi nhóm giống nhau là False, các dòng lặp lại sau nó là True. Với keep=False, mọi dòng trong nhóm đều là True, nên bạn lọc được cả cặp để xem tận mắt:
import pandas as pd
don = pd.read_csv("don_hang_tho.csv")
print(don.duplicated().sum())
cot = ["ma_don", "ngay_dat", "so_luong", "kenh"]
ca_cap = don.duplicated(keep=False)
print(don.loc[ca_cap, cot].head(4))KẾT QUẢ
30
ma_don ngay_dat so_luong kenh
29 DH00030 10/01/2025 1.0 Ứng dụng
30 DH00030 10/01/2025 1.0 Ứng dụng
61 DH00061 16/01/2025 1.0 Mạng xã hội
62 DH00061 16/01/2025 1.0 Mạng xã hộiHai dòng DH00030 giống nhau ở cả chín cột và đứng liền nhau, dấu hiệu một đơn được gửi hai lần. Trùng hoàn toàn như vậy thì xóa một dòng là an toàn: cả hai mô tả cùng một sự việc.
Xóa dòng trùng bằng drop_duplicates()
drop_duplicates() bỏ đúng những dòng mà duplicated() đánh dấu True, và trả bảng mới. Index cũ được giữ, nên chỗ dòng trùng đã bỏ để lại một khoảng hở:
import pandas as pd
don = pd.read_csv("don_hang_tho.csv")
sach = don.drop_duplicates()
print(len(don), "->", len(sach))
print(sach["ma_don"].duplicated().sum())
print(sach.index[28:32].to_list())KẾT QUẢ
1556 -> 1526
0
[28, 29, 31, 32]Bảng còn 1.526 đơn, và không mã đơn nào còn lặp. Index nhảy từ 29 sang 31: dòng 30 là bản sao của DH00030 vừa bị bỏ. Muốn đánh số lại thì gọi thêm reset_index(drop=True).
Trùng theo khóa với subset=
Trùng theo khóa là hai dòng cùng mã nhưng khác nhau ở cột khác, thường vì hệ thống ghi thêm một dòng mỗi lần hồ sơ đổi. subset= cho duplicated() và drop_duplicates() chỉ so các cột trong list:
import pandas as pd
ho_so = pd.DataFrame({
"ma_kh": ["KH01", "KH02", "KH01", "KH03", "KH02"],
"cap_nhat": ["2025-03-01", "2025-03-02", "2025-06-10",
"2025-06-11", "2025-01-15"],
"tinh": ["Huế", "Đà Lạt", "Hà Nội", "Huế", "Lâm Đồng"],
})
print(ho_so.duplicated().sum())
print(ho_so.duplicated(subset="ma_kh").sum())
print(ho_so.drop_duplicates(subset="ma_kh"))KẾT QUẢ
0
2
ma_kh cap_nhat tinh
0 KH01 2025-03-01 Huế
1 KH02 2025-03-02 Đà Lạt
3 KH03 2025-06-11 HuếSo cả dòng thì không có gì trùng, vì ngày cập nhật khác nhau. So theo ma_kh thì hai dòng là lần ghi thứ hai của khách đã có. drop_duplicates(subset="ma_kh") giữ dòng gặp trước của mỗi khách, nên KH01 còn tỉnh Huế, giá trị cũ, dù khách đã chuyển ra Hà Nội.
Giữ bản ghi mới nhất với keep="last"
Với hồ sơ khách, bản cập nhật sau cùng mới đúng. keep="last" giữ dòng gặp sau cùng của mỗi khóa. "Sau cùng" là theo thứ tự dòng, nên bạn sắp theo thời gian bằng sort_values() trước. Ngày viết năm-tháng-ngày như 2025-06-10 có độ dài cố định, nên sắp như chữ vẫn ra đúng trước sau:
import pandas as pd
ho_so = pd.DataFrame({
"ma_kh": ["KH01", "KH02", "KH01", "KH03", "KH02"],
"cap_nhat": ["2025-03-01", "2025-03-02", "2025-06-10",
"2025-06-11", "2025-01-15"],
"tinh": ["Huế", "Đà Lạt", "Hà Nội", "Huế", "Lâm Đồng"],
})
moi_nhat = (ho_so.sort_values("cap_nhat")
.drop_duplicates(subset="ma_kh", keep="last")
.sort_values("ma_kh"))
print(moi_nhat)KẾT QUẢ
ma_kh cap_nhat tinh
2 KH01 2025-06-10 Hà Nội
1 KH02 2025-03-02 Đà Lạt
3 KH03 2025-06-11 HuếKH01 giờ là Hà Nội, bản tháng 6. KH02 còn Đà Lạt, vì dòng Lâm Đồng có ngày 15/01, cũ hơn dù đứng cuối bảng gốc. Đổi keep="last" thành keep="first" rồi chạy lại: mỗi khách giữ bản cũ nhất, KH02 thành Lâm Đồng.
Kiểm tra nhanh
Sau
import pandas as pd,print(pd.Series(["A", "B", "A", "A"]).duplicated().to_list())in ra gì?[True, False, True, True][False, False, True, True][False, False, False, True]
Sau
import pandas as pd,print(pd.Series(["A", "B", "A", "A"]).duplicated(keep=False).to_list())in ra gì?[True, False, True, True][False, False, True, True][True, True, True, True]
Trong ví dụ hồ sơ khách, vì sao
ho_so.duplicated().sum()là0dù KH01 có hai dòng?duplicated()chỉ xét cột đầu tiên- Hai dòng của KH01 khác nhau ở
cap_nhatvàtinh - Bảng phải sắp trước khi gọi
duplicated()
Bảng chưa sắp, dòng cuối của KH02 có ngày cũ hơn.
drop_duplicates(subset="ma_kh", keep="last")giữ dòng nào của KH02?- Dòng nằm cuối bảng, dù ngày cũ hơn
- Dòng có ngày mới nhất
- Cả hai dòng
Bài tập
Giữ lần nộp bài điểm cao nhất
Học viên được nộp bài kiểm tra nhiều lần, và hệ thống ghi mỗi lần nộp một dòng. Viết thân hàm giu_lan_cao_nhat(bang, cot_khoa, cot_diem): với mỗi giá trị của cột cot_khoa, chỉ giữ dòng có cot_diem lớn nhất.
Điểm các lần nộp của cùng một khóa không bao giờ bằng nhau.
Kết quả sắp theo
cot_khoatăng dần, index đánh lại từ0.
Hàm không sửa bảng của nơi gọi.
Trả về: mỗi khóa một dòng, một DataFrame.
import pandas as pd
def giu_lan_cao_nhat(bang, cot_khoa, cot_diem):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
duplicated()đánh dấu dòng lặp lại; mặc định lần gặp đầu làFalse,keep=Falseđánh dấu cả nhóm.drop_duplicates()bỏ dòng màduplicated()đánh dấu, trả bảng mới và giữ index cũ.Không
subset, hai dòng chỉ trùng khi giống nhau ở mọi cột; trùng theo khóa cầnsubset="ma_kh".keep="first"giữ dòng gặp trước,keep="last"giữ dòng gặp sau, theo thứ tự dòng.Muốn giữ bản mới nhất:
sort_values()theo thời gian rồidrop_duplicates(subset=…, keep="last").
Câu hỏi thường gặp
Làm sao đếm số dòng trùng trong một DataFrame?
df.duplicated().sum() cho số dòng lặp lại, không tính lần gặp đầu. Muốn biết có bao nhiêu dòng dính vào các nhóm trùng thì dùng df.duplicated(keep=False).sum(). Đếm theo khóa thì thêm subset=.
Xóa dòng trùng trong pandas có cần reset index không?
Không bắt buộc. Index cũ có chỗ hở, nhưng mọi phép tính vẫn đúng. Gọi reset_index(drop=True) khi bạn cần chọn theo vị trí bằng iloc cho dễ đọc, hay trước khi ghi file.
Làm sao giữ dòng có giá trị lớn nhất trong mỗi nhóm?
Sắp theo cột giá trị tăng dần rồi drop_duplicates(subset="khoa", keep="last"), như bài tập. Một cách khác là groupby() với idxmax() để lấy index của dòng lớn nhất mỗi nhóm, rồi chọn các dòng đó bằng loc.
Dòng trùng hoàn toàn có luôn là lỗi không?
Thường là lỗi gửi hai lần, nhưng không phải luôn luôn: khách có thể mua hai đơn y hệt trong cùng một ngày. Khi bảng có mã đơn, hai dòng cùng mã đơn mới chắc chắn là trùng. Ghi số dòng đã bỏ vào nhật ký như bài kiểm tra chất lượng dữ liệu; bài làm sạch dữ liệu với pandas đặt bước bỏ trùng vào cả quy trình.
Chủ đề
Dữ liệu của bài
- Tải xuống
don_hang_tho.csv
CSV · 111.93 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.