Bỏ qua đến nội dung chính
Mục lục

drop_duplicates() trong pandas: xóa dòng trùng lặp

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 5/17 · Chương 6

Làm sạch dữ liệu

  • 6 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Phương thức drop_duplicates() của pandas xóa các dòng trùng lặp và giữ lại một dòng cho mỗi nhóm giống nhau, còn duplicated() chỉ đánh dấu chúng để bạn xem trước. Bạn cần hai phương thức này khi một đơn bị gửi hai lần từ ứng dụng, hay khi file chứa cả bản cũ lẫn bản mới của cùng một hồ sơ khách.

Cần biết trước: sort_values(), kiểm tra chất lượng dữ liệu và lọc dữ liệu bằng điều kiện.

Đánh dấu dòng trùng bằng duplicated()

Nhật ký chất lượng của bảng đơn thô ghi 30 dòng trùng. duplicated() trả một Series True/False: mặc định (keep="first") dòng đầu của mỗi nhóm giống nhau là False, các dòng lặp lại sau nó là True. Với keep=False, mọi dòng trong nhóm đều là True, nên bạn lọc được cả cặp để xem tận mắt:

python
import pandas as pd

don = pd.read_csv("don_hang_tho.csv")
print(don.duplicated().sum())
cot = ["ma_don", "ngay_dat", "so_luong", "kenh"]
ca_cap = don.duplicated(keep=False)
print(don.loc[ca_cap, cot].head(4))

KẾT QUẢ

30
     ma_don    ngay_dat  so_luong         kenh
29  DH00030  10/01/2025       1.0     Ứng dụng
30  DH00030  10/01/2025       1.0     Ứng dụng
61  DH00061  16/01/2025       1.0  Mạng xã hội
62  DH00061  16/01/2025       1.0  Mạng xã hội

Hai dòng DH00030 giống nhau ở cả chín cột và đứng liền nhau, dấu hiệu một đơn được gửi hai lần. Trùng hoàn toàn như vậy thì xóa một dòng là an toàn: cả hai mô tả cùng một sự việc.

Xóa dòng trùng bằng drop_duplicates()

drop_duplicates() bỏ đúng những dòng mà duplicated() đánh dấu True, và trả bảng mới. Index cũ được giữ, nên chỗ dòng trùng đã bỏ để lại một khoảng hở:

python
import pandas as pd

don = pd.read_csv("don_hang_tho.csv")
sach = don.drop_duplicates()
print(len(don), "->", len(sach))
print(sach["ma_don"].duplicated().sum())
print(sach.index[28:32].to_list())

KẾT QUẢ

1556 -> 1526
0
[28, 29, 31, 32]

Bảng còn 1.526 đơn, và không mã đơn nào còn lặp. Index nhảy từ 29 sang 31: dòng 30 là bản sao của DH00030 vừa bị bỏ. Muốn đánh số lại thì gọi thêm reset_index(drop=True).

Trùng theo khóa với subset=

Trùng theo khóa là hai dòng cùng mã nhưng khác nhau ở cột khác, thường vì hệ thống ghi thêm một dòng mỗi lần hồ sơ đổi. subset= cho duplicated() và drop_duplicates() chỉ so các cột trong list:

python
import pandas as pd

ho_so = pd.DataFrame({
    "ma_kh": ["KH01", "KH02", "KH01", "KH03", "KH02"],
    "cap_nhat": ["2025-03-01", "2025-03-02", "2025-06-10",
                 "2025-06-11", "2025-01-15"],
    "tinh": ["Huế", "Đà Lạt", "Hà Nội", "Huế", "Lâm Đồng"],
})
print(ho_so.duplicated().sum())
print(ho_so.duplicated(subset="ma_kh").sum())
print(ho_so.drop_duplicates(subset="ma_kh"))

KẾT QUẢ

0
2
  ma_kh    cap_nhat    tinh
0  KH01  2025-03-01     Huế
1  KH02  2025-03-02  Đà Lạt
3  KH03  2025-06-11     Huế

So cả dòng thì không có gì trùng, vì ngày cập nhật khác nhau. So theo ma_kh thì hai dòng là lần ghi thứ hai của khách đã có. drop_duplicates(subset="ma_kh") giữ dòng gặp trước của mỗi khách, nên KH01 còn tỉnh Huế, giá trị cũ, dù khách đã chuyển ra Hà Nội.

Giữ bản ghi mới nhất với keep="last"

Với hồ sơ khách, bản cập nhật sau cùng mới đúng. keep="last" giữ dòng gặp sau cùng của mỗi khóa. "Sau cùng" là theo thứ tự dòng, nên bạn sắp theo thời gian bằng sort_values() trước. Ngày viết năm-tháng-ngày như 2025-06-10 có độ dài cố định, nên sắp như chữ vẫn ra đúng trước sau:

python
import pandas as pd

ho_so = pd.DataFrame({
    "ma_kh": ["KH01", "KH02", "KH01", "KH03", "KH02"],
    "cap_nhat": ["2025-03-01", "2025-03-02", "2025-06-10",
                 "2025-06-11", "2025-01-15"],
    "tinh": ["Huế", "Đà Lạt", "Hà Nội", "Huế", "Lâm Đồng"],
})
moi_nhat = (ho_so.sort_values("cap_nhat")
            .drop_duplicates(subset="ma_kh", keep="last")
            .sort_values("ma_kh"))
print(moi_nhat)

KẾT QUẢ

  ma_kh    cap_nhat    tinh
2  KH01  2025-06-10  Hà Nội
1  KH02  2025-03-02  Đà Lạt
3  KH03  2025-06-11     Huế

KH01 giờ là Hà Nội, bản tháng 6. KH02 còn Đà Lạt, vì dòng Lâm Đồng có ngày 15/01, cũ hơn dù đứng cuối bảng gốc. Đổi keep="last" thành keep="first" rồi chạy lại: mỗi khách giữ bản cũ nhất, KH02 thành Lâm Đồng.

Kiểm tra nhanh

  1. Sau import pandas as pd, print(pd.Series(["A", "B", "A", "A"]).duplicated().to_list()) in ra gì?

    • [True, False, True, True]
    • [False, False, True, True]
    • [False, False, False, True]
  2. Sau import pandas as pd, print(pd.Series(["A", "B", "A", "A"]).duplicated(keep=False).to_list()) in ra gì?

    • [True, False, True, True]
    • [False, False, True, True]
    • [True, True, True, True]
  3. Trong ví dụ hồ sơ khách, vì sao ho_so.duplicated().sum() là 0 dù KH01 có hai dòng?

    • duplicated() chỉ xét cột đầu tiên
    • Hai dòng của KH01 khác nhau ở cap_nhat và tinh
    • Bảng phải sắp trước khi gọi duplicated()
  4. Bảng chưa sắp, dòng cuối của KH02 có ngày cũ hơn. drop_duplicates(subset="ma_kh", keep="last") giữ dòng nào của KH02?

    • Dòng nằm cuối bảng, dù ngày cũ hơn
    • Dòng có ngày mới nhất
    • Cả hai dòng
Đúng hết lần đầu +15 XP

Bài tập

Giữ lần nộp bài điểm cao nhất

Học viên được nộp bài kiểm tra nhiều lần, và hệ thống ghi mỗi lần nộp một dòng. Viết thân hàm giu_lan_cao_nhat(bang, cot_khoa, cot_diem): với mỗi giá trị của cột cot_khoa, chỉ giữ dòng có cot_diem lớn nhất.

  • Điểm các lần nộp của cùng một khóa không bao giờ bằng nhau.

  • Kết quả sắp theo cot_khoa tăng dần, index đánh lại từ 0.

Hàm không sửa bảng của nơi gọi.

Trả về: mỗi khóa một dòng, một DataFrame.

python
import pandas as pd

def giu_lan_cao_nhat(bang, cot_khoa, cot_diem):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • duplicated() đánh dấu dòng lặp lại; mặc định lần gặp đầu là False, keep=False đánh dấu cả nhóm.

  • drop_duplicates() bỏ dòng mà duplicated() đánh dấu, trả bảng mới và giữ index cũ.

  • Không subset, hai dòng chỉ trùng khi giống nhau ở mọi cột; trùng theo khóa cần subset="ma_kh".

  • keep="first" giữ dòng gặp trước, keep="last" giữ dòng gặp sau, theo thứ tự dòng.

  • Muốn giữ bản mới nhất: sort_values() theo thời gian rồi drop_duplicates(subset=…, keep="last").

Câu hỏi thường gặp

Làm sao đếm số dòng trùng trong một DataFrame?

df.duplicated().sum() cho số dòng lặp lại, không tính lần gặp đầu. Muốn biết có bao nhiêu dòng dính vào các nhóm trùng thì dùng df.duplicated(keep=False).sum(). Đếm theo khóa thì thêm subset=.

Xóa dòng trùng trong pandas có cần reset index không?

Không bắt buộc. Index cũ có chỗ hở, nhưng mọi phép tính vẫn đúng. Gọi reset_index(drop=True) khi bạn cần chọn theo vị trí bằng iloc cho dễ đọc, hay trước khi ghi file.

Làm sao giữ dòng có giá trị lớn nhất trong mỗi nhóm?

Sắp theo cột giá trị tăng dần rồi drop_duplicates(subset="khoa", keep="last"), như bài tập. Một cách khác là groupby() với idxmax() để lấy index của dòng lớn nhất mỗi nhóm, rồi chọn các dòng đó bằng loc.

Dòng trùng hoàn toàn có luôn là lỗi không?

Thường là lỗi gửi hai lần, nhưng không phải luôn luôn: khách có thể mua hai đơn y hệt trong cùng một ngày. Khi bảng có mã đơn, hai dòng cùng mã đơn mới chắc chắn là trùng. Ghi số dòng đã bỏ vào nhật ký như bài kiểm tra chất lượng dữ liệu; bài làm sạch dữ liệu với pandas đặt bước bỏ trùng vào cả quy trình.

Chủ đề

pandas drop duplicates

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập