Bỏ qua đến nội dung chính
Mục lục

Merge bị tăng số dòng: khóa trùng, khóa khác kiểu, validate=

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 5/13 · Chương 7

Ghép và đổi hình bảng

  • 7 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Bạn ghép bảng đơn với bảng khách bằng how="left", chờ đúng số đơn cũ, nhưng merge bị tăng số dòng: tổng doanh thu bỗng lớn hơn thực tế. Nguyên nhân thường là một mã khách xuất hiện nhiều lần ở bảng tra. Để bắt nó, bạn đếm mã lặp bằng duplicated(), chặn phép ghép sai bằng validate=, và kiểm thêm một lỗi họ hàng: khóa số ghép với khóa chữ.

Cần biết trước: merge(), drop_duplicates(), dtype và astype(), bảng tra phương thức chuỗi và DataFrame.

Khóa lặp làm nổ số dòng

merge() nối mỗi dòng bên trái với từng dòng bên phải có cùng khóa. Bên phải có hai dòng cùng mã thì dòng bên trái thành hai dòng:

python
import pandas as pd

don = pd.DataFrame({"ma_don": ["DH1024", "DH1025", "DH1026"],
                    "ma_kh": [101, 102, 103],
                    "tong_tien": [96000, 64000, 145000]})
khach = pd.DataFrame({"ma_kh": [101, 102, 102, 103],
                      "ten": ["Lan", "Minh", "Minh", "Ngọc"]})
ghep = don.merge(khach, on="ma_kh", how="left")
print(ghep)
print(ghep["tong_tien"].sum())

KẾT QUẢ

   ma_don  ma_kh  tong_tien   ten
0  DH1024    101      96000   Lan
1  DH1025    102      64000  Minh
2  DH1025    102      64000  Minh
3  DH1026    103     145000  Ngọc
369000

Đơn DH1025 xuất hiện hai lần, nên tổng tiền là 369000 thay vì 305000. Không có lỗi hay cảnh báo nào: với pandas, ghép một với nhiều là việc hợp lệ. Ở ngoài đời, đó là chuyện tra danh bạ để gửi thư: nếu một người có tên hai lần trong danh bạ, bạn in ra hai phong bì cho cùng một lá thư.

Trên dữ liệu thật, hiện tượng này trông như sau. khach_hang_tho.csv của bộ dữ liệu thực hành là bản khách chưa làm sạch, có vài khách bị nhập hai lần:

python
import pandas as pd

don = pd.read_csv("don_hang_tho.csv")
kh = pd.read_csv("khach_hang_tho.csv")
ghep = don.merge(kh[["ma_kh", "tinh"]], on="ma_kh", how="left")
print(len(don), len(ghep))
print(kh["ma_kh"].duplicated().sum())

KẾT QUẢ

1556 1567
8

Thêm 11 dòng sau khi ghép, và duplicated().sum() cho thấy 8 mã khách lặp. Mỗi đơn của một khách bị nhập hai lần đã thành hai dòng. Đây là lý do nên in len() trước và sau mỗi lần ghép: với how="left" và bảng tra sạch, hai con số phải bằng nhau.

Tìm và bỏ khóa lặp

duplicated(keep=False) đánh dấu tất cả các dòng có mã lặp, kể cả lần đầu, để bạn xem chúng cạnh nhau trước khi quyết định bỏ dòng nào:

python
import pandas as pd

kh = pd.read_csv("khach_hang_tho.csv")
lap = kh.loc[kh["ma_kh"].duplicated(keep=False),
             ["ma_kh", "ho_ten", "tinh"]]
print(lap.sort_values("ma_kh").head(4))

KẾT QUẢ

     ma_kh         ho_ten        tinh
12  KH0013    Lê Mai Hằng  Quảng Ninh
13  KH0013    Lê Mai Hằng  Quảng Ninh
67  KH0067  Nguyễn Thu An    Đồng Nai
68  KH0067  Nguyễn Thu An    Đồng Nai

Hai dòng của cùng một mã giống hệt nhau, nên bỏ dòng nào cũng được. drop_duplicates("ma_kh") giữ dòng đầu của mỗi mã; khi các bản lặp khác nhau và dòng sau là bản cập nhật, ghi keep="last". Đổi head(4) thành head(6) rồi chạy lại: bảng in thêm hai dòng của mã KH0136.

Bắt sớm bằng validate=

Đếm dòng sau khi ghép là cách kiểm bằng mắt. validate= để pandas kiểm thay bạn: validate="many_to_one" nói rằng nhiều dòng bên trái có thể cùng khóa, nhưng mỗi khóa bên phải chỉ được có một dòng. Bảng tra còn mã lặp thì lệnh dừng ngay:

python
import pandas as pd

don = pd.read_csv("don_hang_tho.csv")
kh = pd.read_csv("khach_hang_tho.csv")
try:
    don.merge(kh[["ma_kh", "tinh"]], on="ma_kh", how="left",
              validate="many_to_one")
except pd.errors.MergeError as loi:
    print(type(loi).__name__)
    print(str(loi).splitlines()[0])

KẾT QUẢ

MergeError
Merge keys are not unique in right dataset; not a many-to-one merge

Lỗi này là MergeError. Khối try, except ở đây chỉ để in gọn dòng đầu của thông báo; chạy lệnh merge() trần, bạn thấy thêm danh sách vài mã lặp đầu tiên của bảng phải.

Dừng với lỗi tốt hơn chạy tiếp với con số sai: bạn biết ngay bảng tra cần làm sạch. Sau khi bỏ mã lặp, cùng lệnh chạy được và giữ đúng số đơn:

python
import pandas as pd

don = pd.read_csv("don_hang_tho.csv")
kh = pd.read_csv("khach_hang_tho.csv").drop_duplicates("ma_kh")
ghep = don.merge(kh[["ma_kh", "tinh"]], on="ma_kh", how="left",
                 validate="many_to_one")
print(len(don), len(ghep))

KẾT QUẢ

1556 1556

Ba giá trị khác của validate= là "one_to_one" (khóa không lặp ở cả hai bên), "one_to_many" (không lặp ở bên trái) và "many_to_many" (không kiểm gì). Ghép một bảng chi tiết với một bảng tra thì "many_to_one" là giá trị cần ghi.

Khóa khác kiểu không khớp

Lỗi họ hàng của khóa lặp là khóa khác kiểu. Bảng đơn đọc ma_sp thành số, còn bảng sản phẩm xuất từ một hệ thống khác lại ghi mã ở dạng chữ:

Khi cả hai bên đều là chữ, mã viết khác nhau không báo lỗi mà chỉ không khớp: "KH0001 " thừa dấu cách hay "kh0001" viết thường đều không bằng "KH0001". Gọi str.strip() và str.upper() trên cột khóa của cả hai bảng trước khi ghép, như các phương thức ở bảng tra chuỗi.

Kiểm tra nhanh

  1. Sau import pandas as pd, a = pd.DataFrame({"k": [1, 2, 2]}) và b = pd.DataFrame({"k": [1, 2, 2], "v": [5, 6, 7]}), len(a.merge(b, on="k", how="left")) bằng bao nhiêu?

    • 3
    • 5
    • 6
  2. Sau import pandas as pd, s = pd.Series(["KH01", "KH02", "KH01", "KH01"]), int(s.duplicated().sum()) bằng bao nhiêu?

    • 1
    • 2
    • 3
  3. Bạn gắn tên khách vào bảng đơn và muốn pandas dừng ngay khi bảng khách còn mã lặp. Những lệnh nào làm được?

    • don.merge(khach, on="ma_kh", how="left", validate="many_to_one")
    • don.merge(khach, on="ma_kh", how="left", validate="m:1")
    • don.merge(khach, on="ma_kh", how="left", validate="one_to_many")
    • don.merge(khach, on="ma_kh", how="left")
  4. Sau import pandas as pd, pd.DataFrame({"k": [1]}).merge(pd.DataFrame({"k": ["1"]}), on="k") báo lỗi gì?

    • Báo lỗi ValueError
    • Báo lỗi MergeError
    • Báo lỗi KeyError
Đúng hết lần đầu +15 XP

Bài tập

Gắn lớp vào bảng điểm danh

Bảng diem_danh ghi mỗi lượt điểm danh một dòng (cột ma_hs là số nguyên, cùng các cột khác như ngay). Bảng hoc_sinh (cột ma_hs ở dạng chữ, như "105", cột lop, có thể thêm cột khác) đôi khi có một học sinh hai lần: dòng sau là bản cập nhật khi học sinh chuyển lớp. Viết thân hàm gan_lop(diem_danh, hoc_sinh):

  • thêm cột lop vào cuối bảng điểm danh, lấy theo dòng sau cùng của mỗi học sinh trong hoc_sinh;

  • giữ đủ mọi lượt điểm danh; học sinh không có trong hoc_sinh thì lop trống.

Dòng và cột theo thứ tự của diem_danh, index mặc định 0, 1, 2…. Hàm không sửa hai bảng của nơi gọi.

Trả về: bảng điểm danh có thêm cột lớp, một DataFrame.

python
import pandas as pd

def gan_lop(diem_danh, hoc_sinh):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • Mỗi dòng bên trái nối với từng dòng bên phải cùng khóa; khóa lặp ở bảng tra làm số dòng tăng mà không báo lỗi.

  • In len() trước và sau khi ghép how="left": với bảng tra sạch, hai số bằng nhau.

  • duplicated(keep=False) cho xem tất cả dòng của mã lặp; drop_duplicates("ma", keep=...) giữ một dòng mỗi mã.

  • validate="many_to_one" làm pandas dừng bằng MergeError khi bảng phải còn khóa lặp.

  • Khóa số ghép với khóa chữ báo ValueError; đổi kiểu bằng astype() trước khi ghép.

Câu hỏi thường gặp

Khi nào merge tăng số dòng là đúng?

Khi bảng phải là bảng chi tiết, như ghép bảng khách (bên trái) với các đơn của họ (bên phải): một khách ba đơn thành ba dòng là điều bạn muốn. Lúc đó ghi validate="one_to_many" để pandas kiểm rằng bảng khách không có mã lặp. Câu hỏi mỗi dòng của kết quả đại diện cho cái gì quyết định giá trị cần ghi; bài merge() có các kiểu how= đi kèm.

Bỏ mã lặp nên giữ dòng đầu hay dòng cuối?

Xem các dòng lặp cạnh nhau bằng duplicated(keep=False) trước đã. Giống hệt nhau thì giữ dòng nào cũng được. Khác nhau thì giữ bản đúng theo luật của dữ liệu: dòng sau cùng nếu đó là bản cập nhật, hay dòng có ngày đăng ký mới nhất sau khi sắp xếp. Bài drop_duplicates() có thêm các cách chọn.

Vì sao merge không khớp dù hai cột mã trông giống nhau?

Thường do khác kiểu (số và chữ), hay do chữ thừa dấu cách, khác hoa thường. In dtypes của hai cột khóa, rồi so vài giá trị bằng repr() để thấy dấu cách ẩn. Bài dtype và astype() chỉ cách đổi kiểu cho khớp.

Chủ đề

merge bị tăng số dòng

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập