Merge bị tăng số dòng: khóa trùng, khóa khác kiểu, validate=
Bài 5/13 · Chương 7
Ghép và đổi hình bảng
- 7 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 11
Bạn ghép bảng đơn với bảng khách bằng how="left", chờ đúng số đơn cũ, nhưng merge bị tăng số dòng: tổng doanh thu bỗng lớn hơn thực tế. Nguyên nhân thường là một mã khách xuất hiện nhiều lần ở bảng tra. Để bắt nó, bạn đếm mã lặp bằng duplicated(), chặn phép ghép sai bằng validate=, và kiểm thêm một lỗi họ hàng: khóa số ghép với khóa chữ.
Cần biết trước: merge(), drop_duplicates(), dtype và astype(), bảng tra phương thức chuỗi và DataFrame.
Khóa lặp làm nổ số dòng
merge() nối mỗi dòng bên trái với từng dòng bên phải có cùng khóa. Bên phải có hai dòng cùng mã thì dòng bên trái thành hai dòng:
import pandas as pd
don = pd.DataFrame({"ma_don": ["DH1024", "DH1025", "DH1026"],
"ma_kh": [101, 102, 103],
"tong_tien": [96000, 64000, 145000]})
khach = pd.DataFrame({"ma_kh": [101, 102, 102, 103],
"ten": ["Lan", "Minh", "Minh", "Ngọc"]})
ghep = don.merge(khach, on="ma_kh", how="left")
print(ghep)
print(ghep["tong_tien"].sum())KẾT QUẢ
ma_don ma_kh tong_tien ten
0 DH1024 101 96000 Lan
1 DH1025 102 64000 Minh
2 DH1025 102 64000 Minh
3 DH1026 103 145000 Ngọc
369000Đơn DH1025 xuất hiện hai lần, nên tổng tiền là 369000 thay vì 305000. Không có lỗi hay cảnh báo nào: với pandas, ghép một với nhiều là việc hợp lệ. Ở ngoài đời, đó là chuyện tra danh bạ để gửi thư: nếu một người có tên hai lần trong danh bạ, bạn in ra hai phong bì cho cùng một lá thư.
Trên dữ liệu thật, hiện tượng này trông như sau. khach_hang_tho.csv của bộ dữ liệu thực hành là bản khách chưa làm sạch, có vài khách bị nhập hai lần:
import pandas as pd
don = pd.read_csv("don_hang_tho.csv")
kh = pd.read_csv("khach_hang_tho.csv")
ghep = don.merge(kh[["ma_kh", "tinh"]], on="ma_kh", how="left")
print(len(don), len(ghep))
print(kh["ma_kh"].duplicated().sum())KẾT QUẢ
1556 1567
8Thêm 11 dòng sau khi ghép, và duplicated().sum() cho thấy 8 mã khách lặp. Mỗi đơn của một khách bị nhập hai lần đã thành hai dòng. Đây là lý do nên in len() trước và sau mỗi lần ghép: với how="left" và bảng tra sạch, hai con số phải bằng nhau.
Tìm và bỏ khóa lặp
duplicated(keep=False) đánh dấu tất cả các dòng có mã lặp, kể cả lần đầu, để bạn xem chúng cạnh nhau trước khi quyết định bỏ dòng nào:
import pandas as pd
kh = pd.read_csv("khach_hang_tho.csv")
lap = kh.loc[kh["ma_kh"].duplicated(keep=False),
["ma_kh", "ho_ten", "tinh"]]
print(lap.sort_values("ma_kh").head(4))KẾT QUẢ
ma_kh ho_ten tinh
12 KH0013 Lê Mai Hằng Quảng Ninh
13 KH0013 Lê Mai Hằng Quảng Ninh
67 KH0067 Nguyễn Thu An Đồng Nai
68 KH0067 Nguyễn Thu An Đồng NaiHai dòng của cùng một mã giống hệt nhau, nên bỏ dòng nào cũng được. drop_duplicates("ma_kh") giữ dòng đầu của mỗi mã; khi các bản lặp khác nhau và dòng sau là bản cập nhật, ghi keep="last". Đổi head(4) thành head(6) rồi chạy lại: bảng in thêm hai dòng của mã KH0136.
Bắt sớm bằng validate=
Đếm dòng sau khi ghép là cách kiểm bằng mắt. validate= để pandas kiểm thay bạn: validate="many_to_one" nói rằng nhiều dòng bên trái có thể cùng khóa, nhưng mỗi khóa bên phải chỉ được có một dòng. Bảng tra còn mã lặp thì lệnh dừng ngay:
import pandas as pd
don = pd.read_csv("don_hang_tho.csv")
kh = pd.read_csv("khach_hang_tho.csv")
try:
don.merge(kh[["ma_kh", "tinh"]], on="ma_kh", how="left",
validate="many_to_one")
except pd.errors.MergeError as loi:
print(type(loi).__name__)
print(str(loi).splitlines()[0])KẾT QUẢ
MergeError
Merge keys are not unique in right dataset; not a many-to-one mergeLỗi này là MergeError. Khối try, except ở đây chỉ để in gọn dòng đầu của thông báo; chạy lệnh merge() trần, bạn thấy thêm danh sách vài mã lặp đầu tiên của bảng phải.
Dừng với lỗi tốt hơn chạy tiếp với con số sai: bạn biết ngay bảng tra cần làm sạch. Sau khi bỏ mã lặp, cùng lệnh chạy được và giữ đúng số đơn:
import pandas as pd
don = pd.read_csv("don_hang_tho.csv")
kh = pd.read_csv("khach_hang_tho.csv").drop_duplicates("ma_kh")
ghep = don.merge(kh[["ma_kh", "tinh"]], on="ma_kh", how="left",
validate="many_to_one")
print(len(don), len(ghep))KẾT QUẢ
1556 1556Ba giá trị khác của validate= là "one_to_one" (khóa không lặp ở cả hai bên), "one_to_many" (không lặp ở bên trái) và "many_to_many" (không kiểm gì). Ghép một bảng chi tiết với một bảng tra thì "many_to_one" là giá trị cần ghi.
Khóa khác kiểu không khớp
Lỗi họ hàng của khóa lặp là khóa khác kiểu. Bảng đơn đọc ma_sp thành số, còn bảng sản phẩm xuất từ một hệ thống khác lại ghi mã ở dạng chữ:
Khi cả hai bên đều là chữ, mã viết khác nhau không báo lỗi mà chỉ không khớp: "KH0001 " thừa dấu cách hay "kh0001" viết thường đều không bằng "KH0001". Gọi str.strip() và str.upper() trên cột khóa của cả hai bảng trước khi ghép, như các phương thức ở bảng tra chuỗi.
Kiểm tra nhanh
Sau
import pandas as pd,a = pd.DataFrame({"k": [1, 2, 2]})vàb = pd.DataFrame({"k": [1, 2, 2], "v": [5, 6, 7]}),len(a.merge(b, on="k", how="left"))bằng bao nhiêu?356
Sau
import pandas as pd,s = pd.Series(["KH01", "KH02", "KH01", "KH01"]),int(s.duplicated().sum())bằng bao nhiêu?123
Bạn gắn tên khách vào bảng đơn và muốn pandas dừng ngay khi bảng khách còn mã lặp. Những lệnh nào làm được?
don.merge(khach, on="ma_kh", how="left", validate="many_to_one")don.merge(khach, on="ma_kh", how="left", validate="m:1")don.merge(khach, on="ma_kh", how="left", validate="one_to_many")don.merge(khach, on="ma_kh", how="left")
Sau
import pandas as pd,pd.DataFrame({"k": [1]}).merge(pd.DataFrame({"k": ["1"]}), on="k")báo lỗi gì?- Báo lỗi
ValueError - Báo lỗi
MergeError - Báo lỗi
KeyError
- Báo lỗi
Bài tập
Gắn lớp vào bảng điểm danh
Bảng diem_danh ghi mỗi lượt điểm danh một dòng (cột ma_hs là số nguyên, cùng các cột khác như ngay). Bảng hoc_sinh (cột ma_hs ở dạng chữ, như "105", cột lop, có thể thêm cột khác) đôi khi có một học sinh hai lần: dòng sau là bản cập nhật khi học sinh chuyển lớp. Viết thân hàm gan_lop(diem_danh, hoc_sinh):
thêm cột
lopvào cuối bảng điểm danh, lấy theo dòng sau cùng của mỗi học sinh tronghoc_sinh;giữ đủ mọi lượt điểm danh; học sinh không có trong
hoc_sinhthìloptrống.
Dòng và cột theo thứ tự của diem_danh, index mặc định 0, 1, 2…. Hàm không sửa hai bảng của nơi gọi.
Trả về: bảng điểm danh có thêm cột lớp, một DataFrame.
import pandas as pd
def gan_lop(diem_danh, hoc_sinh):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Mỗi dòng bên trái nối với từng dòng bên phải cùng khóa; khóa lặp ở bảng tra làm số dòng tăng mà không báo lỗi.
In
len()trước và sau khi ghéphow="left": với bảng tra sạch, hai số bằng nhau.duplicated(keep=False)cho xem tất cả dòng của mã lặp;drop_duplicates("ma", keep=...)giữ một dòng mỗi mã.validate="many_to_one"làm pandas dừng bằngMergeErrorkhi bảng phải còn khóa lặp.Khóa số ghép với khóa chữ báo
ValueError; đổi kiểu bằngastype()trước khi ghép.
Câu hỏi thường gặp
Khi nào merge tăng số dòng là đúng?
Khi bảng phải là bảng chi tiết, như ghép bảng khách (bên trái) với các đơn của họ (bên phải): một khách ba đơn thành ba dòng là điều bạn muốn. Lúc đó ghi validate="one_to_many" để pandas kiểm rằng bảng khách không có mã lặp. Câu hỏi mỗi dòng của kết quả đại diện cho cái gì quyết định giá trị cần ghi; bài merge() có các kiểu how= đi kèm.
Bỏ mã lặp nên giữ dòng đầu hay dòng cuối?
Xem các dòng lặp cạnh nhau bằng duplicated(keep=False) trước đã. Giống hệt nhau thì giữ dòng nào cũng được. Khác nhau thì giữ bản đúng theo luật của dữ liệu: dòng sau cùng nếu đó là bản cập nhật, hay dòng có ngày đăng ký mới nhất sau khi sắp xếp. Bài drop_duplicates() có thêm các cách chọn.
Vì sao merge không khớp dù hai cột mã trông giống nhau?
Thường do khác kiểu (số và chữ), hay do chữ thừa dấu cách, khác hoa thường. In dtypes của hai cột khóa, rồi so vài giá trị bằng repr() để thấy dấu cách ẩn. Bài dtype và astype() chỉ cách đổi kiểu cho khớp.
Chủ đề
Dữ liệu của bài
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.