pd.concat(): gộp nhiều bảng pandas (concat pandas dataframe)
Bài 1/13 · Chương 7
Ghép và đổi hình bảng
- 8 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 12
Hàm pd.concat() gộp nhiều DataFrame cùng cấu trúc thành một bảng (concat pandas dataframe), xếp các dòng của bảng sau nối tiếp bảng trước. Bạn cần nó khi dữ liệu đến thành nhiều mảnh: mỗi tháng một file CSV, mỗi chi nhánh một bảng, mà câu hỏi lại cần cả năm hay cả công ty.
Cần biết trước: đọc file CSV, set_index(), reset_index(), pathlib và vòng lặp for.
Gộp hai bảng bằng pd.concat()
pd.concat() nhận một list DataFrame, không nhận từng bảng rời. Hai bảng dưới đây ghi đơn của hai tháng với cùng hai cột:
import pandas as pd
t1 = pd.DataFrame({"ma_don": ["DH1024", "DH1025"],
"tong_tien": [96000, 64000]})
t2 = pd.DataFrame({"ma_don": ["DH1101", "DH1102"],
"tong_tien": [145000, 58000]})
gop = pd.concat([t1, t2])
print(gop)KẾT QUẢ
ma_don tong_tien
0 DH1024 96000
1 DH1025 64000
0 DH1101 145000
1 DH1102 58000Bốn dòng đã nằm chung một bảng, theo đúng thứ tự trong list. Nhưng index lặp lại 0, 1, 0, 1: concat() giữ nguyên index của từng mảnh. Chuyện này như kẹp các tập hóa đơn của từng tháng vào chung một bìa: mỗi tập vẫn đánh số từ 1, nên trong bìa có hai tờ số 1. Index trùng khiến gop.loc[0] trả về hai dòng thay vì một.
Tham số ignore_index=True bỏ index cũ và đánh số lại từ 0:
import pandas as pd
t1 = pd.DataFrame({"ma_don": ["DH1024", "DH1025"],
"tong_tien": [96000, 64000]})
t2 = pd.DataFrame({"ma_don": ["DH1101", "DH1102"],
"tong_tien": [145000, 58000]})
gop = pd.concat([t1, t2], ignore_index=True)
print(gop)KẾT QUẢ
ma_don tong_tien
0 DH1024 96000
1 DH1025 64000
2 DH1101 145000
3 DH1102 58000Index cũ của các mảnh chỉ là số thứ tự, không mang thông tin gì, nên bỏ đi là đúng. Khi index là mã có nghĩa, như mã khách đã đặt bằng set_index(), thì đừng dùng ignore_index=True.
Gộp nhiều file CSV bằng vòng lặp
Việc hay gặp hơn là gộp nhiều file CSV có cùng cột. Cách làm: lấy danh sách file bằng Path.glob(), đọc từng file vào một list trong vòng for, rồi gọi concat() một lần ở cuối. Ví dụ dưới đây tự tách don_hang.csv của bộ dữ liệu thực hành thành sáu file theo tháng, rồi gộp lại:
import pandas as pd
from pathlib import Path
don = pd.read_csv("don_hang.csv")
thang = don["ngay_dat"].str[:7]
for t in sorted(thang[thang >= "2026-01"].unique()):
don.loc[thang == t].to_csv(f"don_{t}.csv", index=False)
cac_bang = []
for duong_dan in sorted(Path(".").glob("don_2026-*.csv")):
cac_bang.append(pd.read_csv(duong_dan))
gop = pd.concat(cac_bang, ignore_index=True)
print([len(b) for b in cac_bang])
print(len(gop))KẾT QUẢ
[96, 126, 95, 82, 105, 77]
581Khối lệnh đầu chỉ dựng sáu file mẫu; việc gộp nằm ở khối lệnh sau. Sáu file có tổng 581 đơn, và bảng gộp cũng có 581 dòng. So tổng số dòng trước và sau khi gộp là cách kiểm nhanh rằng không file nào bị bỏ sót. sorted() giữ thứ tự tháng, vì glob() không hứa trả file theo thứ tự nào. Đổi "don_2026-*.csv" thành "don_2026-0[1-3].csv" rồi chạy lại: dòng cuối in 317, tổng của ba tháng đầu năm.
Gọi concat() một lần ở cuối, không gọi trong thân vòng lặp. Mỗi lần concat() chép lại cả bảng, nên gộp dần từng file vào một bảng lớn chậm đi rõ rệt khi số file tăng.
Ghi nguồn của từng dòng: cột mới hay keys=
Sau khi gộp, bạn thường cần biết dòng nào đến từ tháng nào. keys= nhận một list nhãn, mỗi nhãn ứng với một mảnh; pandas đặt nhãn đó làm tầng ngoài của index, và names= đặt tên cho các tầng:
import pandas as pd
t1 = pd.DataFrame({"ma_don": ["DH1024", "DH1025"],
"tong_tien": [96000, 64000]})
t2 = pd.DataFrame({"ma_don": ["DH1101", "DH1102"],
"tong_tien": [145000, 58000]})
gop = pd.concat([t1, t2], keys=["Tháng 1", "Tháng 2"],
names=["thang", None])
print(gop.loc["Tháng 2"])
print(gop.reset_index(level="thang").reset_index(drop=True))KẾT QUẢ
ma_don tong_tien
0 DH1101 145000
1 DH1102 58000
thang ma_don tong_tien
0 Tháng 1 DH1024 96000
1 Tháng 1 DH1025 64000
2 Tháng 2 DH1101 145000
3 Tháng 2 DH1102 58000gop.loc["Tháng 2"] lấy đúng mảnh của tháng 2 nhờ tầng index ngoài. Phần lớn phép tính sau đó, như lọc hay gom nhóm, dễ hơn khi nhãn là một cột thường, nên reset_index(level="thang") chuyển tầng đó ra thành cột thang, rồi reset_index(drop=True) đánh số lại dòng. Cách khác cho cùng kết quả: trong vòng for, chép mỗi mảnh bằng copy() rồi chèn cột nguồn trước khi đưa vào list.
Ghép theo cột với axis=1
Mặc định concat() nối theo dòng (axis=0). Với axis=1, các bảng được đặt cạnh nhau, dòng nào ghép với dòng nào do index quyết định:
import pandas as pd
doanh_thu = pd.DataFrame({"thang": ["T1", "T2", "T3"],
"doanh_thu": [120, 135, 128]})
chi_phi = pd.DataFrame({"chi_phi": [80, 90, 85]})
print(pd.concat([doanh_thu, chi_phi], axis=1))KẾT QUẢ
thang doanh_thu chi_phi
0 T1 120 80
1 T2 135 90
2 T3 128 85Hai bảng cùng index 0, 1, 2 nên ghép khớp từng dòng. Nếu index lệch nhau, ô của dòng không khớp thành NaN. Khi hai bảng có một cột mã chung để ghép, merge() là công cụ đúng hơn, vì nó ghép theo giá trị của mã chứ không theo vị trí.
Kiểm tra nhanh
Sau
import pandas as pd,a = pd.DataFrame({"x": [1, 2]})vàb = pd.DataFrame({"x": [3]}),list(pd.concat([a, b]).index)là gì?[0, 1, 2][0, 1, 0][0, 1]
Sau
import pandas as pd,a = pd.DataFrame({"x": [1, 2]})vàb = pd.DataFrame({"x": [3]}),pd.concat([a, b], keys=["A", "B"]).loc["B", "x"].tolist()là gì?[3][1, 2][1, 2, 3]
Bạn gộp 12 file đơn hàng mỗi tháng và cần lọc đơn theo tháng sau khi gộp. Những cách nào giữ được tháng của từng dòng?
- Gộp với
keys=là list tên tháng, rồireset_index(level=0) - Chèn cột
thangvào bảncopy()của từng mảnh trước khi gộp - Gộp với
ignore_index=True - Gộp với
axis=1
- Gộp với
Sau
import pandas as pd,pd.DataFrame({"x": [1]}).append(pd.DataFrame({"x": [2]}))báo lỗi gì?- Báo lỗi
TypeError - Báo lỗi
AttributeError - Báo lỗi
KeyError
- Báo lỗi
Bài tập
Gộp bảng điểm của nhiều lớp
Mỗi lớp nộp một bảng điểm riêng với cùng các cột (ví dụ ho_ten, diem). Các bảng được gom trong một dict bang_lop: khóa là tên lớp, giá trị là DataFrame của lớp đó. Viết thân hàm gop_theo_lop(bang_lop, ten_cot="lop"):
gộp mọi bảng thành một, lớp theo thứ tự của dict, học sinh theo thứ tự trong bảng của lớp;
thêm cột tên
ten_cotở đầu bảng, ghi tên lớp của từng dòng; các cột còn lại giữ thứ tự cũ.
Index mặc định 0, 1, 2…. bang_lop có ít nhất một lớp; một lớp có thể chưa có học sinh nào. Hàm không sửa dict hay các bảng của nơi gọi.
Trả về: bảng điểm chung của mọi lớp, một DataFrame.
import pandas as pd
def gop_theo_lop(bang_lop, ten_cot="lop"):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
pd.concat([a, b, c])nhận một list DataFrame và xếp dòng của chúng nối tiếp nhau, cột khớp theo tên.ignore_index=Trueđánh số lại dòng từ 0; không có nó, index của các mảnh lặp lại.Gộp nhiều file CSV: đọc từng file vào một list trong vòng
for, gọiconcat()một lần ở cuối.keys=cùngnames=ghi nguồn của từng dòng thành tầng index ngoài;reset_index(level=...)đưa nó ra thành cột.axis=1đặt các bảng cạnh nhau theo index; cột lệch tên khi gộp dòng thành cộtNaN, không báo lỗi.
Câu hỏi thường gặp
Làm sao gộp nhiều file CSV trong một thư mục thành một DataFrame?
Lấy danh sách file bằng sorted(Path("thu_muc").glob("*.csv")), đọc từng file bằng pd.read_csv() vào một list, rồi gọi pd.concat(list_bang, ignore_index=True). Viết gọn hơn bằng một list comprehension trong lời gọi concat(). Cách đọc từng file có ở bài đọc file CSV.
concat() khác merge() ở đâu?
concat() xếp các bảng nối tiếp hay cạnh nhau theo vị trí và index, không nhìn giá trị của ô nào. merge() đặt hai bảng cạnh nhau theo giá trị của cột khóa. Gộp các tháng là việc của concat(), gắn tên khách vào đơn là việc của merge(). Bài Blog merge, join và concat trong pandas đặt ba cách ghép cạnh nhau.
Vì sao cột số nguyên thành số thực sau khi gộp?
Một mảnh thiếu cột đó, hay một mảnh rỗng có cột kiểu số thực, làm cột của bảng gộp phải chứa NaN hoặc theo kiểu số thực. Kiểm tên cột của từng mảnh, và bỏ mảnh rỗng trước khi gộp bằng [b for b in cac_bang if len(b)]. Cần giữ số nguyên khi có ô trống thì xem kiểu Int64.
Thêm từng dòng vào DataFrame trong vòng lặp thế nào?
Đừng thêm từng dòng vào bảng. Gom các dòng thành list các dict trong vòng lặp, rồi tạo DataFrame một lần ở cuối bằng pd.DataFrame(list_dong). Cách này nhanh hơn nhiều so với gọi concat() cho từng dòng.
Chủ đề
Dữ liệu của bài
- Tải xuống
don_hang.csv
CSV · 109.5 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.