explode() trong pandas: tách cột chứa list thành nhiều dòng
Bài 11/13 · Chương 7
Ghép và đổi hình bảng
- 5 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 9
Phương thức explode() tách một cột chứa list thành nhiều dòng (pandas explode): mỗi phần tử của list thành một dòng riêng, các cột khác được chép theo. Bạn cần nó khi một ô chứa nhiều thứ, như một bài viết gắn ba thẻ hay một đơn hàng gồm bốn sản phẩm, mà câu hỏi lại hỏi theo từng thẻ, từng sản phẩm.
Cần biết trước: json_normalize(), value_counts(), groupby() và list.
Mỗi phần tử một dòng
Bảng bài viết dưới đây có cột the chứa list thẻ. value_counts() không đếm được thẻ trong list, nhưng sau explode() thì mỗi thẻ nằm ở một dòng riêng:
import pandas as pd
bai = pd.DataFrame({
"tieu_de": ["Đọc CSV", "Ghép bảng", "Vẽ cột"],
"the": [["pandas", "csv"], ["pandas", "merge"],
["matplotlib"]]})
dai = bai.explode("the")
print(dai)
print(dai["the"].value_counts())KẾT QUẢ
tieu_de the
0 Đọc CSV pandas
0 Đọc CSV csv
1 Ghép bảng pandas
1 Ghép bảng merge
2 Vẽ cột matplotlib
the
pandas 2
csv 1
merge 1
matplotlib 1
Name: count, dtype: int64Hai bài đầu mỗi bài thành hai dòng, tieu_de được chép sang dòng mới, và index giữ nguyên 0, 0, 1, 1, 2: số index cho biết dòng đến từ bài nào. Thẻ pandas xuất hiện ở hai bài. Việc này giống chép một chồng phiếu giao hàng nhiều món sang sổ: mỗi món một dòng, ghi kèm số phiếu bên cạnh.
Khi cần index đánh số lại từ 0, ghi explode("the", ignore_index=True). Đổi bai.explode("the") thành bai.explode("the", ignore_index=True) rồi chạy lại: cột index in 0 tới 4.
explode list các dict từ JSON
Dữ liệu từ API thường lồng list trong từng bản ghi. don_hang_api.json của bộ dữ liệu thực hành có 80 đơn, mỗi đơn có san_pham là list các dict, mỗi dict một dòng sản phẩm. json_normalize() làm phẳng phần khách hàng, nhưng để nguyên list sản phẩm trong một ô:
import json
import pandas as pd
with open("don_hang_api.json", encoding="utf-8") as f:
du_lieu = json.load(f)["du_lieu"]
don = pd.json_normalize(du_lieu)[["ma_don", "kenh", "san_pham"]]
dai = don.explode("san_pham", ignore_index=True)
print(len(don), len(dai))
print(dai.loc[dai["san_pham"].isna()])KẾT QUẢ
80 131
ma_don kenh san_pham
29 API0018 Website NaN80 đơn thành 131 dòng sản phẩm. Đơn API0018 có list rỗng, nên nó thành một dòng với san_pham là NaN: explode() không bỏ đơn đó, để bạn biết nó tồn tại. Đếm số dòng sản phẩm thì phải trừ dòng này ra.
Mỗi ô san_pham giờ là một dict. Truyền list các dict đó cho json_normalize() để mỗi khóa thành một cột, rồi ghép lại bên cạnh ma_don, kenh bằng join():
import json
import pandas as pd
with open("don_hang_api.json", encoding="utf-8") as f:
du_lieu = json.load(f)["du_lieu"]
don = pd.json_normalize(du_lieu)[["ma_don", "kenh", "san_pham"]]
dai = (don.explode("san_pham").dropna(subset=["san_pham"])
.reset_index(drop=True))
ct = dai.join(pd.json_normalize(dai["san_pham"].tolist()))
ct = ct.drop(columns="san_pham")
ct["thanh_tien"] = ct["so_luong"] * ct["don_gia"]
print(ct.head(3))
print(ct.groupby("kenh")["thanh_tien"].sum())KẾT QUẢ
ma_don kenh ma_sp so_luong don_gia thanh_tien
0 API0001 Ứng dụng 0045 3 35000 105000
1 API0002 Ứng dụng 0009 1 65000 65000
2 API0003 Website 0055 1 210000 210000
kenh
Website 12318000
Ứng dụng 9933000
Name: thanh_tien, dtype: int64reset_index(drop=True) trước join() là bắt buộc: bảng cột mới của json_normalize() đánh số từ 0, nên bảng bên trái cũng phải đánh số từ 0 thì dòng mới khớp dòng. Kết quả là một bảng chi tiết đơn hàng bình thường, gom nhóm được như bảng đọc từ CSV. Mã sản phẩm giữ dạng chữ "0045" như trong JSON.
Kiểm tra nhanh
Sau
import pandas as pdvàd = pd.DataFrame({"k": ["A", "B"], "v": [[1, 2], [3]]}),list(d.explode("v").index)là gì?[0, 0, 1][0, 1, 2][0, 1]
Sau
import pandas as pdvàd = pd.DataFrame({"k": ["A", "B"], "v": [[1, 2], []]}),len(d.explode("v"))bằng bao nhiêu?231
Ở ví dụ bài viết, những lệnh nào cho số bài gắn thẻ
pandas?bai.explode("the")["the"].value_counts()["pandas"](bai.explode("the")["the"] == "pandas").sum()bai["the"].value_counts()["pandas"]len(bai.explode("the"))
Sau
import pandas as pdvàd = pd.DataFrame({"the": ["a, b"]}),len(d.explode("the"))bằng bao nhiêu?120
Bài tập
Đếm kỹ năng của ứng viên
Phòng nhân sự có bảng ung_vien, mỗi ứng viên một dòng, cột ky_nang ghi các kỹ năng trong một chuỗi, cách nhau bởi dau_tach (như "Python; SQL; Excel"). Người nhập đôi khi thêm dấu cách quanh dấu tách hay thừa một dấu tách ở cuối; có ứng viên để trống cột này. Mỗi ứng viên ghi mỗi kỹ năng nhiều nhất một lần. Viết thân hàm dem_ky_nang(ung_vien, dau_tach=";"):
đếm số ứng viên có từng kỹ năng, sau khi bỏ dấu cách hai đầu tên kỹ năng;
không đếm chuỗi rỗng; index là tên kỹ năng, sắp theo thứ tự mà
sort_index()cho.
Hàm không sửa bảng của nơi gọi.
Trả về: số ứng viên theo từng kỹ năng, một Series.
import pandas as pd
def dem_ky_nang(ung_vien, dau_tach=";"):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
df.explode("cot")tách mỗi phần tử của list trong cột thành một dòng, chép theo các cột khác.Index của dòng gốc được giữ cho các dòng tách ra;
ignore_index=Trueđánh số lại từ 0.List rỗng cho một dòng
NaN; bỏ nó bằngdropna(subset=["cot"])khi đếm.Chuỗi không phải list: tách bằng
str.split()trước rồi mới explode.List các dict từ JSON: explode, rồi
json_normalize()list dict để mỗi khóa thành một cột.
Câu hỏi thường gặp
explode() nhiều cột cùng lúc được không?
Được: truyền một list cột, như df.explode(["ma_sp", "so_luong"]), với điều kiện ở mỗi dòng các list có cùng độ dài. Phần tử thứ nhất của list này đi với phần tử thứ nhất của list kia. Khi độ dài lệch, pandas dừng với lỗi, cho bạn biết dữ liệu không khớp.
Gom các dòng đã explode về lại một list thế nào?
Dùng groupby() rồi agg(list): dai.groupby("tieu_de")["the"].agg(list) cho lại list thẻ của từng bài. Cách gom nhóm có ở bài groupby().
Vì sao số dòng tăng mạnh sau explode?
Mỗi phần tử thành một dòng, nên bảng tăng bằng tổng độ dài các list. Kiểm trước bằng df["cot"].str.len().sum(), cộng thêm số list rỗng. Nếu sau đó bạn ghép bảng đã explode với bảng khác, nhớ rằng mỗi đơn giờ có nhiều dòng; bài merge bị tăng số dòng giải thích hệ quả.
Chủ đề
Dữ liệu của bài
- Tải xuống
don_hang_api.json
JSON · 33.91 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.