Đọc file CSV lớn bằng pandas: usecols, dtype, chunksize
Bài 9/12 · Chương 3
Đọc và ghi dữ liệu
- 7 phút
- Cơ bản
- Python 3.14
- Cập nhật
Trong bài này · 12
Tham số chunksize của read_csv() trong pandas đọc một file CSV lớn thành từng khúc vài nghìn dòng, thay cho nạp cả file vào bộ nhớ một lần. Cùng với việc chỉ đọc cột cần và đặt kiểu nhỏ cho từng cột, đây là cách xử lý file đơn hàng hàng triệu dòng trên một máy tính bình thường.
Cần biết trước: read_csv() và vòng lặp for.
Chỉ đọc cột cần với usecols
Cách tiết kiệm bộ nhớ đơn giản là không đọc cột không dùng. Để tính doanh thu theo kênh, file don_hang.csv trong bộ dữ liệu thực hành chỉ cần ba trong chín cột. memory_usage(deep=True) cho số byte mỗi cột chiếm; cộng lại bằng sum() là bộ nhớ của cả bảng:
import pandas as pd
du = pd.read_csv("don_hang.csv")
gon = pd.read_csv("don_hang.csv",
usecols=["kenh", "so_luong", "don_gia"])
print(du.shape, gon.shape)
bo_nho_du = du.memory_usage(deep=True).sum()
bo_nho_gon = gon.memory_usage(deep=True).sum()
print(bo_nho_gon < bo_nho_du / 2)KẾT QUẢ
(1526, 9) (1526, 3)
TrueBảng ba cột chiếm chưa tới một nửa bộ nhớ của bảng đủ chín cột. Bài in phép so sánh thay cho số byte, vì số byte đổi theo máy: Python trên trang này dùng con trỏ 4 byte, máy tính thường dùng 8 byte, nên mỗi chuỗi chiếm ít byte hơn trên trang. Tỉ lệ vì thế xê dịch theo nơi chạy (trên máy là chừng một phần tư), nên bài so với ngưỡng một nửa, đúng ở cả hai nơi. deep=True bảo pandas đếm cả phần chữ của các cột chuỗi; thiếu nó, cột chuỗi chỉ được đếm phần con trỏ.
Đặt kiểu nhỏ cho từng cột với dtype
Mặc định pandas cấp cho mỗi số nguyên 8 byte, và giữ mỗi ô chữ thành một chuỗi riêng. Cột so_luong chỉ từ 1 tới 10, vừa với kiểu int8 một byte. Cột kenh có 5 giá trị lặp lại trên 1.526 dòng; kiểu category lưu 5 chữ đó một lần, mỗi ô chỉ giữ số thứ tự của chữ, như một bảng mã màu thay cho viết tên màu vào từng ô; bài kiểu category dạy kỹ.
import pandas as pd
cot = ["kenh", "so_luong", "don_gia"]
thuong = pd.read_csv("don_hang.csv", usecols=cot)
nho = pd.read_csv("don_hang.csv", usecols=cot,
dtype={"kenh": "category", "so_luong": "int8",
"don_gia": "int32"})
print(nho["kenh"].dtype, nho["kenh"].cat.categories.to_list())
print(nho.memory_usage(deep=True).sum()
< thuong.memory_usage(deep=True).sum() / 4)
print(nho["so_luong"].sum() == thuong["so_luong"].sum())KẾT QUẢ
category ['Cửa hàng', 'Mạng xã hội', 'Sàn TMĐT', 'Website', 'Ứng dụng']
True
TrueBảng kiểu nhỏ chiếm chưa tới một phần tư bộ nhớ, mà tổng số lượng vẫn y như cũ. Chọn kiểu theo giá trị lớn nhất có thể có: int8 chứa tới 127, int16 tới 32.767, int32 tới hơn hai tỷ, đủ cho đơn giá 890.000 đồng. Kiểu category hợp với cột chữ có ít giá trị khác nhau, như kênh, tỉnh, trạng thái; cột gần như mỗi dòng một giá trị như ma_don thì không lợi gì.
Đọc từng khúc bằng chunksize
Có chunksize, read_csv() không trả về DataFrame mà trả về một bộ đọc. Vòng for lấy từ bộ đọc đó lần lượt từng khúc, mỗi khúc là một DataFrame bình thường:
import pandas as pd
doc = pd.read_csv("don_hang.csv", chunksize=500,
usecols=["kenh", "so_luong", "don_gia"])
for khuc in doc:
print(khuc.shape, khuc.index[0], khuc.index[-1])KẾT QUẢ
(500, 3) 0 499
(500, 3) 500 999
(500, 3) 1000 1499
(26, 3) 1500 15251.526 dòng chia thành ba khúc đủ 500 dòng và một khúc cuối 26 dòng. Index nối tiếp giữa các khúc, nên dòng nào cũng giữ đúng số thứ tự trong file. Đổi chunksize=500 thành chunksize=700 rồi chạy lại: dòng đầu in (700, 3) 0 699, và chỉ còn ba khúc.
Cộng dồn kết quả của mỗi khúc
Mỗi khúc chỉ là một phần của file, nên phép tính phải cộng dồn qua các khúc. Tổng thì dễ: cộng tổng của từng khúc vào một biến đặt trước vòng lặp.
import pandas as pd
tong = 0
for khuc in pd.read_csv("don_hang.csv", chunksize=500,
usecols=["so_luong", "don_gia"]):
tong += int((khuc["so_luong"] * khuc["don_gia"]).sum())
print(f"{tong:,}".replace(",", "."))
du = pd.read_csv("don_hang.csv")
print(tong == int((du["so_luong"] * du["don_gia"]).sum()))KẾT QUẢ
261.743.000
TrueKết quả khớp với lần đọc cả file. Trung bình thì khác, vì khúc cuối ít dòng hơn các khúc khác:
import pandas as pd
tong, so_dong = 0, 0
for khuc in pd.read_csv("don_hang.csv", chunksize=500,
usecols=["don_gia"]):
tong += int(khuc["don_gia"].sum())
so_dong += len(khuc)
print(so_dong, round(tong / so_dong))KẾT QUẢ
1526 100446Kiểm tra nhanh
File có 1.526 dòng dữ liệu, đọc với chunksize=400. Vòng for chạy qua bao nhiêu khúc?
- 3
- 4
- 5
Cũng với chunksize=400, khúc cuối có bao nhiêu dòng?
- 400
- 326
- 126
Ba khúc có 500, 500 và 26 dòng, trung bình đơn giá từng khúc là 100, 100 và 40. Trung bình đúng của cả file xấp xỉ bao nhiêu?
- 98,5
- 80
- 100
Những cách nào giảm bộ nhớ khi đọc don_hang.csv để đếm đơn theo kênh?
usecols=["kenh"]dtype={"kenh": "category"}dtype={"ma_don": "category"}cho cột mã đơnmemory_usage(deep=True)
Bài tập
Giá trị đơn trung bình đọc theo khúc
File đơn hàng quá lớn để đọc một lần. Viết thân hàm trung_binh_theo_khuc(duong_dan, kich_thuoc, trang_thai): đọc file CSV ở duong_dan theo từng khúc kich_thuoc dòng, và tính giá trị trung bình của các đơn có cột trang_thai đúng bằng tham số trang_thai. Giá trị một đơn là so_luong nhân don_gia. Giữ các dòng của một trạng thái bằng khuc[khuc["trang_thai"] == trang_thai] (lọc dữ liệu dạy kỹ).
Trung bình phải đúng như khi đọc cả file một lần. Không đơn nào khớp thì trung bình là 0.0. Đếm cả số khúc đã đọc để ghi vào nhật ký.
Trả về: một dict có hai khóa, "so_khuc" là số khúc (một int) và "trung_binh" là giá trị trung bình (một float).
import pandas as pd
def trung_binh_theo_khuc(duong_dan, kich_thuoc, trang_thai):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
usecols=[...]chỉ đọc các cột cần, cách giảm bộ nhớ đầu tiên nên thử.dtypeđặt kiểu nhỏ:int8,int16,int32cho số nguyên vừa cỡ,categorycho cột chữ ít giá trị khác nhau.memory_usage(deep=True).sum()đo bộ nhớ của bảng; so sánh hai bảng thay cho tin vào số byte cụ thể.chunksize=ntrả về bộ đọc;for khuc in ...lấy từng khúc DataFrame, khúc cuối chứa phần còn lại.Cộng dồn tổng và số dòng qua các khúc, rồi chia một lần; đừng lấy trung bình của các trung bình.
Câu hỏi thường gặp
Pandas read large CSV vài GB thì chọn chunksize bao nhiêu?
Chọn sao cho một khúc chiếm vài chục tới vài trăm MB: thường 50.000 tới 500.000 dòng. Đọc thử một khúc, đo bằng memory_usage(deep=True).sum(), rồi chỉnh. Khúc quá nhỏ làm vòng lặp chạy chậm vì mỗi khúc có chi phí riêng.
Đọc file CSV lớn theo khúc thì làm groupby thế nào?
Gom từng khúc bằng groupby thành bảng tổng và số dòng theo nhóm, gom các bảng nhỏ đó vào một list, rồi nối lại và cộng thêm một lần nữa theo nhóm. Như bài này, cộng tổng và số dòng chứ không cộng trung bình.
Pandas memory usage ra số khác nhau trên hai máy có sao không?
Không sao. Số byte của cột chuỗi phụ thuộc phiên bản Python và cỡ con trỏ của máy; số byte của cột số như int64 thì cố định 8 byte mỗi ô. Dùng con số để so sánh hai cách đọc trên cùng một máy.
Có cách nào đọc file lớn nhanh hơn read_csv không?
Lưu dữ liệu thành Parquet: file nhỏ hơn, giữ kiểu cột, và đọc riêng từng cột rất nhanh. Bài Parquet, pickle, HTML giới thiệu định dạng này.
Chủ đề
Dữ liệu của bài
- Tải xuống
don_hang.csv
CSV · 109.5 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.