pandas đọc ghi Parquet, pickle, HTML, clipboard
Bài 10/12 · Chương 3
Đọc và ghi dữ liệu
- 7 phút
- Cơ bản
- Python 3.14
- Cập nhật
Trong bài này · 12
pandas đọc ghi được nhiều định dạng ngoài CSV: to_parquet() và to_pickle() lưu bảng giữ nguyên kiểu cột, read_html() lấy các bảng trên một trang web, read_clipboard() đọc bảng vừa sao chép từ Excel. Trang này tra nhanh từng hàm, mỗi hàm một ví dụ và một giới hạn cần biết.
Cần biết trước: to_csv().
Bảng tra nhanh: đọc ghi ngoài CSV
Giá trị mẫu chung là bảng mon hai dòng, ba cột: mã "0012", "0007" (chuỗi), ngày (kiểu ngày giờ) và số ly.
Hàm | Làm gì | Trả về | Ví dụ | Kết quả |
|---|---|---|---|---|
| lưu bảng dạng pickle của Python, giữ mọi kiểu |
|
| file |
| đọc lại file pickle |
|
|
|
| lưu bảng dạng Parquet theo cột, giữ kiểu, nén gọn |
|
| file |
| đọc file Parquet, có thể chỉ vài cột |
|
|
|
| lấy mọi thẻ |
|
|
|
| đọc bảng đang nằm trong clipboard |
| sau khi sao chép 3 dòng từ Excel | bảng 3 dòng |
(so sánh) | đọc lại file CSV của cùng bảng |
|
|
|
Parquet, HTML và clipboard cần gói hay quyền mà trình chạy trên trang không có, nên chỉ pickle và CSV chạy được ở đây. Ví dụ dưới in cột kết quả của hai hàng đó, kèm kiểu của cột ngày; pd.to_datetime() đổi hai chuỗi ngày thành kiểu ngày giờ, bài to_datetime() dạy kỹ:
import pandas as pd
ngay = pd.to_datetime(["2026-06-01", "2026-06-02"])
mon = pd.DataFrame({"ma": ["0012", "0007"], "ngay": ngay,
"so_ly": [42, 25]})
mon.to_csv("mon.csv", index=False)
mon.to_pickle("mon.pkl")
qua_csv = pd.read_csv("mon.csv")
qua_pkl = pd.read_pickle("mon.pkl")
print(qua_csv["ma"].to_list(), qua_csv["ngay"].dtype)
print(qua_pkl["ma"].to_list(), qua_pkl["ngay"].dtype)
print(qua_pkl.equals(mon))KẾT QUẢ
[12, 7] str
['0012', '0007'] datetime64[us]
TrueCSV chỉ lưu chữ, nên đọc lại thì mã thành số và ngày thành chuỗi. Pickle lưu nguyên đối tượng, nên bảng đọc lại bằng hệt bảng gốc. Cách dùng to_csv() và các tham số của nó có ở bài to_csv(), bài mẹ của trang này; cách giữ mã khi đọc CSV có ở bài read_csv().
Lưu kết quả trung gian bằng pickle
Dùng pickle khi bạn tự lưu rồi tự đọc lại một bảng đã làm sạch, để lần chạy sau khỏi làm lại từ đầu. pd.to_pickle() lưu được cả đối tượng không phải bảng, như dict các sheet mà read_excel(sheet_name=None) trả về:
import pandas as pd
hue = pd.DataFrame({"mon": ["Bạc xỉu"], "so_ly": [18]})
da_lat = pd.DataFrame({"mon": ["Trà đào"], "so_ly": [25]})
cac_sheet = {"Huế": hue, "Đà Lạt": da_lat}
pd.to_pickle(cac_sheet, "bao_cao.pkl")
doc_lai = pd.read_pickle("bao_cao.pkl")
print(type(doc_lai).__name__, list(doc_lai))
print(doc_lai["Đà Lạt"])KẾT QUẢ
dict ['Huế', 'Đà Lạt']
mon so_ly
0 Trà đào 25Tên file kết thúc bằng .gz thì pandas tự nén khi ghi và tự giải nén khi đọc. Đổi "bao_cao.pkl" ở cả hai chỗ thành "bao_cao.pkl.gz" rồi chạy lại: kết quả in y như cũ.
Mỗi định dạng có hàm đọc riêng, và hàm đọc không tự đoán định dạng theo đuôi file.
Lưu bảng lớn bằng Parquet
Parquet là định dạng lưu theo cột, hợp với bảng lớn dùng lâu dài hay chuyển sang công cụ khác như Spark, DuckDB, BigQuery. Nó giữ kiểu cột như pickle nhưng đọc được ở nhiều ngôn ngữ, nén gọn hơn CSV nhiều lần, và đọc riêng vài cột rất nhanh. Cần gói pyarrow (python -m pip install pyarrow). Trình chạy trên trang không có gói này, nên khối dưới không có nút Chạy:
import pandas as pd
mon = pd.DataFrame({"ma": ["0012", "0007"], "so_ly": [42, 25],
"mon": ["Cà phê sữa", "Trà đào"]})
mon.to_parquet("mon.parquet", index=False)
print(pd.read_parquet("mon.parquet")["ma"].to_list())
nho = pd.read_parquet("mon.parquet", columns=["mon", "so_ly"])
print(nho.columns.to_list())
Chạy trên máy đã cài pyarrow, dòng print đầu in ['0012', '0007'], dòng sau in ['mon', 'so_ly']. columns= của read_parquet() giống usecols= của read_csv(), nhưng nhanh hơn vì Parquet lưu mỗi cột một khối riêng: pandas bỏ qua hẳn các cột không đọc. Giới hạn: file Parquet là dạng nhị phân, không mở xem bằng trình soạn văn bản hay Excel được.
Lấy bảng từ trang web và từ clipboard
read_html() tìm mọi thẻ <table> trong một trang HTML và trả về một list, mỗi bảng một DataFrame, dù trang chỉ có một bảng. Nó cần gói lxml (hoặc beautifulsoup4 cùng html5lib). Truyền đường dẫn trang web, file HTML, hay nội dung HTML bọc trong io.StringIO:
import io
import pandas as pd
html = """<table><tr><th>Tỉnh</th><th>Dân số</th></tr>
<tr><td>Huế</td><td>1.160.220</td></tr>
<tr><td>Đà Nẵng</td><td>1.245.180</td></tr></table>"""
cac_bang = pd.read_html(io.StringIO(html), thousands=".")
print(len(cac_bang)) # 1
print(cac_bang[0])
# Tỉnh Dân số
# 0 Huế 1160220
# 1 Đà Nẵng 1245180
Thiếu thousands=".", cột dân số giữ nguyên chữ 1.160.220, vì mặc định read_html() coi dấu phẩy là dấu nghìn. Giới hạn: bảng vẽ bằng JavaScript sau khi trang tải không nằm trong HTML gốc, nên read_html() không thấy.
read_clipboard() đọc bảng bạn vừa sao chép (Ctrl+C) từ Excel hay một trang web, tiện để thử nhanh mà không cần lưu file. Nó nhận các tham số của read_csv(), như dtype hay thousands. Chỉ chạy trên máy có clipboard; trong trình duyệt và trên server không có, nên lệnh báo lỗi.
import pandas as pd
# sau khi bôi đen và Ctrl+C 3 dòng trong Excel
bang = pd.read_clipboard()
print(bang.shape)
Kiểm tra nhanh
Những định dạng nào lưu bảng mà đọc lại vẫn giữ mã "0012" và cột ngày đúng kiểu, không cần tham số gì thêm?
- Pickle
- Parquet
- CSV
- CSV với
index=False
Trang web có ba bảng. pd.read_html(url) trả về gì?
- Một DataFrame ghép ba bảng
- Một list ba DataFrame
- DataFrame của bảng đầu tiên
Đồng nghiệp gửi qua email file khach_hang.pkl. Bạn nên làm gì?
- Mở ngay bằng
pd.read_pickle() - Chỉ mở nếu tin người gửi; tốt hơn là xin bản CSV hay Parquet
- Đổi đuôi thành
.csvrồi đọc bằngread_csv()
- Mở ngay bằng
Bài tập
Lưu bảng trung gian giữ nguyên kiểu
Bạn vừa làm sạch xong một bảng có mã dạng chuỗi và cột ngày, và muốn lưu nó để lần sau đọc lại mà không phải làm sạch lần nữa. Viết thân hàm ban_sao_giu_kieu(bang, duong_dan): lưu bang ra file duong_dan bằng định dạng nào trong bảng tra vừa chạy được trên trang này vừa giữ nguyên kiểu mọi cột, rồi đọc file đó lên.
Bảng đọc lại phải bằng hệt bang: cùng giá trị, cùng kiểu cột, cùng index. Hàm không sửa bang.
Trả về: bảng đọc lại từ file, một DataFrame.
import pandas as pd
def ban_sao_giu_kieu(bang, duong_dan):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
to_pickle()vàread_pickle()lưu và đọc lại bảng bằng hệt, cả kiểu cột lẫn index; chỉ mở file pickle của nguồn tin cậy.to_parquet()vàread_parquet()giữ kiểu, nén gọn, đọc riêng cột bằngcolumns=; cần góipyarrow.read_html()trả về list DataFrame, mỗi thẻ<table>một bảng; số kiểu Việt Nam cầnthousands=".".read_clipboard()đọc bảng vừa sao chép, chỉ trên máy có clipboard.CSV chỉ lưu chữ: hợp để trao đổi, nhưng đọc lại phải khai kiểu như bài
read_csv().
Câu hỏi thường gặp
Parquet pandas báo lỗi thiếu pyarrow thì sửa thế nào?
Cài gói bằng python -m pip install pyarrow trong đúng môi trường đang chạy code, rồi chạy lại. Gói fastparquet cũng dùng được thay cho pyarrow, với engine="fastparquet"; không có engine, pandas thử pyarrow trước.
Pandas read html báo lỗi 403 hay không thấy bảng thì sao?
Nhiều trang chặn chương trình tải tự động, hoặc vẽ bảng bằng JavaScript sau khi trang tải. Tải trang bằng thư viện requests với tiêu đề trình duyệt rồi đưa nội dung qua io.StringIO, hoặc tìm nguồn dữ liệu gốc dạng CSV hay API mà trang dùng. Luôn xem điều khoản của trang trước khi lấy dữ liệu.
Pandas pickle và module pickle của Python khác gì nhau?
df.to_pickle() gọi module pickle của Python bên dưới, thêm việc tự nén theo đuôi file như .gz, .zip. File ghi bằng cách này đọc được bằng pickle.load(), và ngược lại.
Read clipboard trên trang này có chạy được không?
Không: trình chạy trên trang không đọc được clipboard của máy bạn. Dán nội dung vào một chuỗi rồi đọc bằng pd.read_csv(io.StringIO(chuoi), sep="\t"), vì Excel sao chép bảng thành các cột cách nhau bằng phím Tab.
Chủ đề
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.