Bỏ qua đến nội dung chính
Mục lục

pandas đọc ghi Parquet, pickle, HTML, clipboard

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 10/12 · Chương 3

Đọc và ghi dữ liệu

  • 7 phút
  • Cơ bản
  • Python 3.14
  • Cập nhật

pandas đọc ghi được nhiều định dạng ngoài CSV: to_parquet() và to_pickle() lưu bảng giữ nguyên kiểu cột, read_html() lấy các bảng trên một trang web, read_clipboard() đọc bảng vừa sao chép từ Excel. Trang này tra nhanh từng hàm, mỗi hàm một ví dụ và một giới hạn cần biết.

Cần biết trước: to_csv().

Bảng tra nhanh: đọc ghi ngoài CSV

Giá trị mẫu chung là bảng mon hai dòng, ba cột: mã "0012", "0007" (chuỗi), ngày (kiểu ngày giờ) và số ly.

Hàm

Làm gì

Trả về

Ví dụ

Kết quả

df.to_pickle(duong_dan)

lưu bảng dạng pickle của Python, giữ mọi kiểu

None

mon.to_pickle("mon.pkl")

file mon.pkl

pd.read_pickle(duong_dan)

đọc lại file pickle

DataFrame

pd.read_pickle("mon.pkl")["ma"].to_list()

['0012', '0007']

df.to_parquet(duong_dan)

lưu bảng dạng Parquet theo cột, giữ kiểu, nén gọn

None

mon.to_parquet("mon.parquet")

file mon.parquet

pd.read_parquet(duong_dan)

đọc file Parquet, có thể chỉ vài cột

DataFrame

pd.read_parquet("mon.parquet")["ma"].to_list()

['0012', '0007']

pd.read_html(nguon)

lấy mọi thẻ <table> của một trang HTML

list các DataFrame

len(pd.read_html(io.StringIO(html))) với một bảng

1

pd.read_clipboard()

đọc bảng đang nằm trong clipboard

DataFrame

sau khi sao chép 3 dòng từ Excel

bảng 3 dòng

(so sánh) pd.read_csv(duong_dan)

đọc lại file CSV của cùng bảng

DataFrame

pd.read_csv("mon.csv")["ma"].to_list()

[12, 7]

Parquet, HTML và clipboard cần gói hay quyền mà trình chạy trên trang không có, nên chỉ pickle và CSV chạy được ở đây. Ví dụ dưới in cột kết quả của hai hàng đó, kèm kiểu của cột ngày; pd.to_datetime() đổi hai chuỗi ngày thành kiểu ngày giờ, bài to_datetime() dạy kỹ:

python
import pandas as pd

ngay = pd.to_datetime(["2026-06-01", "2026-06-02"])
mon = pd.DataFrame({"ma": ["0012", "0007"], "ngay": ngay,
                    "so_ly": [42, 25]})
mon.to_csv("mon.csv", index=False)
mon.to_pickle("mon.pkl")
qua_csv = pd.read_csv("mon.csv")
qua_pkl = pd.read_pickle("mon.pkl")
print(qua_csv["ma"].to_list(), qua_csv["ngay"].dtype)
print(qua_pkl["ma"].to_list(), qua_pkl["ngay"].dtype)
print(qua_pkl.equals(mon))

KẾT QUẢ

[12, 7] str
['0012', '0007'] datetime64[us]
True

CSV chỉ lưu chữ, nên đọc lại thì mã thành số và ngày thành chuỗi. Pickle lưu nguyên đối tượng, nên bảng đọc lại bằng hệt bảng gốc. Cách dùng to_csv() và các tham số của nó có ở bài to_csv(), bài mẹ của trang này; cách giữ mã khi đọc CSV có ở bài read_csv().

Lưu kết quả trung gian bằng pickle

Dùng pickle khi bạn tự lưu rồi tự đọc lại một bảng đã làm sạch, để lần chạy sau khỏi làm lại từ đầu. pd.to_pickle() lưu được cả đối tượng không phải bảng, như dict các sheet mà read_excel(sheet_name=None) trả về:

python
import pandas as pd

hue = pd.DataFrame({"mon": ["Bạc xỉu"], "so_ly": [18]})
da_lat = pd.DataFrame({"mon": ["Trà đào"], "so_ly": [25]})
cac_sheet = {"Huế": hue, "Đà Lạt": da_lat}
pd.to_pickle(cac_sheet, "bao_cao.pkl")
doc_lai = pd.read_pickle("bao_cao.pkl")
print(type(doc_lai).__name__, list(doc_lai))
print(doc_lai["Đà Lạt"])

KẾT QUẢ

dict ['Huế', 'Đà Lạt']
       mon  so_ly
0  Trà đào     25

Tên file kết thúc bằng .gz thì pandas tự nén khi ghi và tự giải nén khi đọc. Đổi "bao_cao.pkl" ở cả hai chỗ thành "bao_cao.pkl.gz" rồi chạy lại: kết quả in y như cũ.

Mỗi định dạng có hàm đọc riêng, và hàm đọc không tự đoán định dạng theo đuôi file.

Lưu bảng lớn bằng Parquet

Parquet là định dạng lưu theo cột, hợp với bảng lớn dùng lâu dài hay chuyển sang công cụ khác như Spark, DuckDB, BigQuery. Nó giữ kiểu cột như pickle nhưng đọc được ở nhiều ngôn ngữ, nén gọn hơn CSV nhiều lần, và đọc riêng vài cột rất nhanh. Cần gói pyarrow (python -m pip install pyarrow). Trình chạy trên trang không có gói này, nên khối dưới không có nút Chạy:

python
import pandas as pd

mon = pd.DataFrame({"ma": ["0012", "0007"], "so_ly": [42, 25],
                    "mon": ["Cà phê sữa", "Trà đào"]})
mon.to_parquet("mon.parquet", index=False)
print(pd.read_parquet("mon.parquet")["ma"].to_list())
nho = pd.read_parquet("mon.parquet", columns=["mon", "so_ly"])
print(nho.columns.to_list())

Chạy trên máy đã cài pyarrow, dòng print đầu in ['0012', '0007'], dòng sau in ['mon', 'so_ly']. columns= của read_parquet() giống usecols= của read_csv(), nhưng nhanh hơn vì Parquet lưu mỗi cột một khối riêng: pandas bỏ qua hẳn các cột không đọc. Giới hạn: file Parquet là dạng nhị phân, không mở xem bằng trình soạn văn bản hay Excel được.

Lấy bảng từ trang web và từ clipboard

read_html() tìm mọi thẻ <table> trong một trang HTML và trả về một list, mỗi bảng một DataFrame, dù trang chỉ có một bảng. Nó cần gói lxml (hoặc beautifulsoup4 cùng html5lib). Truyền đường dẫn trang web, file HTML, hay nội dung HTML bọc trong io.StringIO:

python
import io
import pandas as pd

html = """<table><tr><th>Tỉnh</th><th>Dân số</th></tr>
<tr><td>Huế</td><td>1.160.220</td></tr>
<tr><td>Đà Nẵng</td><td>1.245.180</td></tr></table>"""
cac_bang = pd.read_html(io.StringIO(html), thousands=".")
print(len(cac_bang))       # 1
print(cac_bang[0])
#       Tỉnh   Dân số
# 0      Huế  1160220
# 1  Đà Nẵng  1245180

Thiếu thousands=".", cột dân số giữ nguyên chữ 1.160.220, vì mặc định read_html() coi dấu phẩy là dấu nghìn. Giới hạn: bảng vẽ bằng JavaScript sau khi trang tải không nằm trong HTML gốc, nên read_html() không thấy.

read_clipboard() đọc bảng bạn vừa sao chép (Ctrl+C) từ Excel hay một trang web, tiện để thử nhanh mà không cần lưu file. Nó nhận các tham số của read_csv(), như dtype hay thousands. Chỉ chạy trên máy có clipboard; trong trình duyệt và trên server không có, nên lệnh báo lỗi.

python
import pandas as pd

# sau khi bôi đen và Ctrl+C 3 dòng trong Excel
bang = pd.read_clipboard()
print(bang.shape)

Kiểm tra nhanh

  1. Những định dạng nào lưu bảng mà đọc lại vẫn giữ mã "0012" và cột ngày đúng kiểu, không cần tham số gì thêm?

    • Pickle
    • Parquet
    • CSV
    • CSV với index=False
  2. Trang web có ba bảng. pd.read_html(url) trả về gì?

    • Một DataFrame ghép ba bảng
    • Một list ba DataFrame
    • DataFrame của bảng đầu tiên
  3. Đồng nghiệp gửi qua email file khach_hang.pkl. Bạn nên làm gì?

    • Mở ngay bằng pd.read_pickle()
    • Chỉ mở nếu tin người gửi; tốt hơn là xin bản CSV hay Parquet
    • Đổi đuôi thành .csv rồi đọc bằng read_csv()
Đúng hết lần đầu +15 XP

Bài tập

Lưu bảng trung gian giữ nguyên kiểu

Bạn vừa làm sạch xong một bảng có mã dạng chuỗi và cột ngày, và muốn lưu nó để lần sau đọc lại mà không phải làm sạch lần nữa. Viết thân hàm ban_sao_giu_kieu(bang, duong_dan): lưu bang ra file duong_dan bằng định dạng nào trong bảng tra vừa chạy được trên trang này vừa giữ nguyên kiểu mọi cột, rồi đọc file đó lên.

Bảng đọc lại phải bằng hệt bang: cùng giá trị, cùng kiểu cột, cùng index. Hàm không sửa bang.

Trả về: bảng đọc lại từ file, một DataFrame.

python
import pandas as pd

def ban_sao_giu_kieu(bang, duong_dan):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • to_pickle() và read_pickle() lưu và đọc lại bảng bằng hệt, cả kiểu cột lẫn index; chỉ mở file pickle của nguồn tin cậy.

  • to_parquet() và read_parquet() giữ kiểu, nén gọn, đọc riêng cột bằng columns=; cần gói pyarrow.

  • read_html() trả về list DataFrame, mỗi thẻ <table> một bảng; số kiểu Việt Nam cần thousands=".".

  • read_clipboard() đọc bảng vừa sao chép, chỉ trên máy có clipboard.

  • CSV chỉ lưu chữ: hợp để trao đổi, nhưng đọc lại phải khai kiểu như bài read_csv().

Câu hỏi thường gặp

Parquet pandas báo lỗi thiếu pyarrow thì sửa thế nào?

Cài gói bằng python -m pip install pyarrow trong đúng môi trường đang chạy code, rồi chạy lại. Gói fastparquet cũng dùng được thay cho pyarrow, với engine="fastparquet"; không có engine, pandas thử pyarrow trước.

Pandas read html báo lỗi 403 hay không thấy bảng thì sao?

Nhiều trang chặn chương trình tải tự động, hoặc vẽ bảng bằng JavaScript sau khi trang tải. Tải trang bằng thư viện requests với tiêu đề trình duyệt rồi đưa nội dung qua io.StringIO, hoặc tìm nguồn dữ liệu gốc dạng CSV hay API mà trang dùng. Luôn xem điều khoản của trang trước khi lấy dữ liệu.

Pandas pickle và module pickle của Python khác gì nhau?

df.to_pickle() gọi module pickle của Python bên dưới, thêm việc tự nén theo đuôi file như .gz, .zip. File ghi bằng cách này đọc được bằng pickle.load(), và ngược lại.

Read clipboard trên trang này có chạy được không?

Không: trình chạy trên trang không đọc được clipboard của máy bạn. Dán nội dung vào một chuỗi rồi đọc bằng pd.read_csv(io.StringIO(chuoi), sep="\t"), vì Excel sao chép bảng thành các cột cách nhau bằng phím Tab.

Chủ đề

parquet pandas

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập