Bỏ qua đến nội dung chính
Phân tích dữ liệu
Ảnh bìa bài pandas CSV và Excel: đọc, ghi file không lỗi tiếng Việt

pandas CSV và Excel: đọc, ghi file không lỗi tiếng Việt

AIDev TeamTham vấn chuyên môn: Nguyễn Việt Chung

Đăng 11 phút đọc

Mục lục · 17

Đọc file bằng pandas chỉ cần pd.read_csv hoặc pd.read_excel, nhưng file xuất từ phần mềm Việt Nam thường cần thêm tham số: dấu chấm phẩy, dấu chấm hàng nghìn, mã UTF-16, dòng tiêu đề rác. Bài đọc thử năm file khó của Tiệm Mây, kèm thông báo lỗi thật và số đo tốc độ CSV, Excel, Parquet.

Đọc file CSV bằng pandas là một dòng pd.read_csv("ten_file.csv"), file Excel là pd.read_excel("ten_file.xlsx"); ghi ngược ra file dùng df.to_csv và df.to_excel. Một dòng đó chỉ đủ khi file theo chuẩn: dấu phẩy ngăn cột, mã UTF-8, dòng đầu là tên cột. File CSV xuất từ phần mềm kế toán, máy bán hàng hay Excel bản tiếng Việt thường lệch ít nhất một điểm. Phần lớn lỗi pandas CSV đến từ chỗ lệch đó, và bạn sửa bằng tham số của read_csv thay vì sửa tay file.

Mấy điều cần nắm trước khi đọc tiếp:

  • Bốn tham số giải quyết phần lớn file khó: sep (dấu ngăn cột), encoding (bảng mã), skiprows/comment (dòng rác), dtype (giữ số 0 ở đầu mã).

  • Excel bản địa Việt Nam dùng dấu chấm cho hàng nghìn và dấu phẩy cho phần thập phân, nên cần thousands="." và decimal=",".

  • Đọc .xlsx cần cài thêm package openpyxl; pandas không tự cài.

  • Mọi lệnh chạy trên pandas 3.1.1, máy ảo AIDev Cloud, ngày 08/11/2026, với các file công khai ở lab.aidev.edu.vn/k2.

Đọc file pandas CSV chuẩn thế nào?

Với file chuẩn, mình đọc thẳng từ đường link rồi xem kiểu từng cột:

python
import pandas as pd

U = "https://lab.aidev.edu.vn/k2/du-lieu/"
df = pd.read_csv(U + "don_hang_sach.csv")
print(df.shape)
print(df.dtypes)
Terminal chạy python doc_file.py với pandas 3.1.1: don_hang_sach.csv đọc được 6000 dòng 13 cột, các cột chữ kiểu str, so_luong, don_gia, phi_van_chuyen, doanh_thu kiểu int64, ngay_dat kiểu str; khi thêm parse_dates thì ngay_dat thành datetime64 và ma_kh thành category

File có 6.000 dòng, 13 cột. Cột số được nhận đúng là int64, nhưng cột ngày ngay_dat vẫn là chuỗi (str). CSV chỉ lưu chữ, không lưu kiểu; pandas tự nhận ra số nhưng không tự đổi chuỗi ngày thành kiểu ngày. Thêm parse_dates khi đọc:

python
df = pd.read_csv(U + "don_hang_sach.csv", parse_dates=["ngay_dat"], dtype={"ma_kh": "category"})

dtype={"ma_kh": "category"} lưu cột mã khách dạng danh mục (mỗi mã lưu một lần, các dòng chỉ trỏ tới), hợp với cột có ít giá trị khác nhau, mỗi giá trị lặp lại nhiều lần. Nếu bạn chưa quen DataFrame và kiểu cột, bài pandas là gì giải thích trên chính bộ dữ liệu này.

File CSV dùng dấu chấm phẩy và số kiểu Việt Nam

File doanh_thu_kenh_vn.csv mô phỏng file xuất từ Excel trên máy cài định dạng Việt Nam. Mở bằng trình soạn thảo, hai dòng đầu trông thế này:

text
Tháng;Website;App;Facebook;Sàn TMĐT;Tỉ lệ hủy (%)
1;401.255.000;310.770.000;240.295.000;255.966.000;9,9

Đọc bằng lệnh mặc định, pandas không báo lỗi gì nhưng trả về bảng 13 dòng và chỉ 1 cột: cả dòng bị coi là một ô vì không có dấu phẩy nào ngăn cột. Riêng số 9,9 lại bị cắt ở dấu phẩy. Lỗi kiểu này nguy hiểm vì code vẫn chạy tiếp và chỉ hỏng ở một bước sau. Cách đọc đúng:

python
b = pd.read_csv(U + "doanh_thu_kenh_vn.csv", sep=";", thousands=".", decimal=",",
                na_values="-", encoding="utf-8-sig")
Terminal chạy python doc_file.py phần doanh_thu_kenh_vn.csv: đọc mặc định ra 13 dòng 1 cột, tên cột là cả chuỗi Tháng;Website;App; đọc với sep chấm phẩy, thousands, decimal ra 13 dòng 6 cột, Website kiểu int64, Sàn TMĐT float64, Tỉ lệ hủy float64, cột Tháng str vì dòng cuối là Tổng cộng; tổng Website 12 tháng 2883311000; đọc thiếu encoding thì tên cột đầu vẫn là Tháng

Bảng có 6 cột như mong đợi. Còn ba chỗ cần để ý:

  • Cột Sàn TMĐT là float64 chứ không phải int64. Ô - (tháng chưa có số) được na_values đổi thành ô trống NaN, mà cột số nguyên trong NumPy không chứa được ô trống.

  • Cột Tháng là chuỗi vì dòng cuối ghi "Tổng cộng". Mình bỏ dòng tổng rồi đổi kiểu; tổng cột Website của 12 tháng ra 2.883.311.000, khớp với dòng "Tổng cộng" trong file.

  • File bắt đầu bằng BOM (3 byte đánh dấu UTF-8 mà Excel ghi vào đầu file). Mình thêm encoding="utf-8-sig" để bỏ BOM, nhưng khi thử đọc lại không có tham số này, tên cột đầu vẫn ra đúng 'Tháng': pandas 3.1.1 tự bỏ BOM khi đọc UTF-8. Mục "Ghi CSV để Excel mở không lỗi dấu" cho thấy BOM chỉ quan trọng theo chiều ngược lại, khi ghi file cho Excel mở.

Lỗi UnicodeDecodeError khi đọc file tiếng Việt

Khi chọn "Save As" rồi chọn kiểu "Unicode Text" trong Excel, file .txt ra dùng mã UTF-16 và ngăn cột bằng phím Tab. File khach_hang_excel.txt của Tiệm Mây mô phỏng đúng kiểu file đó. Đọc như CSV thường:

text
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 0: invalid start byte

Byte 0xff ở vị trí 0 là dấu hiệu của UTF-16: file bắt đầu bằng hai byte FF FE. Chỉ cần báo đúng bảng mã và dấu ngăn cột:

python
k = pd.read_csv(U + "khach_hang_excel.txt", encoding="utf-16", sep="\t", dtype={"SĐT": "str"})
Terminal chạy python doc_file.py phần khach_hang_excel.txt: đọc mặc định báo UnicodeDecodeError utf-8 codec can't decode byte 0xff in position 0; đọc với encoding utf-16 và sep tab ra 40 dòng 4 cột, cột SĐT kiểu float64 hiện 900000140.0; thêm dtype SĐT str thì hiện 0900000140

Lần đầu mình chưa có dtype, và cột số điện thoại hiện 900000140.0: pandas hiểu 0900000140 là một con số, bỏ số 0 đầu và lưu cột ở dạng số thực (float64). dtype={"SĐT": "str"} giữ cột ở dạng chữ, số 0 còn nguyên. Mã khách, mã bưu chính, mã hàng 0012 đều cần cách này. Mình thấy lỗi mất số 0 này phiền hơn lỗi UnicodeDecodeError: lỗi giải mã dừng chương trình ngay, còn số 0 biến mất thì không có thông báo nào.

Bỏ dòng chú thích, dòng rác và ô N/A

Hai file sau có cùng một triệu chứng khi đọc không kèm tham số xử lý dòng rác (file kho đã thêm sep=";"):

text
ParserError: Error tokenizing data. C error: Expected 1 fields in line 3, saw 6

Thông báo nghĩa là pandas đã lấy dòng 1 làm tiêu đề, thấy 1 cột, đến dòng 3 lại gặp 6 cột nên dừng. Nguyên nhân là phần đầu file có dòng không phải dữ liệu.

File máy bán hàng don_hang_pos.csv mở đầu bằng hai dòng chú thích bắt đầu bằng #, ô trống ghi N/A, ngày viết dd/mm/yyyy, và cột ghi chú có dấu phẩy nằm trong nháy kép như "khách quen, tặng túi":

python
p = pd.read_csv(U + "don_hang_pos.csv", comment="#", na_values="N/A")
p["ngay"] = pd.to_datetime(p["ngay"], format="%d/%m/%Y")

Báo cáo tồn kho bao_cao_kho.csv thì có ba dòng tiêu đề của phần mềm kho, không có dòng tên cột, ngăn bằng ; và mã hàng dạng 0004:

python
kho = pd.read_csv(U + "bao_cao_kho.csv", sep=";", skiprows=3, header=None, encoding="utf-8-sig",
                  names=["ma_hang", "ten_hang", "ton", "gia_von", "thanh_tien"],
                  thousands=".", dtype={"ma_hang": "str"})
Terminal chạy python doc_file.py phần don_hang_pos.csv và bao_cao_kho.csv: đọc mặc định báo ParserError Expected 1 fields in line 3, saw 6 và saw 5; đọc với comment và na_values ra 30 dòng 6 cột, ngay kiểu datetime64, ghi chú khách quen, tặng túi giữ nguyên, 1 ô ten_sp trống và 19 ô ghi_chu trống; báo cáo kho ra 40 dòng 5 cột, ma_hang giữ 0004, ton, gia_von, thanh_tien kiểu int64

File POS đọc được 30 dòng, ô N/A ở cột tên sản phẩm thành 1 ô trống, dấu phẩy trong nháy kép không làm lệch cột. Thật ra N/A, NA, NULL và ô rỗng đã nằm trong danh sách ô trống mặc định của pandas, nên na_values="N/A" ở đây chỉ để nói rõ ý; ô - của file kênh ở trên thì không có trong danh sách đó và phải khai. Báo cáo kho đọc được 40 mặt hàng, mã giữ nguyên 0004 và các cột tiền về int64. comment="#" bỏ mọi dòng bắt đầu bằng #; skiprows=3 bỏ đúng 3 dòng đầu, hợp khi dòng rác không có ký tự đánh dấu.

Bảng dưới gom các tham số mình đã dùng, theo triệu chứng bạn thấy:

Triệu chứng

Tham số read_csv

Ra 1 cột, tên cột chứa ;

sep=";" (tab: sep="\t")

UnicodeDecodeError ... byte 0xff

encoding="utf-16"

UnicodeDecodeError với byte khác

thử encoding="cp1258" (Windows tiếng Việt)

Số 401.255.000 thành chữ

thousands=".", decimal=","

ParserError: Expected 1 fields

skiprows=n hoặc comment="#"

Mất số 0 đầu mã

dtype={"cot": "str"}

Ô ghi -, -- hay trống không thành trống

na_values=["-", "--", "trống"] (N/A, NA, NULL pandas đã tự coi là trống)

Ngày vẫn là chữ

parse_dates=[...] hoặc pd.to_datetime(..., format=...)

Danh sách đầy đủ có trong tài liệu read_csv. Dòng cp1258 là gợi ý theo bảng mã Windows cho tiếng Việt; mình chưa gặp file mã này trong bộ dữ liệu nên chưa thử.

Đọc và ghi file Excel bằng pandas

Đọc .xlsx trên một môi trường chỉ cài pandas, mình nhận:

text
ImportError: `Import openpyxl` failed.  Use pip, conda, or your preferred package management tool to install the openpyxl package.

pandas đọc Excel qua package openpyxl nhưng không cài kèm. Cài bằng pip install openpyxl rồi chạy lại. File san_pham.xlsx có 3 sheet; sheet_name=None đọc tất cả thành một dict, mỗi tên sheet ứng với một DataFrame:

python
x = pd.read_excel(U + "san_pham.xlsx", sheet_name=None)
print({ten: bang.shape for ten, bang in x.items()})
sp = pd.read_excel(U + "san_pham.xlsx", sheet_name="san_pham")
Terminal chạy python excel.py: venv chỉ có pandas báo ImportError Import openpyxl failed; venv đã cài openpyxl đọc được 3 sheet san_pham 120 dòng 6 cột, danh_muc 8 dòng, nha_cung_cap 8 dòng; ghi báo cáo theo kênh rồi đọc lại; ghi không có index=False thì đọc lại xuất hiện cột Unnamed: 0 ở cả Excel và CSV; file utf-8-sig bắt đầu bằng ba byte ef bb bf

Excel lưu kiểu của từng ô, nên cột giá về thẳng int64 mà không cần tham số. Ở phần đo định dạng bên dưới, cột ngày đọc lại từ Excel cũng giữ kiểu ngày mà không cần parse_dates. Ghi báo cáo ra Excel thì dùng to_excel:

python
bc = df[df["trang_thai"] == "Hoàn tất"].groupby("kenh")["doanh_thu"].sum().reset_index()
bc.to_excel("bao_cao.xlsx", index=False, sheet_name="theo_kenh")

Nếu cần định dạng ô, tô màu, gộp nhiều file tháng, bài Python cho Excel làm tiếp phần đó bằng openpyxl.

Vì sao file vừa ghi đọc lại có thêm cột Unnamed: 0?

Mình ghi bc.to_excel("bao_cao_index.xlsx") mà quên index=False, rồi đọc lại và được thêm cột Unnamed: 0 ở đầu. to_csv cũng vậy. Mặc định pandas ghi cả index (số thứ tự 0, 1, 2…) thành một cột không tên; lúc đọc lại, cột không tên đó thành Unnamed: 0. Khi ghi file cho người khác hoặc cho bước sau đọc, hãy luôn thêm index=False.

Ghi CSV để Excel mở không lỗi dấu

to_csv mặc định ghi UTF-8 không có BOM. Theo hướng dẫn của Microsoft, Excel mở bình thường file CSV UTF-8 có BOM; file không có BOM thì phải đi đường nhập dữ liệu (thẻ Data, From Text/CSV) để chọn bảng mã. Vì vậy với CSV gửi cho người dùng Excel, mình ghi kèm BOM:

python
bc.to_csv("bao_cao.csv", index=False, encoding="utf-8-sig")

Đọc 12 byte đầu của hai file cho thấy khác biệt: bản thường bắt đầu bằng b'kenh,doanh_t', bản utf-8-sig bắt đầu bằng b'\xef\xbb\xbfkenh,doan', ba byte đầu chính là BOM.

CSV, Excel hay Parquet: định dạng nào nhanh hơn?

Parquet là định dạng lưu theo cột, nén sẵn và giữ kiểu dữ liệu, đọc ghi qua package pyarrow. Mình ghi rồi đọc lại cùng bảng đơn hàng ở ba định dạng, với 6.000 dòng (trung vị 5 lần) và bảng nhân 100 lần lên 600.000 dòng (1 lần):

Định dạng

Ghi 6.000 dòng

Đọc 6.000 dòng

Ghi 600.000 dòng

Đọc 600.000 dòng

Dung lượng 600.000 dòng

CSV

0,030 s

0,004 s

3,09 s

0,084 s

66.958 KB

Excel .xlsx

2,01 s

1,16 s

190,7 s

106,5 s

40.242 KB

Parquet

0,008 s

0,004 s

0,25 s

0,030 s

4.344 KB

Terminal chạy python do_dinh_dang.py: 6000 dòng CSV ghi 0.030 s đọc 0.004 s, Excel ghi 2.013 s đọc 1.158 s, Parquet ghi 0.008 s đọc 0.004 s; 600000 dòng CSV ghi 3.092 s đọc 0.084 s 66958 KB, Excel ghi 190.737 s đọc 106.533 s 40242 KB, Parquet ghi 0.250 s đọc 0.030 s 4344 KB; đọc lại CSV thì ngay_dat là str, Excel và Parquet giữ datetime64; đọc cùng file CSV 600000 dòng trong venv có pyarrow mất khoảng 0.07 s, venv chỉ có pandas mất khoảng 0.6 s

Với 600.000 dòng, ghi Excel mất hơn 3 phút và đọc lại gần 2 phút, trong khi Parquet xong trong chưa tới nửa giây và nhỏ hơn CSV khoảng 15 lần. Cột cuối của log trong ảnh cho thấy thêm một khác biệt: đọc lại từ CSV, ngay_dat thành chuỗi; Excel và Parquet giữ nguyên kiểu ngày.

Số đọc CSV 600.000 dòng chỉ 0,084 giây làm mình nghi, nên đo lại cùng file trong hai môi trường. Môi trường có cài pyarrow đọc mất khoảng 0,07 giây; môi trường chỉ có pandas mất khoảng 0,6 giây, chậm khoảng 8 lần. Từ pandas 3.0, cột chữ mặc định là kiểu str, và khi có pyarrow thì pandas lưu chúng bằng mảng Arrow (log in storage là pyarrow), nếu không thì lưu bằng đối tượng Python (python). Khi đọc lại, 9 trên 13 cột của bảng đơn hàng là chữ, nên chênh lệch lớn.

Cách mình chọn: dữ liệu trung gian giữa các bước phân tích lưu Parquet; file trao đổi với người khác hoặc phần mềm khác dùng CSV; Excel chỉ dùng cho báo cáo cuối có người mở ra đọc, và nên giữ dưới vài chục nghìn dòng.

Khi nào không nên đọc file bằng pandas?

Hàm đọc pandas CSV và Excel tiện cho phần lớn file văn phòng, nhưng có ba trường hợp mình dùng cách khác:

  • File lớn hơn RAM máy. read_csv nạp cả file vào bộ nhớ; với file vài GB, hãy đọc từng phần bằng chunksize hoặc đưa vào cơ sở dữ liệu.

  • File Excel có công thức, ô gộp, nhiều bảng nhỏ trên một sheet. read_excel chỉ lấy giá trị ô, mất công thức và bố cục.

  • Bạn chỉ cần xem qua vài dòng một lần. Mở bằng Excel hoặc trình soạn thảo nhanh hơn viết code.

Câu hỏi thường gặp

Làm sao đọc chỉ một vài cột của file CSV?

Dùng usecols, ví dụ pd.read_csv(f, usecols=["ma_don", "doanh_thu"]). Các cột không liệt kê sẽ không được nạp, nên đỡ tốn RAM với file nhiều cột.

Làm sao lưu DataFrame ra file CSV?

Gọi df.to_csv("ten.csv", index=False). Thêm encoding="utf-8-sig" nếu người nhận mở bằng Excel, như mục "Ghi CSV để Excel mở không lỗi dấu".

read_excel đọc được file .xls cũ không?

File .xls (Excel 97 đến 2003) cần package xlrd thay vì openpyxl. Mình chưa thử trong bài này vì bộ dữ liệu không có file .xls.

Có cần cài pyarrow không?

Không bắt buộc, pandas vẫn chạy. Nhưng theo số đo trong bài, có pyarrow thì đọc CSV nhiều cột chữ nhanh hơn khoảng 8 lần và dùng được Parquet, nên mình luôn cài kèm: pip install pandas pyarrow openpyxl.

Đọc tiếp

Chương "Series, DataFrame và đọc ghi dữ liệu" của ebook Phân tích dữ liệu với Python có bài tập tự chấm đọc đúng các file khó như trong bài. Nếu muốn học theo đề cương có project được chấm, khóa Phân tích dữ liệu với Python là chặng thứ hai của lộ trình AI Engineer từ số 0.

Code chạy ngày 08/11/2026 trên máy ảo AIDev Cloud gói CPU Starter: Intel Xeon E5-2680 v4 8 vCPU, 15,6 GiB RAM, Ubuntu 24.04.4, Python 3.12.3, pandas 3.1.1, NumPy 2.5.4, openpyxl 3.1.5, pyarrow 26.0.1. Dữ liệu Tiệm Mây là dữ liệu mô phỏng của AIDev (giấy phép MIT).

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập