
pandas CSV và Excel: đọc, ghi file không lỗi tiếng Việt
AIDev TeamTham vấn chuyên môn: Nguyễn Việt Chung
Đăng 11 phút đọc
Mục lục · 17
Đọc file bằng pandas chỉ cần pd.read_csv hoặc pd.read_excel, nhưng file xuất từ phần mềm Việt Nam thường cần thêm tham số: dấu chấm phẩy, dấu chấm hàng nghìn, mã UTF-16, dòng tiêu đề rác. Bài đọc thử năm file khó của Tiệm Mây, kèm thông báo lỗi thật và số đo tốc độ CSV, Excel, Parquet.
Đọc file CSV bằng pandas là một dòng pd.read_csv("ten_file.csv"), file Excel là pd.read_excel("ten_file.xlsx"); ghi ngược ra file dùng df.to_csv và df.to_excel. Một dòng đó chỉ đủ khi file theo chuẩn: dấu phẩy ngăn cột, mã UTF-8, dòng đầu là tên cột. File CSV xuất từ phần mềm kế toán, máy bán hàng hay Excel bản tiếng Việt thường lệch ít nhất một điểm. Phần lớn lỗi pandas CSV đến từ chỗ lệch đó, và bạn sửa bằng tham số của read_csv thay vì sửa tay file.
Mấy điều cần nắm trước khi đọc tiếp:
Bốn tham số giải quyết phần lớn file khó:
sep(dấu ngăn cột),encoding(bảng mã),skiprows/comment(dòng rác),dtype(giữ số 0 ở đầu mã).Excel bản địa Việt Nam dùng dấu chấm cho hàng nghìn và dấu phẩy cho phần thập phân, nên cần
thousands="."vàdecimal=",".Đọc
.xlsxcần cài thêm packageopenpyxl; pandas không tự cài.Mọi lệnh chạy trên pandas 3.1.1, máy ảo AIDev Cloud, ngày 08/11/2026, với các file công khai ở lab.aidev.edu.vn/k2.
Đọc file pandas CSV chuẩn thế nào?
Với file chuẩn, mình đọc thẳng từ đường link rồi xem kiểu từng cột:
import pandas as pd
U = "https://lab.aidev.edu.vn/k2/du-lieu/"
df = pd.read_csv(U + "don_hang_sach.csv")
print(df.shape)
print(df.dtypes)

File có 6.000 dòng, 13 cột. Cột số được nhận đúng là int64, nhưng cột ngày ngay_dat vẫn là chuỗi (str). CSV chỉ lưu chữ, không lưu kiểu; pandas tự nhận ra số nhưng không tự đổi chuỗi ngày thành kiểu ngày. Thêm parse_dates khi đọc:
df = pd.read_csv(U + "don_hang_sach.csv", parse_dates=["ngay_dat"], dtype={"ma_kh": "category"})
dtype={"ma_kh": "category"} lưu cột mã khách dạng danh mục (mỗi mã lưu một lần, các dòng chỉ trỏ tới), hợp với cột có ít giá trị khác nhau, mỗi giá trị lặp lại nhiều lần. Nếu bạn chưa quen DataFrame và kiểu cột, bài pandas là gì giải thích trên chính bộ dữ liệu này.
File CSV dùng dấu chấm phẩy và số kiểu Việt Nam
File doanh_thu_kenh_vn.csv mô phỏng file xuất từ Excel trên máy cài định dạng Việt Nam. Mở bằng trình soạn thảo, hai dòng đầu trông thế này:
Tháng;Website;App;Facebook;Sàn TMĐT;Tỉ lệ hủy (%)
1;401.255.000;310.770.000;240.295.000;255.966.000;9,9
Đọc bằng lệnh mặc định, pandas không báo lỗi gì nhưng trả về bảng 13 dòng và chỉ 1 cột: cả dòng bị coi là một ô vì không có dấu phẩy nào ngăn cột. Riêng số 9,9 lại bị cắt ở dấu phẩy. Lỗi kiểu này nguy hiểm vì code vẫn chạy tiếp và chỉ hỏng ở một bước sau. Cách đọc đúng:
b = pd.read_csv(U + "doanh_thu_kenh_vn.csv", sep=";", thousands=".", decimal=",",
na_values="-", encoding="utf-8-sig")

Bảng có 6 cột như mong đợi. Còn ba chỗ cần để ý:
Cột
Sàn TMĐTlàfloat64chứ không phảiint64. Ô-(tháng chưa có số) đượcna_valuesđổi thành ô trốngNaN, mà cột số nguyên trong NumPy không chứa được ô trống.Cột
Thánglà chuỗi vì dòng cuối ghi "Tổng cộng". Mình bỏ dòng tổng rồi đổi kiểu; tổng cột Website của 12 tháng ra 2.883.311.000, khớp với dòng "Tổng cộng" trong file.File bắt đầu bằng BOM (3 byte đánh dấu UTF-8 mà Excel ghi vào đầu file). Mình thêm
encoding="utf-8-sig"để bỏ BOM, nhưng khi thử đọc lại không có tham số này, tên cột đầu vẫn ra đúng'Tháng': pandas 3.1.1 tự bỏ BOM khi đọc UTF-8. Mục "Ghi CSV để Excel mở không lỗi dấu" cho thấy BOM chỉ quan trọng theo chiều ngược lại, khi ghi file cho Excel mở.
Lỗi UnicodeDecodeError khi đọc file tiếng Việt
Khi chọn "Save As" rồi chọn kiểu "Unicode Text" trong Excel, file .txt ra dùng mã UTF-16 và ngăn cột bằng phím Tab. File khach_hang_excel.txt của Tiệm Mây mô phỏng đúng kiểu file đó. Đọc như CSV thường:
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 0: invalid start byte
Byte 0xff ở vị trí 0 là dấu hiệu của UTF-16: file bắt đầu bằng hai byte FF FE. Chỉ cần báo đúng bảng mã và dấu ngăn cột:
k = pd.read_csv(U + "khach_hang_excel.txt", encoding="utf-16", sep="\t", dtype={"SĐT": "str"})

Lần đầu mình chưa có dtype, và cột số điện thoại hiện 900000140.0: pandas hiểu 0900000140 là một con số, bỏ số 0 đầu và lưu cột ở dạng số thực (float64). dtype={"SĐT": "str"} giữ cột ở dạng chữ, số 0 còn nguyên. Mã khách, mã bưu chính, mã hàng 0012 đều cần cách này. Mình thấy lỗi mất số 0 này phiền hơn lỗi UnicodeDecodeError: lỗi giải mã dừng chương trình ngay, còn số 0 biến mất thì không có thông báo nào.
Bỏ dòng chú thích, dòng rác và ô N/A
Hai file sau có cùng một triệu chứng khi đọc không kèm tham số xử lý dòng rác (file kho đã thêm sep=";"):
ParserError: Error tokenizing data. C error: Expected 1 fields in line 3, saw 6
Thông báo nghĩa là pandas đã lấy dòng 1 làm tiêu đề, thấy 1 cột, đến dòng 3 lại gặp 6 cột nên dừng. Nguyên nhân là phần đầu file có dòng không phải dữ liệu.
File máy bán hàng don_hang_pos.csv mở đầu bằng hai dòng chú thích bắt đầu bằng #, ô trống ghi N/A, ngày viết dd/mm/yyyy, và cột ghi chú có dấu phẩy nằm trong nháy kép như "khách quen, tặng túi":
p = pd.read_csv(U + "don_hang_pos.csv", comment="#", na_values="N/A")
p["ngay"] = pd.to_datetime(p["ngay"], format="%d/%m/%Y")
Báo cáo tồn kho bao_cao_kho.csv thì có ba dòng tiêu đề của phần mềm kho, không có dòng tên cột, ngăn bằng ; và mã hàng dạng 0004:
kho = pd.read_csv(U + "bao_cao_kho.csv", sep=";", skiprows=3, header=None, encoding="utf-8-sig",
names=["ma_hang", "ten_hang", "ton", "gia_von", "thanh_tien"],
thousands=".", dtype={"ma_hang": "str"})

File POS đọc được 30 dòng, ô N/A ở cột tên sản phẩm thành 1 ô trống, dấu phẩy trong nháy kép không làm lệch cột. Thật ra N/A, NA, NULL và ô rỗng đã nằm trong danh sách ô trống mặc định của pandas, nên na_values="N/A" ở đây chỉ để nói rõ ý; ô - của file kênh ở trên thì không có trong danh sách đó và phải khai. Báo cáo kho đọc được 40 mặt hàng, mã giữ nguyên 0004 và các cột tiền về int64. comment="#" bỏ mọi dòng bắt đầu bằng #; skiprows=3 bỏ đúng 3 dòng đầu, hợp khi dòng rác không có ký tự đánh dấu.
Bảng dưới gom các tham số mình đã dùng, theo triệu chứng bạn thấy:
Triệu chứng | Tham số |
|---|---|
Ra 1 cột, tên cột chứa |
|
|
|
| thử |
Số |
|
|
|
Mất số 0 đầu mã |
|
Ô ghi |
|
Ngày vẫn là chữ |
|
Danh sách đầy đủ có trong tài liệu read_csv. Dòng cp1258 là gợi ý theo bảng mã Windows cho tiếng Việt; mình chưa gặp file mã này trong bộ dữ liệu nên chưa thử.
Đọc và ghi file Excel bằng pandas
Đọc .xlsx trên một môi trường chỉ cài pandas, mình nhận:
ImportError: `Import openpyxl` failed. Use pip, conda, or your preferred package management tool to install the openpyxl package.
pandas đọc Excel qua package openpyxl nhưng không cài kèm. Cài bằng pip install openpyxl rồi chạy lại. File san_pham.xlsx có 3 sheet; sheet_name=None đọc tất cả thành một dict, mỗi tên sheet ứng với một DataFrame:
x = pd.read_excel(U + "san_pham.xlsx", sheet_name=None)
print({ten: bang.shape for ten, bang in x.items()})
sp = pd.read_excel(U + "san_pham.xlsx", sheet_name="san_pham")

Excel lưu kiểu của từng ô, nên cột giá về thẳng int64 mà không cần tham số. Ở phần đo định dạng bên dưới, cột ngày đọc lại từ Excel cũng giữ kiểu ngày mà không cần parse_dates. Ghi báo cáo ra Excel thì dùng to_excel:
bc = df[df["trang_thai"] == "Hoàn tất"].groupby("kenh")["doanh_thu"].sum().reset_index()
bc.to_excel("bao_cao.xlsx", index=False, sheet_name="theo_kenh")
Nếu cần định dạng ô, tô màu, gộp nhiều file tháng, bài Python cho Excel làm tiếp phần đó bằng openpyxl.
Vì sao file vừa ghi đọc lại có thêm cột Unnamed: 0?
Mình ghi bc.to_excel("bao_cao_index.xlsx") mà quên index=False, rồi đọc lại và được thêm cột Unnamed: 0 ở đầu. to_csv cũng vậy. Mặc định pandas ghi cả index (số thứ tự 0, 1, 2…) thành một cột không tên; lúc đọc lại, cột không tên đó thành Unnamed: 0. Khi ghi file cho người khác hoặc cho bước sau đọc, hãy luôn thêm index=False.
Ghi CSV để Excel mở không lỗi dấu
to_csv mặc định ghi UTF-8 không có BOM. Theo hướng dẫn của Microsoft, Excel mở bình thường file CSV UTF-8 có BOM; file không có BOM thì phải đi đường nhập dữ liệu (thẻ Data, From Text/CSV) để chọn bảng mã. Vì vậy với CSV gửi cho người dùng Excel, mình ghi kèm BOM:
bc.to_csv("bao_cao.csv", index=False, encoding="utf-8-sig")
Đọc 12 byte đầu của hai file cho thấy khác biệt: bản thường bắt đầu bằng b'kenh,doanh_t', bản utf-8-sig bắt đầu bằng b'\xef\xbb\xbfkenh,doan', ba byte đầu chính là BOM.
CSV, Excel hay Parquet: định dạng nào nhanh hơn?
Parquet là định dạng lưu theo cột, nén sẵn và giữ kiểu dữ liệu, đọc ghi qua package pyarrow. Mình ghi rồi đọc lại cùng bảng đơn hàng ở ba định dạng, với 6.000 dòng (trung vị 5 lần) và bảng nhân 100 lần lên 600.000 dòng (1 lần):
Định dạng | Ghi 6.000 dòng | Đọc 6.000 dòng | Ghi 600.000 dòng | Đọc 600.000 dòng | Dung lượng 600.000 dòng |
|---|---|---|---|---|---|
CSV | 0,030 s | 0,004 s | 3,09 s | 0,084 s | 66.958 KB |
Excel | 2,01 s | 1,16 s | 190,7 s | 106,5 s | 40.242 KB |
Parquet | 0,008 s | 0,004 s | 0,25 s | 0,030 s | 4.344 KB |

Với 600.000 dòng, ghi Excel mất hơn 3 phút và đọc lại gần 2 phút, trong khi Parquet xong trong chưa tới nửa giây và nhỏ hơn CSV khoảng 15 lần. Cột cuối của log trong ảnh cho thấy thêm một khác biệt: đọc lại từ CSV, ngay_dat thành chuỗi; Excel và Parquet giữ nguyên kiểu ngày.
Số đọc CSV 600.000 dòng chỉ 0,084 giây làm mình nghi, nên đo lại cùng file trong hai môi trường. Môi trường có cài pyarrow đọc mất khoảng 0,07 giây; môi trường chỉ có pandas mất khoảng 0,6 giây, chậm khoảng 8 lần. Từ pandas 3.0, cột chữ mặc định là kiểu str, và khi có pyarrow thì pandas lưu chúng bằng mảng Arrow (log in storage là pyarrow), nếu không thì lưu bằng đối tượng Python (python). Khi đọc lại, 9 trên 13 cột của bảng đơn hàng là chữ, nên chênh lệch lớn.
Cách mình chọn: dữ liệu trung gian giữa các bước phân tích lưu Parquet; file trao đổi với người khác hoặc phần mềm khác dùng CSV; Excel chỉ dùng cho báo cáo cuối có người mở ra đọc, và nên giữ dưới vài chục nghìn dòng.
Khi nào không nên đọc file bằng pandas?
Hàm đọc pandas CSV và Excel tiện cho phần lớn file văn phòng, nhưng có ba trường hợp mình dùng cách khác:
File lớn hơn RAM máy.
read_csvnạp cả file vào bộ nhớ; với file vài GB, hãy đọc từng phần bằngchunksizehoặc đưa vào cơ sở dữ liệu.File Excel có công thức, ô gộp, nhiều bảng nhỏ trên một sheet.
read_excelchỉ lấy giá trị ô, mất công thức và bố cục.Bạn chỉ cần xem qua vài dòng một lần. Mở bằng Excel hoặc trình soạn thảo nhanh hơn viết code.
Câu hỏi thường gặp
Làm sao đọc chỉ một vài cột của file CSV?
Dùng usecols, ví dụ pd.read_csv(f, usecols=["ma_don", "doanh_thu"]). Các cột không liệt kê sẽ không được nạp, nên đỡ tốn RAM với file nhiều cột.
Làm sao lưu DataFrame ra file CSV?
Gọi df.to_csv("ten.csv", index=False). Thêm encoding="utf-8-sig" nếu người nhận mở bằng Excel, như mục "Ghi CSV để Excel mở không lỗi dấu".
read_excel đọc được file .xls cũ không?
File .xls (Excel 97 đến 2003) cần package xlrd thay vì openpyxl. Mình chưa thử trong bài này vì bộ dữ liệu không có file .xls.
Có cần cài pyarrow không?
Không bắt buộc, pandas vẫn chạy. Nhưng theo số đo trong bài, có pyarrow thì đọc CSV nhiều cột chữ nhanh hơn khoảng 8 lần và dùng được Parquet, nên mình luôn cài kèm: pip install pandas pyarrow openpyxl.
Đọc tiếp
Download pandas và cài đặt: tạo môi trường, cài pandas, sửa lỗi
No module named pandas.Làm sạch dữ liệu với pandas: sau khi đọc đúng file, xử lý dòng trùng, ô trống, giá viết ba kiểu.
Hàm pandas dùng hằng ngày: value_counts, describe, isin, map và apply trên 6.000 đơn của Tiệm Mây.
Python cho Excel: gộp 12 file Excel và xuất báo cáo có định dạng.
Merge pandas: ghép bảng đơn hàng với khách hàng và sản phẩm bằng merge, join, concat, đếm số dòng sau mỗi kiểu ghép.
Chương "Series, DataFrame và đọc ghi dữ liệu" của ebook Phân tích dữ liệu với Python có bài tập tự chấm đọc đúng các file khó như trong bài. Nếu muốn học theo đề cương có project được chấm, khóa Phân tích dữ liệu với Python là chặng thứ hai của lộ trình AI Engineer từ số 0.
Code chạy ngày 08/11/2026 trên máy ảo AIDev Cloud gói CPU Starter: Intel Xeon E5-2680 v4 8 vCPU, 15,6 GiB RAM, Ubuntu 24.04.4, Python 3.12.3, pandas 3.1.1, NumPy 2.5.4, openpyxl 3.1.5, pyarrow 26.0.1. Dữ liệu Tiệm Mây là dữ liệu mô phỏng của AIDev (giấy phép MIT).
Chuyên mục
Phân tích dữ liệuTham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.


