Error tokenizing data khi read_csv: ParserError và cách sửa
Bài 7/13 · Chương 10
Giải nghĩa lỗi và cảnh báo
- 7 phút
- Cơ bản
- Python 3.14
- Cập nhật
Trong bài này · 11
Error tokenizing data là lỗi read_csv() báo khi một dòng của file có số ô khác với số ô pandas chờ. Thông báo đầy đủ có dạng pandas.errors.ParserError: Error tokenizing data. C error: Expected 1 fields in line 6, saw 2: pandas chờ 1 ô, nhưng ở dòng 6 của file nó đếm được 2.
Cần biết trước: đọc file CSV bằng read_csv và các tham số của read_csv.
Bảng tra nhanh: nguyên nhân Error tokenizing data
Lớp lỗi ParserError là của pandas (pandas.errors.ParserError), báo rằng bộ đọc không tách được file thành bảng đều cột. Số "Expected" lấy từ dòng tiêu đề, tức dòng đầu tiên pandas đọc; số "saw" là số ô ở dòng bị lệch.
Dấu hiệu | Nguyên nhân | Cách sửa |
|---|---|---|
| vài dòng chữ trước bảng |
|
| file dùng dấu chấm phẩy |
|
| một ô có dấu phẩy mà không có nháy | đặt ô trong |
| một dấu nháy kép mở mà không đóng | tìm dòng có số nháy lẻ |
Báo cáo kho xuất từ phần mềm kế toán là ví dụ có đủ hai nguyên nhân đầu:
import pandas as pd
pd.read_csv("bao_cao_kho.csv")
Dòng cuối của thông báo lỗi:
pandas.errors.ParserError: Error tokenizing data. C error: Expected 1 fields in line 6, saw 2
Xem các dòng đầu của file
Khi thông báo nhắc tới số dòng, việc đầu tiên là mở file như văn bản và xem chính các dòng đó. Đoạn dưới in số thứ tự dòng, số dấu chấm phẩy trên dòng, và phần đầu của dòng:
with open("bao_cao_kho.csv", encoding="utf-8-sig") as f:
for so in range(1, 8):
dong = f.readline().rstrip("\n")
print(so, dong.count(";"), dong[:44])KẾT QUẢ
1 0 CỬA HÀNG MẪU AIDEV
2 0 BÁO CÁO NHẬP XUẤT TỒN THÁNG 10/2025
3 0 Kho: Kho tổng
4 0
5 9 STT;Mã hàng;Tên hàng;ĐVT;Tồn đầu kỳ;Nhập tro
6 9 1;0001;Cà phê rang xay Đắk Lắk 500g;Gói;81;-
7 9 2;0002;Cà phê hạt Robusta Gia Lai 1kg;Gói;79Bốn dòng đầu là tiêu đề báo cáo và một dòng trống; bảng thật bắt đầu ở dòng 5, mỗi dòng 9 dấu chấm phẩy, tức 10 cột. Với tham số mặc định, pandas lấy dòng 1 làm tiêu đề (1 ô, không có dấu phẩy), rồi gặp dòng 6 có một dấu phẩy thập phân trong 123.478,93, đếm thành 2 ô.
Sửa bằng sep và skiprows
Hai tham số giải quyết hai nguyên nhân: skiprows=4 bỏ bốn dòng thừa, sep=";" tách ô bằng dấu chấm phẩy. decimal="," đọc dấu phẩy là dấu thập phân:
import pandas as pd
kho = pd.read_csv("bao_cao_kho.csv", sep=";", skiprows=4,
decimal=",")
print(kho.shape)
print(kho[["Tên hàng", "ĐVT", "Tồn cuối kỳ"]].head(3))
print(kho["Tên hàng"].tail(2).to_list())KẾT QUẢ
(61, 10)
Tên hàng ĐVT Tồn cuối kỳ
0 Cà phê rang xay Đắk Lắk 500g Gói 81
1 Cà phê hạt Robusta Gia Lai 1kg Gói 112
2 Cà phê phin giấy hộp 10 gói Hộp 37
['Dầu gió xanh 12ml', 'Tổng cộng']Bảng đọc đủ 10 cột. Dòng cuối là dòng "Tổng cộng" của báo cáo; bỏ nó trước khi tính. Đổi skiprows=4 thành skiprows=5 rồi chạy lại: shape in (60, 10), vì dòng tiêu đề thật bị bỏ và mặt hàng đầu tiên bị đọc thành tiêu đề, nên dòng in tiếp theo dừng ở KeyError.
Một ô chứa dấu phân cách
File gõ tay hay có giá ghi kiểu 32,000. Dấu phẩy đó bị đọc là ranh giới ô, nên dòng có thêm một ô:
import io
import pandas as pd
csv = "mon,gia\ntrà đào,45000\nbạc xỉu,32,000\n"
pd.read_csv(io.StringIO(csv))
Dòng cuối của thông báo lỗi:
pandas.errors.ParserError: Error tokenizing data. C error: Expected 2 fields in line 3, saw 3
Cách ghi đúng trong CSV là đặt ô có dấu phẩy trong dấu nháy kép. thousands="," báo cho pandas biết dấu phẩy trong số là dấu ngăn hàng nghìn:
import io
import pandas as pd
csv = 'mon,gia\ntrà đào,45000\nbạc xỉu,"32,000"\n'
menu = pd.read_csv(io.StringIO(csv), thousands=",")
print(menu)KẾT QUẢ
mon gia
0 trà đào 45000
1 bạc xỉu 32000Kiểm tra nhanh
Sau
import io, pandas as pd,pd.read_csv(io.StringIO("a,b\n1,2\n3,4,5\n"))báo lỗi gì?- Báo lỗi
ParserError - Báo lỗi
TypeError - Báo lỗi
KeyError
- Báo lỗi
Thông báo
Expected 4 fields in line 120, saw 5cho biết gì?- File có 120 cột
- Tiêu đề có 4 ô, dòng 120 của file có 5 ô
- Dòng 4 của file có 120 ô
File có 3 dòng chữ trước bảng và dùng dấu chấm phẩy. Lệnh nào đọc đúng?
pd.read_csv(f, skiprows=3)pd.read_csv(f, sep=";")pd.read_csv(f, sep=";", skiprows=3)pd.read_csv(f, on_bad_lines="skip")
Bài tập
Tìm các dòng lệch cột
Trước khi sửa một file CSV hỏng, bạn muốn biết đủ các dòng lệch thay vì chỉ dòng đầu tiên mà thông báo kể. Viết thân hàm dong_lech(van_ban, sep): van_ban là nội dung file dạng chuỗi, dòng đầu là tiêu đề. Hàm trả về list số thứ tự của các dòng có số ô khác số ô của dòng tiêu đề, đếm từ 1 như thông báo của pandas. Số ô của một dòng là số phần khi tách dòng bằng sep. Không có dòng lệch thì trả list rỗng.
Trả về: các số dòng lệch theo thứ tự trong file, một list.
def dong_lech(van_ban, sep):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Error tokenizing data nghĩa là một dòng có số ô khác số ô của dòng tiêu đề.
"Expected" là số ô của tiêu đề, "line" là số dòng trong file đếm từ 1, "saw" là số ô của dòng lệch.
Expected 1 fieldsthường là saisephoặc có dòng chữ trước bảng: xem các dòng đầu của file.Bỏ dòng thừa bằng
skiprows=, đổi dấu phân cách bằngsep=.Ô chứa dấu phân cách phải nằm trong nháy kép; số kiểu
32,000cần thêmthousands=",".on_bad_lines="skip"bỏ dòng lệch mà không báo; chỉ dùng khi đã biết các dòng đó là rác.
Câu hỏi thường gặp
Vì sao Excel mở file bình thường mà pandas báo error tokenizing data?
Excel tự đoán dấu phân cách theo cài đặt vùng của máy và không đòi các dòng đều cột. pandas mặc định dùng dấu phẩy và đòi mỗi dòng có đủ số ô như tiêu đề. Bài các tham số của read_csv chỉ cách khai sep, skiprows, decimal cho file xuất từ Excel.
C error và Python error trong thông báo khác gì nhau?
"C error" cho biết lỗi đến từ bộ đọc viết bằng C, bộ mặc định của pandas. Gọi read_csv(..., engine="python") thì thông báo bỏ chữ Error tokenizing data. C error: và chỉ còn Expected 2 fields in line 3, saw 3; nguyên nhân và cách sửa như nhau.
Dòng cuối file là dòng Tổng cộng thì bỏ thế nào?
Đọc xong thì lọc bỏ dòng có tên là "Tổng cộng", hoặc dùng skipfooter=1 kèm engine="python" khi đọc. Dòng tổng nằm trong bảng sẽ làm mọi phép cộng sau đó tính gấp đôi.
Chủ đề
Dữ liệu của bài
- Tải xuống
bao_cao_kho.csv
CSV · 4.6 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.