Bỏ qua đến nội dung chính
Mục lục

Error tokenizing data khi read_csv: ParserError và cách sửa

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 7/13 · Chương 10

Giải nghĩa lỗi và cảnh báo

  • 7 phút
  • Cơ bản
  • Python 3.14
  • Cập nhật

Error tokenizing data là lỗi read_csv() báo khi một dòng của file có số ô khác với số ô pandas chờ. Thông báo đầy đủ có dạng pandas.errors.ParserError: Error tokenizing data. C error: Expected 1 fields in line 6, saw 2: pandas chờ 1 ô, nhưng ở dòng 6 của file nó đếm được 2.

Cần biết trước: đọc file CSV bằng read_csv và các tham số của read_csv.

Bảng tra nhanh: nguyên nhân Error tokenizing data

Lớp lỗi ParserError là của pandas (pandas.errors.ParserError), báo rằng bộ đọc không tách được file thành bảng đều cột. Số "Expected" lấy từ dòng tiêu đề, tức dòng đầu tiên pandas đọc; số "saw" là số ô ở dòng bị lệch.

Dấu hiệu

Nguyên nhân

Cách sửa

Expected 1 fields, dòng đầu file là tiêu đề báo cáo

vài dòng chữ trước bảng

skiprows= số dòng thừa

Expected 1 fields, dòng nào cũng có ;

file dùng dấu chấm phẩy

sep=";"

Expected 2 fields in line 3, saw 3

một ô có dấu phẩy mà không có nháy

đặt ô trong "..." ở file, hay sửa dòng đó

EOF inside string

một dấu nháy kép mở mà không đóng

tìm dòng có số nháy lẻ

Báo cáo kho xuất từ phần mềm kế toán là ví dụ có đủ hai nguyên nhân đầu:

python
import pandas as pd

pd.read_csv("bao_cao_kho.csv")

Dòng cuối của thông báo lỗi:

text
pandas.errors.ParserError: Error tokenizing data. C error: Expected 1 fields in line 6, saw 2

Xem các dòng đầu của file

Khi thông báo nhắc tới số dòng, việc đầu tiên là mở file như văn bản và xem chính các dòng đó. Đoạn dưới in số thứ tự dòng, số dấu chấm phẩy trên dòng, và phần đầu của dòng:

python
with open("bao_cao_kho.csv", encoding="utf-8-sig") as f:
    for so in range(1, 8):
        dong = f.readline().rstrip("\n")
        print(so, dong.count(";"), dong[:44])

KẾT QUẢ

1 0 CỬA HÀNG MẪU AIDEV
2 0 BÁO CÁO NHẬP XUẤT TỒN THÁNG 10/2025
3 0 Kho: Kho tổng
4 0 
5 9 STT;Mã hàng;Tên hàng;ĐVT;Tồn đầu kỳ;Nhập tro
6 9 1;0001;Cà phê rang xay Đắk Lắk 500g;Gói;81;-
7 9 2;0002;Cà phê hạt Robusta Gia Lai 1kg;Gói;79

Bốn dòng đầu là tiêu đề báo cáo và một dòng trống; bảng thật bắt đầu ở dòng 5, mỗi dòng 9 dấu chấm phẩy, tức 10 cột. Với tham số mặc định, pandas lấy dòng 1 làm tiêu đề (1 ô, không có dấu phẩy), rồi gặp dòng 6 có một dấu phẩy thập phân trong 123.478,93, đếm thành 2 ô.

Sửa bằng sep và skiprows

Hai tham số giải quyết hai nguyên nhân: skiprows=4 bỏ bốn dòng thừa, sep=";" tách ô bằng dấu chấm phẩy. decimal="," đọc dấu phẩy là dấu thập phân:

python
import pandas as pd

kho = pd.read_csv("bao_cao_kho.csv", sep=";", skiprows=4,
                  decimal=",")
print(kho.shape)
print(kho[["Tên hàng", "ĐVT", "Tồn cuối kỳ"]].head(3))
print(kho["Tên hàng"].tail(2).to_list())

KẾT QUẢ

(61, 10)
                         Tên hàng  ĐVT Tồn cuối kỳ
0    Cà phê rang xay Đắk Lắk 500g  Gói          81
1  Cà phê hạt Robusta Gia Lai 1kg  Gói         112
2     Cà phê phin giấy hộp 10 gói  Hộp          37
['Dầu gió xanh 12ml', 'Tổng cộng']

Bảng đọc đủ 10 cột. Dòng cuối là dòng "Tổng cộng" của báo cáo; bỏ nó trước khi tính. Đổi skiprows=4 thành skiprows=5 rồi chạy lại: shape in (60, 10), vì dòng tiêu đề thật bị bỏ và mặt hàng đầu tiên bị đọc thành tiêu đề, nên dòng in tiếp theo dừng ở KeyError.

Một ô chứa dấu phân cách

File gõ tay hay có giá ghi kiểu 32,000. Dấu phẩy đó bị đọc là ranh giới ô, nên dòng có thêm một ô:

python
import io
import pandas as pd

csv = "mon,gia\ntrà đào,45000\nbạc xỉu,32,000\n"
pd.read_csv(io.StringIO(csv))

Dòng cuối của thông báo lỗi:

text
pandas.errors.ParserError: Error tokenizing data. C error: Expected 2 fields in line 3, saw 3

Cách ghi đúng trong CSV là đặt ô có dấu phẩy trong dấu nháy kép. thousands="," báo cho pandas biết dấu phẩy trong số là dấu ngăn hàng nghìn:

python
import io
import pandas as pd

csv = 'mon,gia\ntrà đào,45000\nbạc xỉu,"32,000"\n'
menu = pd.read_csv(io.StringIO(csv), thousands=",")
print(menu)

KẾT QUẢ

       mon    gia
0  trà đào  45000
1  bạc xỉu  32000

Kiểm tra nhanh

  1. Sau import io, pandas as pd, pd.read_csv(io.StringIO("a,b\n1,2\n3,4,5\n")) báo lỗi gì?

    • Báo lỗi ParserError
    • Báo lỗi TypeError
    • Báo lỗi KeyError
  2. Thông báo Expected 4 fields in line 120, saw 5 cho biết gì?

    • File có 120 cột
    • Tiêu đề có 4 ô, dòng 120 của file có 5 ô
    • Dòng 4 của file có 120 ô
  3. File có 3 dòng chữ trước bảng và dùng dấu chấm phẩy. Lệnh nào đọc đúng?

    • pd.read_csv(f, skiprows=3)
    • pd.read_csv(f, sep=";")
    • pd.read_csv(f, sep=";", skiprows=3)
    • pd.read_csv(f, on_bad_lines="skip")
Đúng hết lần đầu +15 XP

Bài tập

Tìm các dòng lệch cột

Trước khi sửa một file CSV hỏng, bạn muốn biết đủ các dòng lệch thay vì chỉ dòng đầu tiên mà thông báo kể. Viết thân hàm dong_lech(van_ban, sep): van_ban là nội dung file dạng chuỗi, dòng đầu là tiêu đề. Hàm trả về list số thứ tự của các dòng có số ô khác số ô của dòng tiêu đề, đếm từ 1 như thông báo của pandas. Số ô của một dòng là số phần khi tách dòng bằng sep. Không có dòng lệch thì trả list rỗng.

Trả về: các số dòng lệch theo thứ tự trong file, một list.

python
def dong_lech(van_ban, sep):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • Error tokenizing data nghĩa là một dòng có số ô khác số ô của dòng tiêu đề.

  • "Expected" là số ô của tiêu đề, "line" là số dòng trong file đếm từ 1, "saw" là số ô của dòng lệch.

  • Expected 1 fields thường là sai sep hoặc có dòng chữ trước bảng: xem các dòng đầu của file.

  • Bỏ dòng thừa bằng skiprows=, đổi dấu phân cách bằng sep=.

  • Ô chứa dấu phân cách phải nằm trong nháy kép; số kiểu 32,000 cần thêm thousands=",".

  • on_bad_lines="skip" bỏ dòng lệch mà không báo; chỉ dùng khi đã biết các dòng đó là rác.

Câu hỏi thường gặp

Vì sao Excel mở file bình thường mà pandas báo error tokenizing data?

Excel tự đoán dấu phân cách theo cài đặt vùng của máy và không đòi các dòng đều cột. pandas mặc định dùng dấu phẩy và đòi mỗi dòng có đủ số ô như tiêu đề. Bài các tham số của read_csv chỉ cách khai sep, skiprows, decimal cho file xuất từ Excel.

C error và Python error trong thông báo khác gì nhau?

"C error" cho biết lỗi đến từ bộ đọc viết bằng C, bộ mặc định của pandas. Gọi read_csv(..., engine="python") thì thông báo bỏ chữ Error tokenizing data. C error: và chỉ còn Expected 2 fields in line 3, saw 3; nguyên nhân và cách sửa như nhau.

Dòng cuối file là dòng Tổng cộng thì bỏ thế nào?

Đọc xong thì lọc bỏ dòng có tên là "Tổng cộng", hoặc dùng skipfooter=1 kèm engine="python" khi đọc. Dòng tổng nằm trong bảng sẽ làm mọi phép cộng sau đó tính gấp đôi.

Chủ đề

error tokenizing data

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập