Bỏ qua đến nội dung chính
Mục lục

UnicodeDecodeError khi read_csv file tiếng Việt trong pandas

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 8/13 · Chương 10

Giải nghĩa lỗi và cảnh báo

  • 5 phút
  • Cơ bản
  • Python 3.14
  • Cập nhật

Thông báo UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 0: invalid start byte khi read_csv() nghĩa là file không được lưu bằng UTF-8, mã hóa pandas dùng mặc định, nên một dãy byte trong file không đọc được thành chữ. Với file tiếng Việt, nguyên nhân hay gặp là Excel lưu dạng "Unicode Text" (UTF-16) hay phần mềm cũ trên Windows lưu bằng bảng mã cp1258; sửa bằng cách đọc lại với encoding= đúng.

Cần biết trước: đọc file CSV bằng read_csv và mã hóa UTF-8 trong Python.

Bảng tra nhanh: byte trong thông báo và encoding cần dùng

Python gọi lỗi này là UnicodeDecodeError: dãy byte đúng là dữ liệu của file, nhưng không phải UTF-8 hợp lệ. Byte và vị trí trong thông báo là manh mối để đoán file được lưu bằng gì.

Trong thông báo

Thường là

Đọc lại với

byte 0xff in position 0

UTF-16, Excel lưu "Unicode Text"

encoding="utf-16"

byte 0xfe in position 0

UTF-16 thứ tự byte ngược

encoding="utf-16"

byte khác ở giữa file, invalid continuation byte

bảng mã Windows cp1258

encoding="cp1258"

không lỗi, chữ hiện Huế

file UTF-8 bị đọc bằng mã hóa khác

bỏ encoding=, hay "utf-8"

File UTF-16 bắt đầu bằng hai byte ff fe, nên lỗi xảy ra ngay byte đầu tiên:

python
import pandas as pd

kh = pd.read_csv("khach_hang.csv")
kh[["ma_kh", "tinh"]].to_csv("kh_unicode.csv", index=False,
                            encoding="utf-16")
pd.read_csv("kh_unicode.csv")

Dòng cuối của thông báo lỗi:

text
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 0: invalid start byte

Xem các byte đầu của file

Mở file ở chế độ "rb" để đọc byte thô, không giải mã. Vài byte đầu thường đủ để biết mã hóa:

python
import pandas as pd

kh = pd.read_csv("khach_hang.csv")
kh[["ma_kh", "tinh"]].to_csv("kh_unicode.csv", index=False,
                            encoding="utf-16")
with open("kh_unicode.csv", "rb") as f:
    print(f.read(8))
kh2 = pd.read_csv("kh_unicode.csv", encoding="utf-16")
print(kh2.head(3))

KẾT QUẢ

b'\xff\xfem\x00a\x00_\x00'
    ma_kh     tinh
0  KH0001   Hà Nội
1  KH0002  Cần Thơ
2  KH0003   Hà Nội

Hai byte \xff\xfe là dấu hiệu của UTF-16; sau đó mỗi chữ cái tiếng Anh chiếm hai byte (m\x00, a\x00). Với encoding="utf-16", bảng đọc đúng chữ có dấu. Đổi "kh_unicode.csv", encoding="utf-16" thành "kh_unicode.csv", encoding="utf-8" rồi chạy lại: dòng đầu vẫn in b'\xff\xfem\x00a\x00_\x00', sau đó chương trình dừng ở UnicodeDecodeError.

File lưu bằng bảng mã Windows cp1258

Phần mềm kế toán và Excel cũ trên máy Windows tiếng Việt hay lưu CSV bằng cp1258. Ở bảng mã này, chữ à là một byte 0xe0, mà trong UTF-8 byte đó phải có byte khác theo sau:

python
from pathlib import Path
import pandas as pd

noi_dung = "ma_kh,tinh\nKH0001,Cà Mau\nKH0002,Tây Ninh\n"
Path("kh_win.csv").write_text(noi_dung, encoding="cp1258")
pd.read_csv("kh_win.csv")

Dòng cuối của thông báo lỗi:

text
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe0 in position 19: invalid continuation byte

Vị trí 19 là byte thứ 20 của file, đúng chữ à trong "Cà Mau". Đọc lại với bảng mã của file:

python
from pathlib import Path
import pandas as pd

noi_dung = "ma_kh,tinh\nKH0001,Cà Mau\nKH0002,Tây Ninh\n"
Path("kh_win.csv").write_text(noi_dung, encoding="cp1258")
with open("kh_win.csv", "rb") as f:
    print(f.read()[19:20])
print(pd.read_csv("kh_win.csv", encoding="cp1258"))

KẾT QUẢ

b'\xe0'
    ma_kh      tinh
0  KH0001    Cà Mau
1  KH0002  Tây Ninh

Vì cp1258 "đọc được" cả file sai, đừng thử lần lượt các mã hóa cho tới khi hết lỗi. Hết lỗi chưa chắc đã đúng; hãy nhìn chữ có dấu trong bảng.

Kiểm tra nhanh

  1. Sau import pandas as pd, b"\xff\xfeH\x00".decode("utf-8") báo lỗi gì?

    • Báo lỗi UnicodeDecodeError
    • Báo lỗi TypeError
    • Báo lỗi KeyError
  2. Sau import pandas as pd, lệnh print("à".encode("cp1258")) in ra gì?

    • b'\xe0'
    • b'\xc3\xa0'
    • b'a'
  3. Sau khi đọc một file, cột tinh in ra 'Huế'. Điều gì đã xảy ra?

    • File bị hỏng, không đọc lại được
    • File là UTF-8 nhưng được đọc bằng một mã hóa khác
    • File là cp1258 nhưng được đọc bằng UTF-8
Đúng hết lần đầu +15 XP

Bài tập

Đoán mã hóa từ các byte đầu của file

Viết thân hàm doan_ma_hoa(dau_file): dau_file là các byte đầu của một file CSV, kiểu bytes. Trả về tên mã hóa nên dùng cho read_csv() theo thứ tự xét sau:

  • bắt đầu bằng b"\xff\xfe" hay b"\xfe\xff": "utf-16";

  • bắt đầu bằng b"\xef\xbb\xbf": "utf-8-sig";

  • giải mã được bằng UTF-8: "utf-8";

  • còn lại: "cp1258".

Trả về: tên mã hóa, một str.

python
def doan_ma_hoa(dau_file):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • UnicodeDecodeError khi đọc CSV nghĩa là file không lưu bằng UTF-8, mã hóa mặc định của read_csv().

  • byte 0xff in position 0 là file UTF-16: đọc với encoding="utf-16".

  • Byte lạ ở giữa file, invalid continuation byte, thường là cp1258 của Windows.

  • Đọc byte đầu bằng open(..., "rb") để đoán mã hóa trước khi thử.

  • Chữ như Huế là file UTF-8 bị đọc sai mã hóa: không báo lỗi nên phải nhìn chữ có dấu.

Câu hỏi thường gặp

File xuất từ Excel nên lưu dạng nào để pandas đọc dễ nhất?

Chọn "CSV UTF-8 (Comma delimited)". File có BOM ở đầu, read_csv() mặc định đọc được. Bài đọc file CSV bằng read_csv có ví dụ đọc file này, và bài viết đọc CSV và Excel bằng pandas so sánh các dạng lưu.

Có nên dùng encoding="latin-1" cho hết lỗi không?

Không nên: latin-1 đọc được mọi dãy byte nên không bao giờ báo lỗi, nhưng chữ tiếng Việt ra sai hết. Lỗi biến mất mà dữ liệu hỏng, khó thấy hơn lỗi ban đầu.

Lỗi utf-8 codec can't decode byte khi đọc file Excel .xlsx là sao?

File .xlsx là một gói nén nhiều file XML, nên read_csv() không đọc được với bất kỳ mã hóa nào. Dùng pd.read_excel() cho file Excel; mã hóa bên trong file đã được xử lý sẵn.

UTF-8 và UTF-8 có BOM khác gì nhau?

BOM là ba byte ef bb bf ở đầu file, đánh dấu file là UTF-8. Bài mã hóa UTF-8 trong Python giải thích BOM; với read_csv() cả hai dạng đều đọc được mà không cần tham số.

Chủ đề

unicodedecodeerror read csv

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập