UnicodeDecodeError khi read_csv file tiếng Việt trong pandas
Bài 8/13 · Chương 10
Giải nghĩa lỗi và cảnh báo
- 5 phút
- Cơ bản
- Python 3.14
- Cập nhật
Trong bài này · 11
Thông báo UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 0: invalid start byte khi read_csv() nghĩa là file không được lưu bằng UTF-8, mã hóa pandas dùng mặc định, nên một dãy byte trong file không đọc được thành chữ. Với file tiếng Việt, nguyên nhân hay gặp là Excel lưu dạng "Unicode Text" (UTF-16) hay phần mềm cũ trên Windows lưu bằng bảng mã cp1258; sửa bằng cách đọc lại với encoding= đúng.
Cần biết trước: đọc file CSV bằng read_csv và mã hóa UTF-8 trong Python.
Bảng tra nhanh: byte trong thông báo và encoding cần dùng
Python gọi lỗi này là UnicodeDecodeError: dãy byte đúng là dữ liệu của file, nhưng không phải UTF-8 hợp lệ. Byte và vị trí trong thông báo là manh mối để đoán file được lưu bằng gì.
Trong thông báo | Thường là | Đọc lại với |
|---|---|---|
| UTF-16, Excel lưu "Unicode Text" |
|
| UTF-16 thứ tự byte ngược |
|
byte khác ở giữa file, | bảng mã Windows |
|
không lỗi, chữ hiện | file UTF-8 bị đọc bằng mã hóa khác | bỏ |
File UTF-16 bắt đầu bằng hai byte ff fe, nên lỗi xảy ra ngay byte đầu tiên:
import pandas as pd
kh = pd.read_csv("khach_hang.csv")
kh[["ma_kh", "tinh"]].to_csv("kh_unicode.csv", index=False,
encoding="utf-16")
pd.read_csv("kh_unicode.csv")
Dòng cuối của thông báo lỗi:
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 0: invalid start byte
Xem các byte đầu của file
Mở file ở chế độ "rb" để đọc byte thô, không giải mã. Vài byte đầu thường đủ để biết mã hóa:
import pandas as pd
kh = pd.read_csv("khach_hang.csv")
kh[["ma_kh", "tinh"]].to_csv("kh_unicode.csv", index=False,
encoding="utf-16")
with open("kh_unicode.csv", "rb") as f:
print(f.read(8))
kh2 = pd.read_csv("kh_unicode.csv", encoding="utf-16")
print(kh2.head(3))KẾT QUẢ
b'\xff\xfem\x00a\x00_\x00'
ma_kh tinh
0 KH0001 Hà Nội
1 KH0002 Cần Thơ
2 KH0003 Hà NộiHai byte \xff\xfe là dấu hiệu của UTF-16; sau đó mỗi chữ cái tiếng Anh chiếm hai byte (m\x00, a\x00). Với encoding="utf-16", bảng đọc đúng chữ có dấu. Đổi "kh_unicode.csv", encoding="utf-16" thành "kh_unicode.csv", encoding="utf-8" rồi chạy lại: dòng đầu vẫn in b'\xff\xfem\x00a\x00_\x00', sau đó chương trình dừng ở UnicodeDecodeError.
File lưu bằng bảng mã Windows cp1258
Phần mềm kế toán và Excel cũ trên máy Windows tiếng Việt hay lưu CSV bằng cp1258. Ở bảng mã này, chữ à là một byte 0xe0, mà trong UTF-8 byte đó phải có byte khác theo sau:
from pathlib import Path
import pandas as pd
noi_dung = "ma_kh,tinh\nKH0001,Cà Mau\nKH0002,Tây Ninh\n"
Path("kh_win.csv").write_text(noi_dung, encoding="cp1258")
pd.read_csv("kh_win.csv")
Dòng cuối của thông báo lỗi:
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe0 in position 19: invalid continuation byte
Vị trí 19 là byte thứ 20 của file, đúng chữ à trong "Cà Mau". Đọc lại với bảng mã của file:
from pathlib import Path
import pandas as pd
noi_dung = "ma_kh,tinh\nKH0001,Cà Mau\nKH0002,Tây Ninh\n"
Path("kh_win.csv").write_text(noi_dung, encoding="cp1258")
with open("kh_win.csv", "rb") as f:
print(f.read()[19:20])
print(pd.read_csv("kh_win.csv", encoding="cp1258"))KẾT QUẢ
b'\xe0'
ma_kh tinh
0 KH0001 Cà Mau
1 KH0002 Tây NinhVì cp1258 "đọc được" cả file sai, đừng thử lần lượt các mã hóa cho tới khi hết lỗi. Hết lỗi chưa chắc đã đúng; hãy nhìn chữ có dấu trong bảng.
Kiểm tra nhanh
Sau
import pandas as pd,b"\xff\xfeH\x00".decode("utf-8")báo lỗi gì?- Báo lỗi
UnicodeDecodeError - Báo lỗi
TypeError - Báo lỗi
KeyError
- Báo lỗi
Sau
import pandas as pd, lệnhprint("à".encode("cp1258"))in ra gì?b'\xe0'b'\xc3\xa0'b'a'
Sau khi đọc một file, cột
tinhin ra'Huế'. Điều gì đã xảy ra?- File bị hỏng, không đọc lại được
- File là UTF-8 nhưng được đọc bằng một mã hóa khác
- File là cp1258 nhưng được đọc bằng UTF-8
Bài tập
Đoán mã hóa từ các byte đầu của file
Viết thân hàm doan_ma_hoa(dau_file): dau_file là các byte đầu của một file CSV, kiểu bytes. Trả về tên mã hóa nên dùng cho read_csv() theo thứ tự xét sau:
bắt đầu bằng
b"\xff\xfe"hayb"\xfe\xff":"utf-16";bắt đầu bằng
b"\xef\xbb\xbf":"utf-8-sig";giải mã được bằng UTF-8:
"utf-8";còn lại:
"cp1258".
Trả về: tên mã hóa, một str.
def doan_ma_hoa(dau_file):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
UnicodeDecodeError khi đọc CSV nghĩa là file không lưu bằng UTF-8, mã hóa mặc định của
read_csv().byte 0xff in position 0là file UTF-16: đọc vớiencoding="utf-16".Byte lạ ở giữa file,
invalid continuation byte, thường làcp1258của Windows.Đọc byte đầu bằng
open(..., "rb")để đoán mã hóa trước khi thử.Chữ như
Huếlà file UTF-8 bị đọc sai mã hóa: không báo lỗi nên phải nhìn chữ có dấu.
Câu hỏi thường gặp
File xuất từ Excel nên lưu dạng nào để pandas đọc dễ nhất?
Chọn "CSV UTF-8 (Comma delimited)". File có BOM ở đầu, read_csv() mặc định đọc được. Bài đọc file CSV bằng read_csv có ví dụ đọc file này, và bài viết đọc CSV và Excel bằng pandas so sánh các dạng lưu.
Có nên dùng encoding="latin-1" cho hết lỗi không?
Không nên: latin-1 đọc được mọi dãy byte nên không bao giờ báo lỗi, nhưng chữ tiếng Việt ra sai hết. Lỗi biến mất mà dữ liệu hỏng, khó thấy hơn lỗi ban đầu.
Lỗi utf-8 codec can't decode byte khi đọc file Excel .xlsx là sao?
File .xlsx là một gói nén nhiều file XML, nên read_csv() không đọc được với bất kỳ mã hóa nào. Dùng pd.read_excel() cho file Excel; mã hóa bên trong file đã được xử lý sẵn.
UTF-8 và UTF-8 có BOM khác gì nhau?
BOM là ba byte ef bb bf ở đầu file, đánh dấu file là UTF-8. Bài mã hóa UTF-8 trong Python giải thích BOM; với read_csv() cả hai dạng đều đọc được mà không cần tham số.
Chủ đề
Dữ liệu của bài
- Tải xuống
khach_hang.csv
CSV · 22.97 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.