read_csv skiprows, header, sep, thousands: đọc file CSV khó
Bài 2/12 · Chương 3
Đọc và ghi dữ liệu
- 8 phút
- Cơ bản
- Python 3.14
- Cập nhật
Trong bài này · 12
Các tham số skiprows, header, sep, thousands của read_csv() giúp pandas đọc file CSV khó: file có dòng tiêu đề thừa ở đầu, cột cách nhau bằng dấu chấm phẩy, số viết kiểu 1.250.000. Bạn cần chúng khi file xuất từ phần mềm kế toán, máy bán hàng hay sao kê ngân hàng mở ra đúng là bảng, nhưng read_csv() mặc định đọc thành một cột hay đọc sai số.
Cần biết trước: read_csv(), định dạng tiền VND và pathlib.
Bỏ dòng tiêu đề thừa bằng skiprows và header
File xuất từ phần mềm thường mở đầu bằng tên báo cáo, tên chi nhánh, rồi mới tới dòng tên cột. Các ví dụ trong bài ghi một file nhỏ bằng Path.write_text() rồi đọc nó ngay trong cùng khối, để bạn thấy mọi dòng của file. skiprows=2 bỏ hai dòng đầu, nên dòng thứ ba thành tên cột:
from pathlib import Path
import pandas as pd
Path("ban_hang.csv").write_text(
"BÁO CÁO BÁN HÀNG THÁNG 11/2025\n"
"Chi nhánh: Huế\n"
"ngay,mon,so_ly\n"
"2025-11-01,Cà phê sữa,42\n"
"2025-11-01,Bạc xỉu,18\n"
"2025-11-02,Trà đào,25\n", encoding="utf-8")
print(pd.read_csv("ban_hang.csv", skiprows=2))KẾT QUẢ
ngay mon so_ly
0 2025-11-01 Cà phê sữa 42
1 2025-11-01 Bạc xỉu 18
2 2025-11-02 Trà đào 25Máy bán hàng có khi xuất file không có dòng tên cột nào. Khi đó header=None báo cho pandas biết dòng đầu đã là dữ liệu, còn names đặt tên cột:
from pathlib import Path
import pandas as pd
Path("may_pos.csv").write_text(
"2025-11-01,Cà phê sữa,42\n"
"2025-11-01,Bạc xỉu,18\n"
"2025-11-02,Trà đào,25\n", encoding="utf-8")
ban = pd.read_csv("may_pos.csv", header=None,
names=["ngay", "mon", "so_ly"])
print(ban)
print(ban["so_ly"].sum())KẾT QUẢ
ngay mon so_ly
0 2025-11-01 Cà phê sữa 42
1 2025-11-01 Bạc xỉu 18
2 2025-11-02 Trà đào 25
85Đọc file dùng dấu chấm phẩy với sep
Excel tiếng Việt và nhiều phần mềm kế toán xuất CSV với dấu ; giữa các cột, vì dấu phẩy đã dùng cho phần thập phân. read_csv() mặc định tách ở dấu phẩy, nên gặp file như vậy nó không tách được gì:
from pathlib import Path
import pandas as pd
Path("ton_kho.csv").write_text(
"ma_mon;ten_mon;so_ly\n"
"CF01;Cà phê sữa;40\n"
"CF02;Bạc xỉu;25\n", encoding="utf-8")
sai = pd.read_csv("ton_kho.csv")
dung = pd.read_csv("ton_kho.csv", sep=";")
print(sai.shape, dung.shape)
print(dung)KẾT QUẢ
(2, 1) (2, 3)
ma_mon ten_mon so_ly
0 CF01 Cà phê sữa 40
1 CF02 Bạc xỉu 25Lần đọc thiếu sep không báo lỗi: mỗi dòng nằm gọn trong một ô của một cột duy nhất. shape có số cột là 1 là dấu hiệu dễ thấy, nên in shape ngay sau mỗi lần đọc một file lạ. Đổi sep=";" thành sep="," rồi chạy lại: dòng đầu in (2, 1) (2, 1), vì lần đọc thứ hai cũng tách sai. Khi một dòng có số ô khác các dòng khác, pandas mới dừng; trang lỗi Error tokenizing data giải thích thông báo đó.
Đọc số kiểu Việt Nam bằng thousands và decimal
File của kế toán viết số theo kiểu Việt Nam: dấu chấm ngăn hàng nghìn (36.250.000), dấu phẩy trước phần thập phân (2,5). Hãy hình dung read_csv() như người nước ngoài đọc hóa đơn Việt Nam: thấy 1.250 là nghĩ "một phẩy hai lăm". thousands="." và decimal="," dạy nó cách đọc của người Việt:
from pathlib import Path
import pandas as pd
Path("hoa_don.csv").write_text(
"mon;so_ly;thanh_tien;giam_gia\n"
"Cà phê sữa;1.250;36.250.000;2,5\n"
"Bạc xỉu;980;31.360.000;0,0\n", encoding="utf-8")
hd = pd.read_csv("hoa_don.csv", sep=";", thousands=".",
decimal=",")
print(hd)
print(hd.dtypes)KẾT QUẢ
mon so_ly thanh_tien giam_gia
0 Cà phê sữa 1250 36250000 2.5
1 Bạc xỉu 980 31360000 0.0
mon str
so_ly int64
thanh_tien int64
giam_gia float64
dtype: objectBốn cột đều đúng kiểu: số lượng và thành tiền là int64, phần trăm giảm là float64. In ra, pandas viết số theo kiểu của nó (2.5), không theo kiểu của file.
Ô ghi chữ và dòng tổng cuối file
Ô trống trong file thật hay được ghi bằng chữ: -, vắng, không rõ. na_values nhận list các chữ đó và đổi chúng thành NaN, ô thiếu của pandas, ngay lúc đọc:
from pathlib import Path
import pandas as pd
Path("diem.csv").write_text(
"ten,diem_giua_ky,diem_cuoi_ky\n"
"Lan,8.5,9\n"
"Minh,vắng,7.5\n"
"Ngọc,6,-\n", encoding="utf-8")
diem = pd.read_csv("diem.csv", na_values=["vắng", "-"])
print(diem)
print(diem.dtypes)KẾT QUẢ
ten diem_giua_ky diem_cuoi_ky
0 Lan 8.5 9.0
1 Minh NaN 7.5
2 Ngọc 6.0 NaN
ten str
diem_giua_ky float64
diem_cuoi_ky float64
dtype: objectKhông có na_values, một chữ vắng đủ làm cả cột thành str. Cách tính trên cột có ô thiếu nằm ở bài dữ liệu thiếu.
Báo cáo kho bao_cao_kho.csv của bộ dữ liệu thực hành còn có dòng Tổng cộng ở cuối. skipfooter=1 bỏ một dòng cuối, và chỉ chạy với engine="python", bộ đọc chậm hơn nhưng làm được việc này:
import pandas as pd
kho = pd.read_csv("bao_cao_kho.csv", sep=";", skiprows=4,
skipfooter=1, engine="python",
thousands=".", decimal=",", na_values="-")
print(kho.shape)
print(kho["Tên hàng"].tail(2).to_list())
print(kho["Nhập trong kỳ"].isna().sum())KẾT QUẢ
(60, 10)
['Khẩu trang vải 5 cái', 'Dầu gió xanh 12ml']
31Bảng có đúng 60 mặt hàng, dòng cuối là một mặt hàng chứ không phải dòng tổng, và 31 mặt hàng không nhập gì trong tháng. Dự án đọc báo cáo tồn kho đi trọn file này từng bước.
Kiểm tra nhanh
File có hai dòng tên báo cáo ở đầu, dòng thứ ba là tên cột, cột cách nhau bằng dấu chấm phẩy. Lệnh nào đọc đúng?
pd.read_csv(ten, skiprows=3, sep=";")pd.read_csv(ten, skiprows=2, sep=";")pd.read_csv(ten, skiprows=2, header=None)
Trong ví dụ đọc ton_kho.csv, lần đọc thiếu sep cho shape nào?
- Python báo lỗi
ValueError (2, 3)(2, 1)(3, 1)
- Python báo lỗi
Những dấu hiệu nào cho thấy một lần đọc đã sai dù read_csv() không báo lỗi?
shapecho thấy bảng chỉ có một cột- Tên cột là một ngày hay một con số
- Cột số lượng có giá trị
1.25khi file ghi1.250 dtypesghiint64cho cột số lượng
File có ô ghi
không rõthay cho ô trống. Tham số nào đổi các ô đó thành NaN khi đọc?skipfooter=["không rõ"]decimal="không rõ"na_values=["không rõ"]
Bài tập
Đọc file sao kê ngân hàng
Ngân hàng xuất sao kê tài khoản thành file CSV: vài dòng tên ngân hàng và kỳ sao kê ở đầu, số dòng này đổi theo ngân hàng. Sau đó là dòng tên cột ngay;mo_ta;ghi_no;ghi_co, các dòng giao dịch, và một dòng Số dư cuối kỳ ở cuối. Cột cách nhau bằng ;, số tiền viết 5.500.000,00, ô không có tiền ghi -.
Viết thân hàm doc_sao_ke(duong_dan, so_dong_dau): so_dong_dau là số dòng đứng trước dòng tên cột. Bảng trả về có bốn cột của file, mỗi giao dịch một dòng (không có dòng số dư), ghi_no và ghi_co là số, ô - thành NaN, index mặc định 0, 1, 2…
Trả về: các giao dịch, một DataFrame.
import pandas as pd
def doc_sao_ke(duong_dan, so_dong_dau):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
skiprows=nbỏndòng đầu file; dòng kế tiếp thành tên cột.File không có dòng tên cột cần
header=Nonevànames=[...], nếu không dòng dữ liệu đầu thành tên cột.sep=";"đọc file dùng dấu chấm phẩy; bảng một cột là dấu hiệu thiếusep.thousands="."vàdecimal=","đọc số kiểu Việt Nam; thiếuthousandsthì1.250thành1.25mà không báo lỗi.na_valuesđổi các chữ như-,vắngthànhNaNngay lúc đọc.skipfooterbỏ dòng tổng cuối file, cầnengine="python"và không đi cùngnrows.
Câu hỏi thường gặp
Đọc CSV bằng pandas read_csv báo UnicodeDecodeError, tham số encoding đặt thế nào?
Lỗi đó nghĩa là file không phải UTF-8, bảng mã mặc định của read_csv(). File xuất từ phần mềm Windows cũ thường là cp1258, file Excel "Unicode Text" là utf-16, nên thử encoding="cp1258" hoặc encoding="utf-16" theo nơi xuất. File UTF-8 có BOM thì pandas tự bỏ BOM. Trang UnicodeDecodeError khi read_csv đi qua từng trường hợp.
Làm sao biết file dùng dấu phân cách nào để đặt sep?
Mở file như văn bản và xem vài dòng đầu, như dự án đọc báo cáo tồn kho làm ở bước 1. Dấu lặp lại đều trên từng dòng là dấu phân cách: ;, tab (sep="\t") hay |. Đọc xong thì in shape: một cột là đặt sai sep.
Khi nào dùng header=None, khi nào dùng skiprows trong pandas read_csv?
skiprows bỏ những dòng không phải dữ liệu nằm trước dòng tên cột. header=None dùng khi file không có dòng tên cột nào, đi cùng names để đặt tên. File vừa có dòng thừa vừa không có tên cột thì dùng cả hai.
Có cách nào đọc cả file Excel lẫn CSV bằng cùng một tham số không?
read_excel() nhận được skiprows, header, names, na_values như read_csv(), nhưng không cần sep, thousands, vì ô Excel đã là số. Bài read_excel() dạy hàm đó, còn bài Blog đọc CSV và Excel bằng pandas đặt hai hàm cạnh nhau.
Chủ đề
Dữ liệu của bài
- Tải xuống
bao_cao_kho.csv
CSV · 4.6 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.