pandas to_numeric(): đổi chuỗi tiền 1.250.000đ thành số
Bài 7/17 · Chương 6
Làm sạch dữ liệu
- 6 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 12
Hàm pd.to_numeric() của pandas đổi một cột chuỗi thành số, và với errors="coerce" thì biến ô không đọc được thành NaN thay cho dừng chương trình. Bạn cần nó khi file xuất từ phần mềm bán hàng ghi giá kiểu 195.000đ: pandas đọc cả cột thành chữ, nên không cộng, không so sánh được cho tới khi đổi xong.
Cần biết trước: accessor .str, dtype và astype() và định dạng tiền VND.
Cột tiền bị đọc thành chữ
Bài định dạng tiền VND của tutorial Python đi chiều từ số sang chữ 195.000đ. Làm sạch dữ liệu đi chiều ngược lại. Trong don_hang_tho.csv, phần lớn đơn giá là số trần, nhưng một phần mười số dòng ghi kèm dấu chấm và chữ đ, đủ để pandas đọc cả cột thành str:
import pandas as pd
don = pd.read_csv("don_hang_tho.csv")
print(don["don_gia"].dtype)
print(don["don_gia"].iloc[3:7].to_list())KẾT QUẢ
str
['60000', '78000', '195.000đ', '60000']Ô "60000" trông như số nhưng là chuỗi năm ký tự. Muốn tính tiền, bạn phải đổi cả cột.
Đổi chuỗi thành số bằng pd.to_numeric()
pd.to_numeric(cot) đọc từng ô thành số và tự chọn kiểu: toàn số nguyên thì int64, có số thập phân thì float64. Trên cột còn ký tự lạ, nó dừng ở ô hỏng đầu tiên và báo vị trí. Thêm errors="coerce" thì ô nào không đọc được thành NaN, phần còn lại vẫn đổi:
import pandas as pd
don = pd.read_csv("don_hang_tho.csv")
so = pd.to_numeric(don["don_gia"], errors="coerce")
print(so.dtype, so.isna().sum())
print(don.loc[so.isna(), "don_gia"].head(3).to_list())KẾT QUẢ
float64 154
['195.000đ', '75.000đ', '70.000đ']coerce (ép) có ích để soát: 154 ô không đọc được, và dòng thứ hai cho thấy chúng là loại nào. Kết quả có kiểu float64 vì cột cần chỗ cho NaN. Nhưng nếu dừng ở đây, bạn vứt đi 154 giá thật, chỉ vì chúng có dấu chấm.
Bỏ ký tự tiền bằng str.replace(regex=False)
Cách đúng là làm sạch chuỗi trước rồi mới đổi. Hai lần .str.replace() bỏ dấu chấm ngăn nghìn và chữ đ; regex=False nói rõ dấu chấm ở đây là dấu chấm thật. pandas 3 mặc định đã là regex=False, nhưng ghi ra giúp người đọc code không phải đoán, và an toàn khi code chạy trên bản cũ:
import pandas as pd
don = pd.read_csv("don_hang_tho.csv")
sach = (don["don_gia"]
.str.replace(".", "", regex=False)
.str.replace("đ", "", regex=False))
gia = pd.to_numeric(sach)
print(gia.dtype, gia.isna().sum())
print(f"{gia.max():,}".replace(",", ".") + " đ")KẾT QUẢ
int64 0
890.000 đKhông còn ô nào hỏng, nên to_numeric() cho thẳng int64, không cần coerce. Dòng cuối in giá cao nhất theo cách viết Việt Nam, đúng kiểu bài định dạng tiền VND dạy. Đổi gia.max() thành gia.sum() rồi chạy lại: dòng cuối in 157.797.000 đ, tổng đơn giá của mọi dòng.
Soát ô nhập tay với errors="coerce"
Tài xế tự gõ số km mỗi chuyến giao vào ứng dụng, nên cột quãng đường có ô kèm chữ km, ô bỏ trống, hay số thập phân viết dấu phẩy. errors="coerce" giữ được mọi ô đọc được và chỉ ra ô cần hỏi lại:
import pandas as pd
km = pd.Series(["12", "12km", "", " 7 ", "3,5"])
so = pd.to_numeric(km, errors="coerce")
print(so.to_list())
print(km[so.isna()].to_list())KẾT QUẢ
[12.0, nan, nan, 7.0, nan]
['12km', '', '3,5']" 7 " có dấu cách hai đầu vẫn đọc được. "3,5" thì không: to_numeric() chỉ hiểu dấu chấm thập phân, nên số viết kiểu Việt Nam phải đổi dấu phẩy trước. Dòng thứ hai là danh sách đem đi hỏi lại tài xế, thứ bạn ghi vào nhật ký chất lượng; bài làm sạch dữ liệu với pandas cho thấy nhật ký ấy nằm ở đâu trong cả quy trình.
Kiểm tra nhanh
Sau
import pandas as pd,print(pd.to_numeric(pd.Series(["5", "x", "7"]), errors="coerce").to_list())in ra gì?[5.0, nan, 7.0][5, 7][5.0, 0.0, 7.0]
Sau
import pandas as pd,pd.to_numeric(pd.Series(["5", "x", "7"]))báo lỗi gì?- Báo lỗi
ValueError - Báo lỗi
TypeError - Báo lỗi
KeyError
- Báo lỗi
Vì sao
don["don_gia"].astype("int64")dừng vớiValueError?- Cột có ô trống
- Có ô như
195.000đcòn dấu chấm và chữđ astype()không đổi được cộtstr
Sau
don["don_gia"].str.replace(".", "", regex=True), những câu nào đúng?- Mọi ô thành chuỗi rỗng
- Chỉ dấu chấm bị bỏ
to_numeric(..., errors="coerce")sau đó choNaNở mọi ô- pandas báo lỗi vì dấu chấm không hợp lệ
Bài tập
Đổi giá phòng khách sạn về nghìn đồng
Giá phòng gom từ vài trang đặt phòng ghi lẫn "850.000 VND", "1.200.000VND" và "690000"; vài phòng ghi "Liên hệ", có trang ghi "2,5 triệu". Viết thân hàm gia_theo_nghin(gia) nhận Series giá và trả giá mỗi phòng tính bằng nghìn đồng (850.000 VND thành 850.0).
Bỏ dấu chấm và chữ
VNDtrước khi đổi; ô nào sau đó vẫn không đọc được thành số (kể cả ô ghitriệu) thì thànhNaN.Giữ đủ mọi ô, đúng index và thứ tự của
gia.
Hàm không sửa Series của nơi gọi.
Trả về: giá theo nghìn đồng, một Series.
import pandas as pd
def gia_theo_nghin(gia):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Một ô
195.000đđủ làm pandas đọc cả cột giá thànhstr;astype("int64")dừng vớiValueError.pd.to_numeric(cot)đổi chuỗi thành số, tự chọnint64hayfloat64; ô hỏng làm nó dừng.errors="coerce"đổi ô không đọc được thànhNaN; dùng maskisna()để in các ô đó ra soát.Bỏ ký tự tiền bằng
.str.replace(".", "", regex=False)rồi mớito_numeric().regex=Truevới dấu chấm xóa sạch mọi ô, vì dấu chấm của regex khớp mọi ký tự.
Câu hỏi thường gặp
pd.to_numeric() khác astype(int) thế nào?
astype() đòi mọi ô đọc được và bạn phải chọn kiểu trước. to_numeric() tự chọn kiểu số hợp nhất và có errors="coerce" để giữ chương trình chạy tiếp khi gặp ô hỏng. Cột đã sạch thì hai cách cho cùng kết quả.
Đổi số kiểu Việt Nam 2.345,5 thành số thực thế nào?
Bỏ dấu chấm ngăn nghìn trước, rồi đổi dấu phẩy thành dấu chấm: .str.replace(".", "", regex=False).str.replace(",", ".", regex=False), sau đó to_numeric(). Đọc thẳng từ file thì read_csv(thousands=".", decimal=",") làm cả hai việc, như bài read_csv nâng cao.
Sau errors="coerce" cột số nguyên thành float64, đổi lại int thế nào?
Cột có NaN thì không về int64 được, vì kiểu đó không chứa ô trống. Dùng kiểu Int64 (chữ I hoa) để giữ số nguyên cùng ô thiếu, bài Int64 có ô trống chỉ cách.
Có cách nào bỏ mọi ký tự không phải chữ số trong một lệnh không?
Có, bằng regex: .str.replace(r"\D", "", regex=True) bỏ mọi ký tự không phải chữ số. Cẩn thận với số thập phân, vì lệnh đó bỏ cả dấu phẩy. Bài regex trong pandas dạy mẫu \D.
Chủ đề
Dữ liệu của bài
- Tải xuống
don_hang_tho.csv
CSV · 111.93 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.