Regex trong pandas (regex pandas): str.replace, fullmatch
Bài 12/17 · Chương 6
Làm sạch dữ liệu
- 5 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 10
Regex trong pandas (regex pandas) là dùng biểu thức chính quy qua accessor .str: .str.replace(regex=True) xóa mọi ký tự khớp một mẫu, .str.fullmatch() kiểm cả chuỗi có đúng định dạng không. Bạn cần nó khi cột số điện thoại có người gõ 0983 669 065, người gõ +84705677584, và bạn muốn đưa tất cả về mười chữ số rồi biết số nào còn sai.
Cần biết trước: accessor .str và regex trong Python.
Bỏ ký tự thừa bằng str.replace(regex=True)
Ở bài accessor .str, bạn thay từng chuỗi một: dấu cách, rồi +84. Regex gom việc đó vào một mẫu. Mẫu \D khớp mọi ký tự không phải chữ số, nên thay nó bằng chuỗi rỗng là giữ lại đúng các chữ số:
import pandas as pd
kh = pd.read_csv("khach_hang_tho.csv")
so = kh["sdt"].str.replace(r"\D", "", regex=True)
print(kh["sdt"].iloc[[4, 7]].to_list())
print(so.iloc[[4, 7]].to_list())
print(so.str.len().value_counts())KẾT QUẢ
['0702060614', '+84705677584']
['0702060614', '84705677584']
sdt
10 346
9 31
11 31
Name: count, dtype: int64Viết mẫu trong chuỗi thô r"..." để Python không hiểu \D theo kiểu riêng của nó. Sau một lệnh, cột chỉ còn chữ số, với ba độ dài: 10 là số chuẩn, 11 là số còn mã nước 84, 9 là số đã mất 0 đầu.
Neo mẫu ở đầu chuỗi
Số còn mã nước bắt đầu bằng 84. Mẫu ^84 có dấu ^ neo ở đầu chuỗi, nên chỉ thay 84 đứng đầu, không đụng tới 84 nằm giữa số:
import pandas as pd
kh = pd.read_csv("khach_hang_tho.csv")
so = kh["sdt"].str.replace(r"\D", "", regex=True)
so = so.str.replace(r"^84", "0", regex=True)
print(so.str.len().value_counts())
print(so[so.str.len() == 9].head(3).to_list())KẾT QUẢ
sdt
10 377
9 31
Name: count, dtype: int64
['902025201', '389854403', '867484079']Còn 31 số chín chữ số, là các số đã rơi mất 0 khi ai đó mở file bằng bảng tính. Đổi r"^84" thành r"84" rồi chạy lại: bảng độ dài in 8, vì những số có 84 ở giữa cũng bị thay.
Kiểm định dạng bằng fullmatch() và vá bằng where()
.str.fullmatch(mau) cho True khi cả chuỗi khớp mẫu, từ ký tự đầu đến ký tự cuối. Số di động Việt Nam là 0 theo sau chín chữ số: mẫu 0\d{9}. Mask đó cho biết số nào cần vá. Còn .where(dieu_kien, khac) giữ ô có điều kiện True và thay ô còn lại bằng khac:
import pandas as pd
kh = pd.read_csv("khach_hang_tho.csv")
so = (kh["sdt"].str.replace(r"\D", "", regex=True)
.str.replace(r"^84", "0", regex=True))
hop_le = so.str.fullmatch(r"0\d{9}")
print(hop_le.sum(), so[~hop_le].str.len().unique().tolist())
so = so.where(so.str.len() != 9, "0" + so)
print(so.str.fullmatch(r"0\d{9}").sum())KẾT QUẢ
377 [9]
408Trước khi vá, 31 số không khớp và cả 31 đều dài 9. Dòng where đọc là: giữ số nào không dài 9, số dài 9 thì thay bằng "0" nối với chính nó. Sau đó cả 408 số khớp mẫu. Không ghi khac thì ô có điều kiện False thành ô trống; bài tập dưới đây dùng cách đó để bỏ mã sai.
Kiểm tra nhanh
Sau
import pandas as pd,print(pd.Series(["SP-0412"]).str.match(r"SP-\d{3}").iloc[0])in ra gì?TrueFalseNone
Sau
import pandas as pd,print(pd.Series(["SP-0412"]).str.fullmatch(r"SP-\d{3}").iloc[0])in ra gì?TrueFalseNone
kh["sdt"].str.replace(r"\D", "")không đổi ô nào. Vì sao?- Thiếu
regex=True, nên pandas tìm đúng hai ký tự\D - Mẫu
\Dsai, phải viết\d .str.replace()không xóa được ký tự
- Thiếu
Những câu nào đúng về
where()?s.where(dk)giữ ô códklàTrue, ô khác thành trốngs.where(dk)xóa các dòng códklàFalses.where(dk, khac)thay ô códklàFalsebằngkhacwhere()sửa thẳng Series gốc
Bài tập
Giữ mã số thuế hợp lệ
Khách doanh nghiệp tự gõ mã số thuế khi xin hóa đơn: "0101 234 567", "0312.345.678-001", "MST0101". Mã hợp lệ là đúng 10 chữ số, hoặc 10 chữ số nối với dấu gạch ngang và 3 chữ số của chi nhánh. Viết thân hàm mst_hop_le(cot):
Bỏ mọi khoảng trắng và dấu chấm trong mã.
Mã sau khi bỏ mà đúng định dạng thì giữ, mã khác và ô trống thành trống.
Kết quả giữ index và tên của Series. Hàm không sửa Series của nơi gọi.
Trả về: mã đã làm sạch, một Series.
import pandas as pd
def mst_hop_le(cot):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
.str.replace(mau, "", regex=True)xóa mọi chỗ khớp mẫu;\Dkhớp mọi ký tự không phải chữ số.Trên pandas 3, quên
regex=Truethì mẫu bị hiểu theo chữ và không thay gì.^neo mẫu ở đầu chuỗi:^84chỉ thay84đứng đầu..str.fullmatch()kiểm cả chuỗi;.str.match()chỉ kiểm phần đầu.s.where(dk)giữ ô đúng, ô sai thành trống;s.where(dk, khac)thay ô sai bằngkhac.
Câu hỏi thường gặp
pandas str.replace với regex khác re.sub() thế nào?
Cùng cú pháp mẫu, vì pandas dùng module re bên dưới. re.sub() làm trên một chuỗi, .str.replace(regex=True) làm trên cả cột và giữ ô trống là NaN. Bài regex trong Python có bảng các ký hiệu như \d, \s, ^.
Lọc các dòng có giá trị khớp một mẫu thế nào?
Dùng mask từ .str.fullmatch() hay .str.contains(mau, regex=True) rồi lọc như mọi mask: df[df["sdt"].str.fullmatch(r"0\d{9}")]. Ô trống cho NaN trong mask, nên ghi thêm na=False, như bài str.contains() dặn.
Muốn lấy một phần của chuỗi theo mẫu thì dùng gì?
Dùng .str.extract() với nhóm bắt trong ngoặc tròn: mỗi nhóm thành một cột. Bài str.extract() lấy diện tích và giá ra khỏi chuỗi "65 m2", "3,2 tỷ".
Chủ đề
Dữ liệu của bài
- Tải xuống
khach_hang_tho.csv
CSV · 27.81 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.