Bỏ qua đến nội dung chính
Mục lục

Regex trong pandas (regex pandas): str.replace, fullmatch

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 12/17 · Chương 6

Làm sạch dữ liệu

  • 5 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Regex trong pandas (regex pandas) là dùng biểu thức chính quy qua accessor .str: .str.replace(regex=True) xóa mọi ký tự khớp một mẫu, .str.fullmatch() kiểm cả chuỗi có đúng định dạng không. Bạn cần nó khi cột số điện thoại có người gõ 0983 669 065, người gõ +84705677584, và bạn muốn đưa tất cả về mười chữ số rồi biết số nào còn sai.

Cần biết trước: accessor .str và regex trong Python.

Bỏ ký tự thừa bằng str.replace(regex=True)

Ở bài accessor .str, bạn thay từng chuỗi một: dấu cách, rồi +84. Regex gom việc đó vào một mẫu. Mẫu \D khớp mọi ký tự không phải chữ số, nên thay nó bằng chuỗi rỗng là giữ lại đúng các chữ số:

python
import pandas as pd

kh = pd.read_csv("khach_hang_tho.csv")
so = kh["sdt"].str.replace(r"\D", "", regex=True)
print(kh["sdt"].iloc[[4, 7]].to_list())
print(so.iloc[[4, 7]].to_list())
print(so.str.len().value_counts())

KẾT QUẢ

['0702060614', '+84705677584']
['0702060614', '84705677584']
sdt
10    346
9      31
11     31
Name: count, dtype: int64

Viết mẫu trong chuỗi thô r"..." để Python không hiểu \D theo kiểu riêng của nó. Sau một lệnh, cột chỉ còn chữ số, với ba độ dài: 10 là số chuẩn, 11 là số còn mã nước 84, 9 là số đã mất 0 đầu.

Neo mẫu ở đầu chuỗi

Số còn mã nước bắt đầu bằng 84. Mẫu ^84 có dấu ^ neo ở đầu chuỗi, nên chỉ thay 84 đứng đầu, không đụng tới 84 nằm giữa số:

python
import pandas as pd

kh = pd.read_csv("khach_hang_tho.csv")
so = kh["sdt"].str.replace(r"\D", "", regex=True)
so = so.str.replace(r"^84", "0", regex=True)
print(so.str.len().value_counts())
print(so[so.str.len() == 9].head(3).to_list())

KẾT QUẢ

sdt
10    377
9      31
Name: count, dtype: int64
['902025201', '389854403', '867484079']

Còn 31 số chín chữ số, là các số đã rơi mất 0 khi ai đó mở file bằng bảng tính. Đổi r"^84" thành r"84" rồi chạy lại: bảng độ dài in 8, vì những số có 84 ở giữa cũng bị thay.

Kiểm định dạng bằng fullmatch() và vá bằng where()

.str.fullmatch(mau) cho True khi cả chuỗi khớp mẫu, từ ký tự đầu đến ký tự cuối. Số di động Việt Nam là 0 theo sau chín chữ số: mẫu 0\d{9}. Mask đó cho biết số nào cần vá. Còn .where(dieu_kien, khac) giữ ô có điều kiện True và thay ô còn lại bằng khac:

python
import pandas as pd

kh = pd.read_csv("khach_hang_tho.csv")
so = (kh["sdt"].str.replace(r"\D", "", regex=True)
      .str.replace(r"^84", "0", regex=True))
hop_le = so.str.fullmatch(r"0\d{9}")
print(hop_le.sum(), so[~hop_le].str.len().unique().tolist())
so = so.where(so.str.len() != 9, "0" + so)
print(so.str.fullmatch(r"0\d{9}").sum())

KẾT QUẢ

377 [9]
408

Trước khi vá, 31 số không khớp và cả 31 đều dài 9. Dòng where đọc là: giữ số nào không dài 9, số dài 9 thì thay bằng "0" nối với chính nó. Sau đó cả 408 số khớp mẫu. Không ghi khac thì ô có điều kiện False thành ô trống; bài tập dưới đây dùng cách đó để bỏ mã sai.

Kiểm tra nhanh

  1. Sau import pandas as pd, print(pd.Series(["SP-0412"]).str.match(r"SP-\d{3}").iloc[0]) in ra gì?

    • True
    • False
    • None
  2. Sau import pandas as pd, print(pd.Series(["SP-0412"]).str.fullmatch(r"SP-\d{3}").iloc[0]) in ra gì?

    • True
    • False
    • None
  3. kh["sdt"].str.replace(r"\D", "") không đổi ô nào. Vì sao?

    • Thiếu regex=True, nên pandas tìm đúng hai ký tự \D
    • Mẫu \D sai, phải viết \d
    • .str.replace() không xóa được ký tự
  4. Những câu nào đúng về where()?

    • s.where(dk) giữ ô có dk là True, ô khác thành trống
    • s.where(dk) xóa các dòng có dk là False
    • s.where(dk, khac) thay ô có dk là False bằng khac
    • where() sửa thẳng Series gốc
Đúng hết lần đầu +15 XP

Bài tập

Giữ mã số thuế hợp lệ

Khách doanh nghiệp tự gõ mã số thuế khi xin hóa đơn: "0101 234 567", "0312.345.678-001", "MST0101". Mã hợp lệ là đúng 10 chữ số, hoặc 10 chữ số nối với dấu gạch ngang và 3 chữ số của chi nhánh. Viết thân hàm mst_hop_le(cot):

  • Bỏ mọi khoảng trắng và dấu chấm trong mã.

  • Mã sau khi bỏ mà đúng định dạng thì giữ, mã khác và ô trống thành trống.

Kết quả giữ index và tên của Series. Hàm không sửa Series của nơi gọi.

Trả về: mã đã làm sạch, một Series.

python
import pandas as pd

def mst_hop_le(cot):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • .str.replace(mau, "", regex=True) xóa mọi chỗ khớp mẫu; \D khớp mọi ký tự không phải chữ số.

  • Trên pandas 3, quên regex=True thì mẫu bị hiểu theo chữ và không thay gì.

  • ^ neo mẫu ở đầu chuỗi: ^84 chỉ thay 84 đứng đầu.

  • .str.fullmatch() kiểm cả chuỗi; .str.match() chỉ kiểm phần đầu.

  • s.where(dk) giữ ô đúng, ô sai thành trống; s.where(dk, khac) thay ô sai bằng khac.

Câu hỏi thường gặp

pandas str.replace với regex khác re.sub() thế nào?

Cùng cú pháp mẫu, vì pandas dùng module re bên dưới. re.sub() làm trên một chuỗi, .str.replace(regex=True) làm trên cả cột và giữ ô trống là NaN. Bài regex trong Python có bảng các ký hiệu như \d, \s, ^.

Lọc các dòng có giá trị khớp một mẫu thế nào?

Dùng mask từ .str.fullmatch() hay .str.contains(mau, regex=True) rồi lọc như mọi mask: df[df["sdt"].str.fullmatch(r"0\d{9}")]. Ô trống cho NaN trong mask, nên ghi thêm na=False, như bài str.contains() dặn.

Muốn lấy một phần của chuỗi theo mẫu thì dùng gì?

Dùng .str.extract() với nhóm bắt trong ngoặc tròn: mỗi nhóm thành một cột. Bài str.extract() lấy diện tích và giá ra khỏi chuỗi "65 m2", "3,2 tỷ".

Chủ đề

regex pandas

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập