str.extract() trong pandas: tách thông tin bằng regex
Bài 13/17 · Chương 6
Làm sạch dữ liệu
- 5 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 10
Phương thức .str.extract() của pandas lấy phần chuỗi khớp các nhóm bắt của một mẫu regex và đặt mỗi nhóm vào một cột (pandas str extract): cách gọn nhất để tách số ra khỏi chữ. Bạn cần nó khi tin rao nhà đất ghi diện tích 73,5 m2 và giá 14,4 tỷ: muốn tính giá mỗi mét vuông, bạn phải có hai con số.
Cần biết trước: regex trong pandas, pd.to_numeric(), regex trong Python và regex nâng cao.
Một nhóm bắt: lấy số ra khỏi chuỗi
Nhóm bắt là phần mẫu đặt trong ngoặc tròn. .str.extract(mau) tìm lần khớp đầu tiên trong từng ô và trả về phần nằm trong ngoặc. Cột dien_tich của nha_dat.csv viết 73,5 m2, 101 m², 63m2; mẫu (\d+(?:,\d+)?) bắt chữ số, có thể kèm dấu phẩy và phần lẻ. Cặp (?:...) là ngoặc chỉ để gom, không bắt:
import pandas as pd
nha = pd.read_csv("nha_dat.csv")
so = nha["dien_tich"].str.extract(r"(\d+(?:,\d+)?)", expand=False)
print(so.head(3).to_list())
m2 = pd.to_numeric(so.str.replace(",", ".", regex=False))
print(m2.isna().sum(), m2.median())KẾT QUẢ
['73,5', '101', '74']
0 74.0expand=False cho kết quả là một Series khi mẫu có đúng một nhóm. Phần còn lại là việc của bài pd.to_numeric(): đổi dấu phẩy thập phân thành dấu chấm rồi đọc số.
Nhiều nhóm bắt thành nhiều cột
Mẫu có hai nhóm thì kết quả là bảng hai cột. Cột gia ghi cả số lẫn đơn vị: 14,4 tỷ, 2.870 triệu. Đặt tên nhóm bằng (?P<ten>...) thì cột mang luôn tên đó:
import pandas as pd
nha = pd.read_csv("nha_dat.csv")
mau = r"(?P<so>[\d.,]+)\s*(?P<don_vi>tỷ|triệu)"
gia = nha["gia"].str.extract(mau)
print(gia.head(3))
print(gia["don_vi"].value_counts(dropna=False))KẾT QUẢ
so don_vi
0 14,4 tỷ
1 6,46 tỷ
2 6,47 tỷ
don_vi
tỷ 1054
triệu 76
NaN 36
Name: count, dtype: int64Ô không khớp mẫu cho NaN ở mọi cột, như 30 tin ghi Thỏa thuận và 6 tin bỏ trống giá. Đổi tỷ|triệu thành tỷ rồi chạy lại: bảng đếm đơn vị in 112 ở dòng NaN, vì các tin ghi giá theo triệu không còn khớp.
Đổi về một đơn vị
Khi đã có hai cột, việc còn lại là phép tính thường. Giá theo triệu viết 2.870 với dấu chấm ngăn nghìn; giá theo tỉ viết 14,4 với dấu phẩy thập phân. Đưa cả hai về tỉ đồng:
import pandas as pd
nha = pd.read_csv("nha_dat.csv")
mau = r"(?P<so>[\d.,]+)\s*(?P<don_vi>tỷ|triệu)"
gia = nha["gia"].str.extract(mau)
so = pd.to_numeric(gia["so"].str.replace(".", "", regex=False)
.str.replace(",", ".", regex=False))
ty = so.where(gia["don_vi"] == "tỷ", so / 1000)
print(ty.head(3).to_list(), ty.isna().sum())
print(round(ty.median(), 2), "tỉ")KẾT QUẢ
[14.4, 6.46, 6.47] 36
5.93 tỉwhere() giữ số ở dòng ghi tỷ, dòng ghi triệu thì thay bằng số chia 1000. Dòng không có giá vẫn là NaN qua mọi bước, nên bạn đếm được chúng ở cuối.
Kiểm tra nhanh
Sau
import pandas as pd,print(type(pd.Series(["3PN"]).str.extract(r"(\d)PN")).__name__)in ra gì?DataFrameSeriesstr
Sau
import pandas as pd,print(pd.Series(["2 tầng, 4PN"]).str.extract(r"(\d) tầng, (\d)PN").shape)in ra gì?(1, 1)(1, 2)(2, 1)
nha["dien_tich"].str.extract(r"\d+")báoValueError. Vì sao?- Cột
dien_tichcó ô trống - Mẫu không có nhóm bắt nào
\d+không phải regex hợp lệ
- Cột
Những câu nào đúng về
.str.extract()?- Ô không khớp mẫu cho
NaN - Ô không khớp mẫu giữ nguyên chuỗi gốc
(?P<ten>...)đặt tên cho cột kết quảextract()lấy mọi lần khớp trong ô
- Ô không khớp mẫu cho
Bài tập
Lấy khối lượng ra khỏi tên sản phẩm
Tên sản phẩm có ghi khối lượng: "Cà phê hạt 1kg", "Trà sen 500g", "Mật ong 1,5kg". Viết thân hàm khoi_luong_gram(ten) nhận Series tên và trả khối lượng tính bằng gram:
Khối lượng là một số, có thể có phần lẻ sau dấu phẩy, theo sau là
ghoặckg, có thể cách một dấu cách.Đơn vị phải đứng riêng:
"Hộp 10 gói"không có khối lượng.Tên không có khối lượng và ô trống cho
NaN.
Kết quả giữ index của ten. Hàm không sửa Series của nơi gọi.
Trả về: khối lượng theo gram, một Series số thực.
import pandas as pd
def khoi_luong_gram(ten):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
.str.extract(mau)trả phần chuỗi trong các nhóm bắt( )của lần khớp đầu tiên, mỗi nhóm một cột.Mặc định kết quả là
DataFrame; một nhóm vớiexpand=FalsechoSeries.Mẫu không có nhóm bắt nào báo
ValueError.(?P<ten>...)đặt tên cột;(?:...)gom mà không bắt; ô không khớp choNaN.Bắt số có phần lẻ bằng
(\d+(?:,\d+)?), rồi đổi dấu phẩy và gọipd.to_numeric().
Câu hỏi thường gặp
pandas extract number from string: lấy mọi con số trong ô thế nào?
.str.extract() chỉ lấy lần khớp đầu. Muốn mọi lần khớp, dùng .str.extractall(r"(\d+)"): kết quả có index hai tầng, tầng hai đánh số lần khớp trong ô. Hay .str.findall(r"\d+") cho mỗi ô một list.
str.extract() khác str.split() thế nào?
str.split() cắt theo dấu ngăn, hợp khi các phần cách nhau đều đặn như năm-tháng-ngày. extract() lấy theo hình dạng của phần cần lấy, hợp khi vị trí của nó thay đổi như số mét vuông nằm đâu đó trong tiêu đề tin rao.
Lấy số phòng ngủ từ tiêu đề "Bán căn hộ 2PN Quận 7" thế nào?
Mẫu (\d+)PN bắt chữ số đứng ngay trước PN: nha["tieu_de"].str.extract(r"(\d+)PN", expand=False). Kết quả là chữ, đổi sang số bằng pd.to_numeric(), rồi sang Int64 nếu muốn giữ số nguyên cùng ô trống.
Chủ đề
Dữ liệu của bài
- Tải xuống
nha_dat.csv
CSV · 130.42 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.