Bỏ qua đến nội dung chính
Mục lục

Thư viện chuẩn Python: xử lý văn bản và dữ liệu nhị phân

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 4/12 · Chương 27

Tra cứu thư viện chuẩn

  • 9 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Thư viện chuẩn của Python có một nhóm module xử lý văn bản và dữ liệu nhị phân: so sánh hai chuỗi, lọc tên theo mẫu, đổi bảng mã, đóng gói số thành byte. Bạn tra trang này khi cần biết việc mình định làm đã có module sẵn chưa, module đó có bài riêng không, và có chạy được ngay trên trang không.

Cần biết trước: Unicode và tiếng Việt, regex nâng cao và bytes và bytearray.

Bảng tra nhanh: module xử lý văn bản và dữ liệu nhị phân

Mỗi hàng là một module, dùng sau import <tên module>. Cột "Trang" cho biết module có chạy được bằng nút Chạy của trang này không, đo trên trình chạy Pyodide 3.14 của trang ngày 15/11/2026.

Module

Làm gì

Ví dụ

Kết quả

Trang

Bài

string

hằng ký tự, Template

string.digits

'0123456789'

chạy

string.Template

re

biểu thức chính quy

re.findall(r"\d+", "3 ly, 12 bánh")

['3', '12']

chạy

regex, regex nâng cao

difflib

so hai chuỗi, gợi ý gần đúng

difflib.get_close_matches("bac xiu", ["bạc xỉu", "bánh mì", "cà phê sữa"])

['bạc xỉu']

chạy

trang này

textwrap

ngắt dòng, rút gọn đoạn văn

textwrap.shorten("Cà phê sữa đá pha phin", 15)

'Cà phê [...]'

chạy

textwrap và pprint

unicodedata

thông tin ký tự Unicode, chuẩn hóa NFC/NFD

len(unicodedata.normalize("NFD", "ế"))

3

chạy

Unicode và tiếng Việt

stringprep

bảng ký tự cho chuẩn tên miền quốc tế

stringprep.in_table_c11(" ")

True

chạy

trang này

struct

đóng số thành byte và ngược lại

struct.pack(">H", 32000)

b'}\x00'

chạy

bytes và bytearray

codecs

bảng mã, bộ giải mã từng phần

codecs.lookup("UTF8").name

'utf-8'

chạy

trang này

gettext

dịch giao diện sang nhiều ngôn ngữ

gettext.gettext("Xin chào")

'Xin chào'

chạy

trang này

locale

quy ước số, ngày theo vùng ngôn ngữ

locale.localeconv()["decimal_point"]

'.'

chạy, nhưng không có dữ liệu vùng

trang này

fnmatch

so tên với mẫu kiểu shell (*.jpg)

fnmatch.filter(["anh-1.jpg", "gia.csv", "anh-2.JPG"], "*.jpg")

['anh-1.jpg']

chạy

trang này

pprint

in dict, list lồng nhau dễ đọc

pprint.pformat({"b": 2, "a": 1})

"{'a': 1, 'b': 2}"

chạy

textwrap và pprint

reprlib

repr() rút gọn cho dữ liệu dài

reprlib.repr(list(range(20)))

'[0, 1, 2, 3, 4, 5, ...]'

chạy

textwrap và pprint

readline

sửa dòng đang gõ trong terminal

—

—

không có

—

Đoạn sau in lại cột kết quả, hàng readline bỏ qua vì trang không có module đó:

python
import string, re, difflib, textwrap, unicodedata, stringprep
import struct, codecs, gettext, locale, fnmatch, pprint, reprlib
print(string.digits, re.findall(r"\d+", "3 ly, 12 bánh"))
menu = ["bạc xỉu", "bánh mì", "cà phê sữa"]
print(difflib.get_close_matches("bac xiu", menu))
print(textwrap.shorten("Cà phê sữa đá pha phin", 15))
nfd = unicodedata.normalize("NFD", "ế")
print(len(nfd), stringprep.in_table_c11(" "))
print(struct.pack(">H", 32000), codecs.lookup("UTF8").name)
dau_cham = locale.localeconv()["decimal_point"]
print(gettext.gettext("Xin chào"), dau_cham)
tep = ["anh-1.jpg", "gia.csv", "anh-2.JPG"]
print(fnmatch.filter(tep, "*.jpg"))
print(pprint.pformat({"b": 2, "a": 1}))
print(reprlib.repr(list(range(20))))

KẾT QUẢ

0123456789 ['3', '12']
['bạc xỉu']
Cà phê [...]
3 True
b'}\x00' utf-8
Xin chào .
['anh-1.jpg']
{'a': 1, 'b': 2}
[0, 1, 2, 3, 4, 5, ...]

Đổi "*.jpg" thành "anh-*" rồi chạy lại: dòng thứ bảy in ['anh-1.jpg', 'anh-2.JPG']. Các module đã có bài riêng chỉ có một hàng ở đây, ví dụ từng bước nằm ở bài của chúng. Lặp lại một mẫu regex nhiều lần thì biên dịch trước, như bài regex nâng cao chỉ. Các mục dưới dành cho sáu module chưa có bài riêng.

So hai chuỗi và gợi ý gần đúng: difflib

Khách gõ "bac xiu" không dấu vào ô tìm món. difflib.get_close_matches(tu, ds) trả về list các chuỗi trong ds đủ giống tu, giống nhất đứng đầu. Độ giống là một số từ 0 tới 1 do SequenceMatcher(...).ratio() tính, và mặc định chỉ nhận từ 0.6 trở lên. unified_diff() in chỗ khác nhau giữa hai bản của một văn bản, như lệnh git diff.

python
import difflib
menu = ["cà phê sữa", "bạc xỉu", "trà đào", "sinh tố bơ"]
print(difflib.get_close_matches("ca phe sua", menu, n=1))
ty_le = difflib.SequenceMatcher(None, "bac xiu", "bạc xỉu").ratio()
print(round(ty_le, 2))
cu = ["cà phê sữa 29000", "bạc xỉu 32000"]
moi = ["cà phê sữa 29000", "bạc xỉu 35000"]
for dong in difflib.unified_diff(cu, moi, "cu", "moi", lineterm=""):
    print(dong)

KẾT QUẢ

['cà phê sữa']
0.71
--- cu
+++ moi
@@ -1,2 +1,2 @@
 cà phê sữa 29000
-bạc xỉu 32000
+bạc xỉu 35000

n=1 chỉ lấy một gợi ý. Dòng mở bằng - là dòng của bản cũ, + là dòng của bản mới, dấu cách là dòng giữ nguyên. Giới hạn: difflib so từng ký tự, không hiểu nghĩa, nên "bac xiu" và "bạc xỉu" chỉ giống 0.71 vì các chữ cái có dấu được tính là ký tự khác.

Lọc tên theo mẫu kiểu shell: fnmatch

Mẫu kiểu shell là cách bạn gõ trong terminal: * khớp mọi đoạn, ? khớp một ký tự, [0-9] khớp một chữ số. fnmatch.filter(ds, mau) giữ các tên khớp, theo đúng thứ tự cũ. fnmatch.fnmatchcase(ten, mau) so một tên và luôn phân biệt hoa thường. Module glob dùng chính các mẫu này để tìm file trên đĩa, bài shutil, glob, tempfile dạy nó.

python
import fnmatch
tep = ["ban-1.txt", "ban-12.txt", "ban-a.txt", "anh-2.JPG"]
print(fnmatch.filter(tep, "ban-?.txt"))
print(fnmatch.filter(tep, "ban-[0-9]*.txt"))
print(fnmatch.fnmatchcase("anh-2.JPG", "*.jpg"))

KẾT QUẢ

['ban-1.txt', 'ban-a.txt']
['ban-1.txt', 'ban-12.txt']
False

Bên trong, fnmatch đổi mẫu thành một biểu thức chính quy rồi so. Giới hạn: fnmatch.fnmatch() và fnmatch.filter() đổi chữ hoa thường theo hệ điều hành, nên trên Windows "anh-2.JPG" khớp "*.jpg", còn trên Linux, macOS và trang này thì không. Muốn kết quả như nhau ở mọi máy thì dùng fnmatchcase().

Bảng mã và giải mã từng phần: codecs

str.encode() và bytes.decode() đủ cho phần lớn việc. codecs thêm hai thứ: tra tên bảng mã ("UTF8", "utf_8" đều là utf-8), và bộ giải mã từng phần cho dữ liệu đến theo từng khúc, như đọc từ mạng, khi một chữ có dấu bị cắt đôi giữa hai khúc.

python
import codecs
khuc = "Huế".encode("utf-8")
print(khuc, codecs.lookup("utf_8").name)
print(khuc[:3].decode("utf-8", errors="replace"))
giai_ma = codecs.getincrementaldecoder("utf-8")()
print(giai_ma.decode(khuc[:3]), giai_ma.decode(khuc[3:]))
print(codecs.BOM_UTF8)

KẾT QUẢ

b'Hu\xe1\xba\xbf' utf-8
Hu�
Hu ế
b'\xef\xbb\xbf'

Giải mã thẳng khúc đầu thì chữ ế bị cắt thành ký tự thay thế �. Bộ giải mã từng phần giữ lại byte còn dở và trả đủ chữ ế ở khúc sau. BOM_UTF8 là ba byte mà Excel trên Windows hay đặt ở đầu file CSV, bài encoding và UTF-8 nói cách đọc file như vậy.

Vùng ngôn ngữ và bản dịch: locale, gettext, stringprep

locale đọc quy ước của một vùng ngôn ngữ cài trên máy: dấu thập phân, dấu nhóm hàng nghìn, thứ tự xếp chữ. Nó phụ thuộc máy: Docker image python:3.14-slim không cài vùng vi_VN, nên đặt vùng báo lỗi. Trình chạy của trang thì nhận mọi tên vùng nhưng không có dữ liệu nào, nên khối dưới đây không có nút Chạy; kết quả là của Docker image python:3.14-slim:

python
import locale
try:
    locale.setlocale(locale.LC_ALL, "vi_VN.UTF-8")
    print("Đã đặt vùng vi_VN")
except locale.Error as loi:
    print("Không đặt được vùng:", loi)
print(locale.localeconv()["decimal_point"])

KẾT QUẢ

Không đặt được vùng: unsupported locale setting
.

Chạy trên máy của bạn · Đoạn này cần Python cài trên máy, trang không chạy được.

Vì vậy hai bài sắp xếp tiếng Việt và định dạng tiền VND dùng hàm tự viết, cho cùng kết quả trên máy nào cũng vậy. gettext tra câu dịch trong các file .mo theo ngôn ngữ. Không có file thì fallback=True trả về bản không dịch:

python
import gettext
ban_dich = gettext.translation("cua_hang", localedir="locale",
                               languages=["vi"], fallback=True)
_ = ban_dich.gettext
print(type(ban_dich).__name__)
print(_("Thank you for your order"))

KẾT QUẢ

NullTranslations
Thank you for your order

NullTranslations trả lại đúng câu gốc. stringprep chỉ chứa các bảng ký tự mà chuẩn tên miền quốc tế cần, như hàng in_table_c11() của bảng tra nhanh, nên code ứng dụng hiếm khi gọi nó trực tiếp.

Kiểm tra nhanh

  1. Sau import fnmatch, fnmatch.fnmatch("menu.pdf", ".*pdf") trả về gì?

    • False
    • True
    • Báo lỗi ValueError
  2. Những việc nào làm được bằng module của bảng tra nhanh, ngay trên trang này?

    • Gợi ý tên món gần đúng khi khách gõ sai
    • Sửa dòng đang gõ trong terminal bằng phím mũi tên lên
    • Lọc các tên file khớp mẫu *.jpg
    • Ghép lại một chữ có dấu bị cắt giữa hai khúc byte
  3. Sau import difflib, difflib.get_close_matches("tra dao", ["trà đào", "cà phê"]) trả về gì?

    • ['trà đào']
    • []
    • ['trà đào', 'cà phê']
Đúng hết lần đầu +15 XP

Bài tập

Viết hàm gợi ý món và lọc tên file

Viết thân hai hàm, mỗi hàm cần đúng một module của trang, bạn tự chọn:

  • goi_y_mon(tu_go, menu): tên món trong menu giống tu_go nhất, theo cách đo độ giống từ 0 tới 1 của trang với ngưỡng mặc định 0.6. Không món nào đạt ngưỡng thì trả về "".

  • loc_file(cac_ten, mau): list các tên trong cac_ten khớp mẫu kiểu shell mau (như "*.jpg"), giữ thứ tự cũ, phân biệt hoa thường. Không sửa cac_ten.

Trả về: goi_y_mon trả về một str, loc_file trả về một list.

python
import difflib
import fnmatch


def goi_y_mon(tu_go, menu):
    pass  # Viết thân hàm thay cho dòng này


def loc_file(cac_ten, mau):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • Thư viện chuẩn có sẵn module cho văn bản: difflib so chuỗi, fnmatch lọc tên, codecs xử lý bảng mã.

  • get_close_matches() chỉ nhận chuỗi có độ giống từ 0.6, nên gõ không dấu có thể không ra gợi ý.

  • Mẫu của fnmatch là mẫu shell (*.pdf), khác biểu thức chính quy; fnmatchcase() luôn phân biệt hoa thường.

  • Bộ giải mã từng phần của codecs ghép lại chữ có dấu bị cắt giữa hai khúc byte.

  • locale phụ thuộc vùng ngôn ngữ cài trên máy, còn trang này không có dữ liệu vùng và không có readline.

Câu hỏi thường gặp

Thư viện xử lý văn bản trong Python có tự bỏ dấu tiếng Việt không?

Không có hàm nào làm sẵn. Cách thường dùng là unicodedata.normalize("NFD", chuoi) để tách dấu ra thành ký tự riêng, rồi bỏ các ký tự dấu đó, và đổi riêng đ thành d. Bài Unicode và tiếng Việt có từng bước của cách làm này.

Dùng textwrap hay difflib khi cần so sánh hai đoạn văn?

difflib. textwrap chỉ ngắt dòng và rút gọn một đoạn văn, không so gì. difflib.unified_diff() in các dòng khác nhau giữa hai bản, còn SequenceMatcher(...).ratio() cho một con số độ giống. Ngắt dòng cho đẹp trước khi in có ở bài textwrap và pprint.

Module xử lý văn bản nào đọc được file PDF hay Word?

Không module nào trong thư viện chuẩn. PDF và Word là định dạng nhị phân phức tạp, cần thư viện bên ngoài như pypdf hay python-docx, cài bằng python -m pip install pypdf. Thư viện chuẩn chỉ xử lý văn bản thuần, như file .txt, .csv, và byte thô qua struct.

Chủ đề

thư viện xử lý văn bản python

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập