Thư viện chuẩn Python: xử lý văn bản và dữ liệu nhị phân
Bài 4/12 · Chương 27
Tra cứu thư viện chuẩn
- 9 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 12
Thư viện chuẩn của Python có một nhóm module xử lý văn bản và dữ liệu nhị phân: so sánh hai chuỗi, lọc tên theo mẫu, đổi bảng mã, đóng gói số thành byte. Bạn tra trang này khi cần biết việc mình định làm đã có module sẵn chưa, module đó có bài riêng không, và có chạy được ngay trên trang không.
Cần biết trước: Unicode và tiếng Việt, regex nâng cao và bytes và bytearray.
Bảng tra nhanh: module xử lý văn bản và dữ liệu nhị phân
Mỗi hàng là một module, dùng sau import <tên module>. Cột "Trang" cho biết module có chạy được bằng nút Chạy của trang này không, đo trên trình chạy Pyodide 3.14 của trang ngày 15/11/2026.
Module | Làm gì | Ví dụ | Kết quả | Trang | Bài |
|---|---|---|---|---|---|
| hằng ký tự, |
|
| chạy | |
| biểu thức chính quy |
|
| chạy | |
| so hai chuỗi, gợi ý gần đúng |
|
| chạy | trang này |
| ngắt dòng, rút gọn đoạn văn |
|
| chạy | |
| thông tin ký tự Unicode, chuẩn hóa NFC/NFD |
|
| chạy | |
| bảng ký tự cho chuẩn tên miền quốc tế |
|
| chạy | trang này |
| đóng số thành byte và ngược lại |
|
| chạy | |
| bảng mã, bộ giải mã từng phần |
|
| chạy | trang này |
| dịch giao diện sang nhiều ngôn ngữ |
|
| chạy | trang này |
| quy ước số, ngày theo vùng ngôn ngữ |
|
| chạy, nhưng không có dữ liệu vùng | trang này |
| so tên với mẫu kiểu shell ( |
|
| chạy | trang này |
| in dict, list lồng nhau dễ đọc |
|
| chạy | |
|
|
|
| chạy | |
| sửa dòng đang gõ trong terminal | — | — | không có | — |
Đoạn sau in lại cột kết quả, hàng readline bỏ qua vì trang không có module đó:
import string, re, difflib, textwrap, unicodedata, stringprep
import struct, codecs, gettext, locale, fnmatch, pprint, reprlib
print(string.digits, re.findall(r"\d+", "3 ly, 12 bánh"))
menu = ["bạc xỉu", "bánh mì", "cà phê sữa"]
print(difflib.get_close_matches("bac xiu", menu))
print(textwrap.shorten("Cà phê sữa đá pha phin", 15))
nfd = unicodedata.normalize("NFD", "ế")
print(len(nfd), stringprep.in_table_c11(" "))
print(struct.pack(">H", 32000), codecs.lookup("UTF8").name)
dau_cham = locale.localeconv()["decimal_point"]
print(gettext.gettext("Xin chào"), dau_cham)
tep = ["anh-1.jpg", "gia.csv", "anh-2.JPG"]
print(fnmatch.filter(tep, "*.jpg"))
print(pprint.pformat({"b": 2, "a": 1}))
print(reprlib.repr(list(range(20))))KẾT QUẢ
0123456789 ['3', '12']
['bạc xỉu']
Cà phê [...]
3 True
b'}\x00' utf-8
Xin chào .
['anh-1.jpg']
{'a': 1, 'b': 2}
[0, 1, 2, 3, 4, 5, ...]Đổi "*.jpg" thành "anh-*" rồi chạy lại: dòng thứ bảy in ['anh-1.jpg', 'anh-2.JPG']. Các module đã có bài riêng chỉ có một hàng ở đây, ví dụ từng bước nằm ở bài của chúng. Lặp lại một mẫu regex nhiều lần thì biên dịch trước, như bài regex nâng cao chỉ. Các mục dưới dành cho sáu module chưa có bài riêng.
So hai chuỗi và gợi ý gần đúng: difflib
Khách gõ "bac xiu" không dấu vào ô tìm món. difflib.get_close_matches(tu, ds) trả về list các chuỗi trong ds đủ giống tu, giống nhất đứng đầu. Độ giống là một số từ 0 tới 1 do SequenceMatcher(...).ratio() tính, và mặc định chỉ nhận từ 0.6 trở lên. unified_diff() in chỗ khác nhau giữa hai bản của một văn bản, như lệnh git diff.
import difflib
menu = ["cà phê sữa", "bạc xỉu", "trà đào", "sinh tố bơ"]
print(difflib.get_close_matches("ca phe sua", menu, n=1))
ty_le = difflib.SequenceMatcher(None, "bac xiu", "bạc xỉu").ratio()
print(round(ty_le, 2))
cu = ["cà phê sữa 29000", "bạc xỉu 32000"]
moi = ["cà phê sữa 29000", "bạc xỉu 35000"]
for dong in difflib.unified_diff(cu, moi, "cu", "moi", lineterm=""):
print(dong)KẾT QUẢ
['cà phê sữa']
0.71
--- cu
+++ moi
@@ -1,2 +1,2 @@
cà phê sữa 29000
-bạc xỉu 32000
+bạc xỉu 35000n=1 chỉ lấy một gợi ý. Dòng mở bằng - là dòng của bản cũ, + là dòng của bản mới, dấu cách là dòng giữ nguyên. Giới hạn: difflib so từng ký tự, không hiểu nghĩa, nên "bac xiu" và "bạc xỉu" chỉ giống 0.71 vì các chữ cái có dấu được tính là ký tự khác.
Lọc tên theo mẫu kiểu shell: fnmatch
Mẫu kiểu shell là cách bạn gõ trong terminal: * khớp mọi đoạn, ? khớp một ký tự, [0-9] khớp một chữ số. fnmatch.filter(ds, mau) giữ các tên khớp, theo đúng thứ tự cũ. fnmatch.fnmatchcase(ten, mau) so một tên và luôn phân biệt hoa thường. Module glob dùng chính các mẫu này để tìm file trên đĩa, bài shutil, glob, tempfile dạy nó.
import fnmatch
tep = ["ban-1.txt", "ban-12.txt", "ban-a.txt", "anh-2.JPG"]
print(fnmatch.filter(tep, "ban-?.txt"))
print(fnmatch.filter(tep, "ban-[0-9]*.txt"))
print(fnmatch.fnmatchcase("anh-2.JPG", "*.jpg"))KẾT QUẢ
['ban-1.txt', 'ban-a.txt']
['ban-1.txt', 'ban-12.txt']
FalseBên trong, fnmatch đổi mẫu thành một biểu thức chính quy rồi so. Giới hạn: fnmatch.fnmatch() và fnmatch.filter() đổi chữ hoa thường theo hệ điều hành, nên trên Windows "anh-2.JPG" khớp "*.jpg", còn trên Linux, macOS và trang này thì không. Muốn kết quả như nhau ở mọi máy thì dùng fnmatchcase().
Bảng mã và giải mã từng phần: codecs
str.encode() và bytes.decode() đủ cho phần lớn việc. codecs thêm hai thứ: tra tên bảng mã ("UTF8", "utf_8" đều là utf-8), và bộ giải mã từng phần cho dữ liệu đến theo từng khúc, như đọc từ mạng, khi một chữ có dấu bị cắt đôi giữa hai khúc.
import codecs
khuc = "Huế".encode("utf-8")
print(khuc, codecs.lookup("utf_8").name)
print(khuc[:3].decode("utf-8", errors="replace"))
giai_ma = codecs.getincrementaldecoder("utf-8")()
print(giai_ma.decode(khuc[:3]), giai_ma.decode(khuc[3:]))
print(codecs.BOM_UTF8)KẾT QUẢ
b'Hu\xe1\xba\xbf' utf-8
Hu�
Hu ế
b'\xef\xbb\xbf'Giải mã thẳng khúc đầu thì chữ ế bị cắt thành ký tự thay thế �. Bộ giải mã từng phần giữ lại byte còn dở và trả đủ chữ ế ở khúc sau. BOM_UTF8 là ba byte mà Excel trên Windows hay đặt ở đầu file CSV, bài encoding và UTF-8 nói cách đọc file như vậy.
Vùng ngôn ngữ và bản dịch: locale, gettext, stringprep
locale đọc quy ước của một vùng ngôn ngữ cài trên máy: dấu thập phân, dấu nhóm hàng nghìn, thứ tự xếp chữ. Nó phụ thuộc máy: Docker image python:3.14-slim không cài vùng vi_VN, nên đặt vùng báo lỗi. Trình chạy của trang thì nhận mọi tên vùng nhưng không có dữ liệu nào, nên khối dưới đây không có nút Chạy; kết quả là của Docker image python:3.14-slim:
import locale
try:
locale.setlocale(locale.LC_ALL, "vi_VN.UTF-8")
print("Đã đặt vùng vi_VN")
except locale.Error as loi:
print("Không đặt được vùng:", loi)
print(locale.localeconv()["decimal_point"])KẾT QUẢ
Không đặt được vùng: unsupported locale setting
.Chạy trên máy của bạn · Đoạn này cần Python cài trên máy, trang không chạy được.
Vì vậy hai bài sắp xếp tiếng Việt và định dạng tiền VND dùng hàm tự viết, cho cùng kết quả trên máy nào cũng vậy. gettext tra câu dịch trong các file .mo theo ngôn ngữ. Không có file thì fallback=True trả về bản không dịch:
import gettext
ban_dich = gettext.translation("cua_hang", localedir="locale",
languages=["vi"], fallback=True)
_ = ban_dich.gettext
print(type(ban_dich).__name__)
print(_("Thank you for your order"))KẾT QUẢ
NullTranslations
Thank you for your orderNullTranslations trả lại đúng câu gốc. stringprep chỉ chứa các bảng ký tự mà chuẩn tên miền quốc tế cần, như hàng in_table_c11() của bảng tra nhanh, nên code ứng dụng hiếm khi gọi nó trực tiếp.
Kiểm tra nhanh
Sau
import fnmatch,fnmatch.fnmatch("menu.pdf", ".*pdf")trả về gì?FalseTrue- Báo lỗi
ValueError
Những việc nào làm được bằng module của bảng tra nhanh, ngay trên trang này?
- Gợi ý tên món gần đúng khi khách gõ sai
- Sửa dòng đang gõ trong terminal bằng phím mũi tên lên
- Lọc các tên file khớp mẫu
*.jpg - Ghép lại một chữ có dấu bị cắt giữa hai khúc byte
Sau
import difflib,difflib.get_close_matches("tra dao", ["trà đào", "cà phê"])trả về gì?['trà đào'][]['trà đào', 'cà phê']
Bài tập
Viết hàm gợi ý món và lọc tên file
Viết thân hai hàm, mỗi hàm cần đúng một module của trang, bạn tự chọn:
goi_y_mon(tu_go, menu): tên món trongmenugiốngtu_gonhất, theo cách đo độ giống từ0tới1của trang với ngưỡng mặc định0.6. Không món nào đạt ngưỡng thì trả về"".loc_file(cac_ten, mau): list các tên trongcac_tenkhớp mẫu kiểu shellmau(như"*.jpg"), giữ thứ tự cũ, phân biệt hoa thường. Không sửacac_ten.
Trả về: goi_y_mon trả về một str, loc_file trả về một list.
import difflib
import fnmatch
def goi_y_mon(tu_go, menu):
pass # Viết thân hàm thay cho dòng này
def loc_file(cac_ten, mau):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Thư viện chuẩn có sẵn module cho văn bản:
difflibso chuỗi,fnmatchlọc tên,codecsxử lý bảng mã.get_close_matches()chỉ nhận chuỗi có độ giống từ0.6, nên gõ không dấu có thể không ra gợi ý.Mẫu của
fnmatchlà mẫu shell (*.pdf), khác biểu thức chính quy;fnmatchcase()luôn phân biệt hoa thường.Bộ giải mã từng phần của
codecsghép lại chữ có dấu bị cắt giữa hai khúc byte.localephụ thuộc vùng ngôn ngữ cài trên máy, còn trang này không có dữ liệu vùng và không córeadline.
Câu hỏi thường gặp
Thư viện xử lý văn bản trong Python có tự bỏ dấu tiếng Việt không?
Không có hàm nào làm sẵn. Cách thường dùng là unicodedata.normalize("NFD", chuoi) để tách dấu ra thành ký tự riêng, rồi bỏ các ký tự dấu đó, và đổi riêng đ thành d. Bài Unicode và tiếng Việt có từng bước của cách làm này.
Dùng textwrap hay difflib khi cần so sánh hai đoạn văn?
difflib. textwrap chỉ ngắt dòng và rút gọn một đoạn văn, không so gì. difflib.unified_diff() in các dòng khác nhau giữa hai bản, còn SequenceMatcher(...).ratio() cho một con số độ giống. Ngắt dòng cho đẹp trước khi in có ở bài textwrap và pprint.
Module xử lý văn bản nào đọc được file PDF hay Word?
Không module nào trong thư viện chuẩn. PDF và Word là định dạng nhị phân phức tạp, cần thư viện bên ngoài như pypdf hay python-docx, cài bằng python -m pip install pypdf. Thư viện chuẩn chỉ xử lý văn bản thuần, như file .txt, .csv, và byte thô qua struct.
Chủ đề
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.