Unicode và tiếng Việt có dấu trong Python: ord(), chr(), NFC
Bài 1/4 · Chương 12
Python với dữ liệu Việt Nam
- 7 phút
- Cơ bản
- Python 3.14
- Cập nhật
Trong bài này · 12
Unicode trong Python là cách mỗi ký tự, kể cả chữ có dấu như ầ, mang một số riêng gọi là điểm mã, và chuỗi str là một dãy các điểm mã đó. Bạn cần hiểu điều này khi hai họ tên trông giống hệt nhau mà Python lại nói chúng khác, chẳng hạn tên chép từ một file PDF không khớp với tên bạn gõ.
Cần biết trước: import và module, phương thức chuỗi và mã hóa UTF-8.
Ký tự và điểm mã: ord() và chr()
Bảng Unicode đánh số cho các ký tự của hầu hết chữ viết trên thế giới. Số của một ký tự là điểm mã (code point). Hàm ord() cho điểm mã của một ký tự, hàm chr() làm ngược lại.
print(ord("H"), ord("à"), ord("ầ"))
print(chr(72) + chr(224))KẾT QUẢ
72 224 7847
Hàord() nhận đúng một ký tự và trả về một số nguyên. Tài liệu Unicode viết điểm mã ở hệ mười sáu kèm tiền tố U+: ầ là U+1EA7, tức 7847. Điểm mã là số của ký tự, còn UTF-8 là cách ghi số đó thành các byte khi lưu file, việc của bài mã hóa UTF-8. Đổi "ầ" thành "ấ" rồi chạy lại: số cuối của dòng đầu in 7845.
Một chữ, hai cách viết: NFC và NFD
Chữ ầ có hai cách ghi trong Unicode. Cách dựng sẵn dùng một điểm mã. Cách tổ hợp dùng ba: chữ cái a, rồi dấu mũ, rồi dấu huyền, mỗi dấu là một ký tự riêng đứng sau chữ cái.
dung_san = chr(7847)
to_hop = chr(97) + chr(770) + chr(768)
print(dung_san, to_hop)
print(len(dung_san), len(to_hop))KẾT QUẢ
ầ ầ
1 3Màn hình vẽ hai chuỗi y hệt nhau, như hai hộp quà gói khác giấy nhưng cùng một món bên trong. Python thì đếm điểm mã, nên len() cho 1 và 3. Dạng dựng sẵn gọi là NFC, dạng tách dấu gọi là NFD. Chuỗi gõ bằng bảng mã Unicode dựng sẵn ở dạng NFC; một số nguồn, như tên file chép từ macOS hay chữ chép từ file PDF, có thể ở dạng NFD.
Chuẩn hóa bằng unicodedata.normalize()
Module unicodedata của thư viện chuẩn có hàm normalize(dang, chuoi). Nó trả về chuỗi mới ở dạng bạn chọn, còn chuỗi cũ giữ nguyên vì chuỗi là bất biến.
import unicodedata
tu_file = unicodedata.normalize("NFD", "Trần Thu Hà")
go_tay = "Trần Thu Hà"
print(len(tu_file), tu_file == go_tay)
tu_file = unicodedata.normalize("NFC", tu_file)
print(len(tu_file), tu_file == go_tay)
print("Hà" in tu_file)KẾT QUẢ
14 False
11 True
TrueDòng đầu cố ý tạo một chuỗi NFD để giả dữ liệu từ nguồn ngoài. Sau khi chuẩn hóa về NFC, chuỗi còn 11 ký tự, bằng với chuỗi gõ tay, nên == và in cho kết quả đúng. Quy tắc dùng được ngay: chuẩn hóa dữ liệu ở chỗ nó đi vào chương trình (đọc file, nhận ô nhập), một lần, rồi các phép so sánh phía sau đều tin được. Chữ đ không có dạng tách: ord("đ") là 273 ở cả hai dạng.
Vì sao title() viết hoa sai thành TrầN
Phương thức title() viết hoa chữ cái đầu của mỗi từ. Nó coi một chữ cái là đầu từ khi ký tự đứng ngay trước không phải chữ cái. Với chuỗi NFD, ngay trước chữ n của "trần" là dấu huyền:
import unicodedata
for ky_tu in unicodedata.normalize("NFD", "ần"):
print(ord(ky_tu), ky_tu)KẾT QUẢ
97 a
770 ̂
768 ̀
110 nDấu mũ và dấu huyền là hai ký tự riêng, Python xếp chúng vào loại dấu chứ không vào loại chữ cái. Vì vậy title() tưởng n mở đầu một từ mới. Các phương thức khác của chuỗi như upper() vẫn đúng, vì chúng đổi từng chữ cái mà không cần biết đâu là đầu từ.
Kiểm tra nhanh
Với
import unicodedata,len(unicodedata.normalize("NFD", "Hà"))bằng bao nhiêu?- 2
- 3
- 4
Với
a = chr(7847)vàb = chr(97) + chr(770) + chr(768), những biểu thức nào choTrue?a == blen(b) == 3unicodedata.normalize("NFC", b) == aord(a) == 7847
Với
import unicodedata,unicodedata.normalize("nfc", "Hà")báo lỗi gì?- Báo lỗi
ValueError - Báo lỗi
TypeError 'Hà'
- Báo lỗi
Trong ví dụ ở mục title(), vì sao họ tên NFD thành
TrầN Thu Hà?- Vì
title()không viết hoa được chữ có dấu - Vì
normalize()đổi chữnthành chữ hoa - Vì dấu huyền đứng ngay trước
nlà một ký tự không phải chữ cái
- Vì
Bài tập
Lấy điểm mã của chuỗi sau khi chuẩn hóa
Khi hai họ tên trông giống nhau mà so sánh lại khác, bạn in điểm mã của chúng để soát. Viết thân hàm ma_diem(chuoi): đưa chuoi về dạng NFC bằng unicodedata.normalize(), rồi trả về điểm mã của từng ký tự theo thứ tự.
Ví dụ: ma_diem của chữ "Hà" ở dạng NFD trả về [72, 224], và ma_diem("") trả về [].
Trả về: điểm mã của từng ký tự trong dạng NFC, một list các số nguyên.
import unicodedata
def ma_diem(chuoi):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Mỗi ký tự có một điểm mã:
ord()cho số của ký tự,chr()cho ký tự của số.Một chữ có dấu viết được ở dạng NFC (dựng sẵn) hoặc NFD (dấu là ký tự riêng);
len()đếm khác nhau.Hai dạng in giống nhau nhưng
==vàinchoFalse.unicodedata.normalize("NFC", chuoi)trả về chuỗi mới ở dạng NFC; tên dạng viết hoa, sai thì báoValueError.Chuẩn hóa dữ liệu một lần ở chỗ nó vào chương trình, trước mọi phép so sánh.
title()trên chuỗi NFD viết hoa chữ cái sau dấu, nhưTrầN; chuẩn hóa trước rồi mới gọi.
Câu hỏi thường gặp
Hàm ord() và chr() trong Python dùng để làm gì?
ord() cho điểm mã của một ký tự, chr() cho ký tự ứng với một điểm mã. Bạn dùng chúng để soát dữ liệu lạ: in điểm mã của từng ký tự là thấy ngay một dấu tách rời hay một dấu cách đặc biệt mà mắt không nhận ra.
Nên chuẩn hóa Unicode (normalize) về NFC hay NFD?
Với tiếng Việt, chọn NFC: chuỗi gõ từ bàn phím thường đã ở dạng này, ngắn hơn và title() chạy đúng. Điều quan trọng là các chuỗi đem so sánh cùng một dạng. Bài chuẩn hóa dữ liệu Việt Nam dùng bước NFC này làm bước đầu khi làm sạch họ tên.
Python có hỗ trợ Unicode tiếng Việt sẵn không?
Có. Chuỗi str của Python 3 là chuỗi Unicode, nên chữ có dấu nằm trong chuỗi như chữ không dấu. Chỗ dễ hỏng là lúc đọc ghi file, khi bảng mã không khớp; việc đó thuộc bài mã hóa UTF-8.
Chuẩn hóa NFC có làm sorted() xếp tên tiếng Việt đúng không?
Không. NFC chỉ làm hai cách viết cùng một chữ thành một, còn sorted() vẫn xếp theo điểm mã, nên chữ có dấu đứng sau các chữ không dấu. Cách xếp đúng thứ tự chữ cái nằm ở bài sắp xếp tiếng Việt.
Chủ đề
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.