Bỏ qua đến nội dung chính
Mục lục

Unicode và tiếng Việt có dấu trong Python: ord(), chr(), NFC

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 1/4 · Chương 12

Python với dữ liệu Việt Nam

  • 7 phút
  • Cơ bản
  • Python 3.14
  • Cập nhật

Unicode trong Python là cách mỗi ký tự, kể cả chữ có dấu như ầ, mang một số riêng gọi là điểm mã, và chuỗi str là một dãy các điểm mã đó. Bạn cần hiểu điều này khi hai họ tên trông giống hệt nhau mà Python lại nói chúng khác, chẳng hạn tên chép từ một file PDF không khớp với tên bạn gõ.

Cần biết trước: import và module, phương thức chuỗi và mã hóa UTF-8.

Ký tự và điểm mã: ord() và chr()

Bảng Unicode đánh số cho các ký tự của hầu hết chữ viết trên thế giới. Số của một ký tự là điểm mã (code point). Hàm ord() cho điểm mã của một ký tự, hàm chr() làm ngược lại.

python
print(ord("H"), ord("à"), ord("ầ"))
print(chr(72) + chr(224))

KẾT QUẢ

72 224 7847
Hà

ord() nhận đúng một ký tự và trả về một số nguyên. Tài liệu Unicode viết điểm mã ở hệ mười sáu kèm tiền tố U+: ầ là U+1EA7, tức 7847. Điểm mã là số của ký tự, còn UTF-8 là cách ghi số đó thành các byte khi lưu file, việc của bài mã hóa UTF-8. Đổi "ầ" thành "ấ" rồi chạy lại: số cuối của dòng đầu in 7845.

Một chữ, hai cách viết: NFC và NFD

Chữ ầ có hai cách ghi trong Unicode. Cách dựng sẵn dùng một điểm mã. Cách tổ hợp dùng ba: chữ cái a, rồi dấu mũ, rồi dấu huyền, mỗi dấu là một ký tự riêng đứng sau chữ cái.

python
dung_san = chr(7847)
to_hop = chr(97) + chr(770) + chr(768)
print(dung_san, to_hop)
print(len(dung_san), len(to_hop))

KẾT QUẢ

ầ ầ
1 3

Màn hình vẽ hai chuỗi y hệt nhau, như hai hộp quà gói khác giấy nhưng cùng một món bên trong. Python thì đếm điểm mã, nên len() cho 1 và 3. Dạng dựng sẵn gọi là NFC, dạng tách dấu gọi là NFD. Chuỗi gõ bằng bảng mã Unicode dựng sẵn ở dạng NFC; một số nguồn, như tên file chép từ macOS hay chữ chép từ file PDF, có thể ở dạng NFD.

Chuẩn hóa bằng unicodedata.normalize()

Module unicodedata của thư viện chuẩn có hàm normalize(dang, chuoi). Nó trả về chuỗi mới ở dạng bạn chọn, còn chuỗi cũ giữ nguyên vì chuỗi là bất biến.

python
import unicodedata

tu_file = unicodedata.normalize("NFD", "Trần Thu Hà")
go_tay = "Trần Thu Hà"
print(len(tu_file), tu_file == go_tay)
tu_file = unicodedata.normalize("NFC", tu_file)
print(len(tu_file), tu_file == go_tay)
print("Hà" in tu_file)

KẾT QUẢ

14 False
11 True
True

Dòng đầu cố ý tạo một chuỗi NFD để giả dữ liệu từ nguồn ngoài. Sau khi chuẩn hóa về NFC, chuỗi còn 11 ký tự, bằng với chuỗi gõ tay, nên == và in cho kết quả đúng. Quy tắc dùng được ngay: chuẩn hóa dữ liệu ở chỗ nó đi vào chương trình (đọc file, nhận ô nhập), một lần, rồi các phép so sánh phía sau đều tin được. Chữ đ không có dạng tách: ord("đ") là 273 ở cả hai dạng.

Vì sao title() viết hoa sai thành TrầN

Phương thức title() viết hoa chữ cái đầu của mỗi từ. Nó coi một chữ cái là đầu từ khi ký tự đứng ngay trước không phải chữ cái. Với chuỗi NFD, ngay trước chữ n của "trần" là dấu huyền:

python
import unicodedata

for ky_tu in unicodedata.normalize("NFD", "ần"):
    print(ord(ky_tu), ky_tu)

KẾT QUẢ

97 a
770 ̂
768 ̀
110 n

Dấu mũ và dấu huyền là hai ký tự riêng, Python xếp chúng vào loại dấu chứ không vào loại chữ cái. Vì vậy title() tưởng n mở đầu một từ mới. Các phương thức khác của chuỗi như upper() vẫn đúng, vì chúng đổi từng chữ cái mà không cần biết đâu là đầu từ.

Kiểm tra nhanh

  1. Với import unicodedata, len(unicodedata.normalize("NFD", "Hà")) bằng bao nhiêu?

    • 2
    • 3
    • 4
  2. Với a = chr(7847) và b = chr(97) + chr(770) + chr(768), những biểu thức nào cho True?

    • a == b
    • len(b) == 3
    • unicodedata.normalize("NFC", b) == a
    • ord(a) == 7847
  3. Với import unicodedata, unicodedata.normalize("nfc", "Hà") báo lỗi gì?

    • Báo lỗi ValueError
    • Báo lỗi TypeError
    • 'Hà'
  4. Trong ví dụ ở mục title(), vì sao họ tên NFD thành TrầN Thu Hà?

    • Vì title() không viết hoa được chữ có dấu
    • Vì normalize() đổi chữ n thành chữ hoa
    • Vì dấu huyền đứng ngay trước n là một ký tự không phải chữ cái
Đúng hết lần đầu +15 XP

Bài tập

Lấy điểm mã của chuỗi sau khi chuẩn hóa

Khi hai họ tên trông giống nhau mà so sánh lại khác, bạn in điểm mã của chúng để soát. Viết thân hàm ma_diem(chuoi): đưa chuoi về dạng NFC bằng unicodedata.normalize(), rồi trả về điểm mã của từng ký tự theo thứ tự.

Ví dụ: ma_diem của chữ "Hà" ở dạng NFD trả về [72, 224], và ma_diem("") trả về [].

Trả về: điểm mã của từng ký tự trong dạng NFC, một list các số nguyên.

python
import unicodedata

def ma_diem(chuoi):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • Mỗi ký tự có một điểm mã: ord() cho số của ký tự, chr() cho ký tự của số.

  • Một chữ có dấu viết được ở dạng NFC (dựng sẵn) hoặc NFD (dấu là ký tự riêng); len() đếm khác nhau.

  • Hai dạng in giống nhau nhưng == và in cho False.

  • unicodedata.normalize("NFC", chuoi) trả về chuỗi mới ở dạng NFC; tên dạng viết hoa, sai thì báo ValueError.

  • Chuẩn hóa dữ liệu một lần ở chỗ nó vào chương trình, trước mọi phép so sánh.

  • title() trên chuỗi NFD viết hoa chữ cái sau dấu, như TrầN; chuẩn hóa trước rồi mới gọi.

Câu hỏi thường gặp

Hàm ord() và chr() trong Python dùng để làm gì?

ord() cho điểm mã của một ký tự, chr() cho ký tự ứng với một điểm mã. Bạn dùng chúng để soát dữ liệu lạ: in điểm mã của từng ký tự là thấy ngay một dấu tách rời hay một dấu cách đặc biệt mà mắt không nhận ra.

Nên chuẩn hóa Unicode (normalize) về NFC hay NFD?

Với tiếng Việt, chọn NFC: chuỗi gõ từ bàn phím thường đã ở dạng này, ngắn hơn và title() chạy đúng. Điều quan trọng là các chuỗi đem so sánh cùng một dạng. Bài chuẩn hóa dữ liệu Việt Nam dùng bước NFC này làm bước đầu khi làm sạch họ tên.

Python có hỗ trợ Unicode tiếng Việt sẵn không?

Có. Chuỗi str của Python 3 là chuỗi Unicode, nên chữ có dấu nằm trong chuỗi như chữ không dấu. Chỗ dễ hỏng là lúc đọc ghi file, khi bảng mã không khớp; việc đó thuộc bài mã hóa UTF-8.

Chuẩn hóa NFC có làm sorted() xếp tên tiếng Việt đúng không?

Không. NFC chỉ làm hai cách viết cùng một chữ thành một, còn sorted() vẫn xếp theo điểm mã, nên chữ có dấu đứng sau các chữ không dấu. Cách xếp đúng thứ tự chữ cái nằm ở bài sắp xếp tiếng Việt.

Chủ đề

unicode python

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập