Bỏ qua đến nội dung chính
Mục lục

Chuẩn hóa dữ liệu tiếng Việt trong pandas: NFC, biến thể

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 11/17 · Chương 6

Làm sạch dữ liệu

  • 7 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Chuẩn hóa dữ liệu tiếng Việt là đưa mọi cách viết của cùng một giá trị về một dạng duy nhất: cùng bảng mã Unicode NFC, không khoảng trắng thừa, cùng một tên cho HCM, Tp.Hcm và Hồ Chí Minh. Bạn cần việc này trước mọi phép đếm theo tỉnh: cột tinh của bảng khách thô có 95 cách viết cho khoảng sáu chục tỉnh.

Cần biết trước: accessor .str, map() và replace() và Unicode tiếng Việt.

Đưa chữ về NFC

Chữ ẵ có hai cách lưu: một ký tự dựng sẵn (NFC), hoặc chữ a cộng hai dấu tổ hợp (NFD). Trên màn hình hai cách giống hệt nhau, nhưng Python so từng ký tự nên thấy khác. File gộp từ máy Mac hay copy từ PDF thường mang dạng NFD. .str.normalize("NFC") đưa cả cột về một dạng:

python
import pandas as pd

kh = pd.read_csv("khach_hang_tho.csv")
tinh = kh["tinh"]
nfc = tinh.str.normalize("NFC")
print((tinh == "Đà Nẵng").sum(), (nfc == "Đà Nẵng").sum())
khac = tinh != nfc
print(khac.sum(), tinh[khac].str.len().head(2).to_list())

KẾT QUẢ

15 16
14 [10, 12]

Mười bốn ô đang ở dạng NFD, và ô Đà Nẵng dạng đó dài 10 ký tự thay cho 7. Phép so sánh == bỏ sót chúng mà không báo gì. Bài Unicode tiếng Việt của tutorial Python giải thích hai dạng này kỹ hơn.

Gộp khoảng trắng và hoa thường

Dấu cách cuối "Hà Nội " và dấu cách đôi "Hà Nội" là hai lỗi gõ phổ biến khác. .str.strip() chỉ cắt hai đầu. Muốn mọi chuỗi khoảng trắng ở giữa cũng thành một dấu cách, tách theo khoảng trắng rồi ghép lại bằng .str.join(" "):

python
import pandas as pd

kh = pd.read_csv("khach_hang_tho.csv")
tinh = kh["tinh"].str.normalize("NFC")
print(tinh.nunique())
gon = tinh.str.split().str.join(" ")
print(gon.nunique())
print(gon.str.lower().nunique())

KẾT QUẢ

84
76
64

Từ 84 cách viết còn 76 sau khi gộp khoảng trắng, rồi 64 khi cả cột về chữ thường. Chuỗi đã qua ba bước này là một "khóa so sánh": hai cách gõ của cùng một tên cho cùng một khóa. Khóa chỉ dùng để tra, không để in ra báo cáo. Cách tách rồi ghép đã có ở bài tách cột; regex làm cùng việc ở bài regex trong pandas.

Tra tên chuẩn từ danh sách chính thức

Bạn không cần gõ tay tên chuẩn của sáu chục tỉnh: cột tinh_cu của bang_sap_nhap_tinh.csv đã là danh sách tên chính thức. Dựng một dict từ khóa của mỗi tên chính thức sang chính tên đó, rồi map() cột khóa. Ô nào không tra được sẽ là NaN, và đó chính là danh sách việc còn lại:

python
import pandas as pd

kh = pd.read_csv("khach_hang_tho.csv")
bang = pd.read_csv("bang_sap_nhap_tinh.csv")
khoa = (kh["tinh"].str.normalize("NFC")
        .str.split().str.join(" ").str.lower())
chuan = dict(zip(bang["tinh_cu"].str.lower(), bang["tinh_cu"]))
ten = khoa.map(chuan)
print(ten.nunique(), ten.isna().sum())
print(khoa[ten.isna()].value_counts())

KẾT QUẢ

60 27
tinh
tp.hcm            10
hồ chí minh        8
hcm                5
tp hồ chí minh     4
Name: count, dtype: int64

Sáu chục tên đã tìm ra tên chính thức; 27 ô còn lại đều là cách gọi tắt của một thành phố. Không bước máy móc nào biết hcm và tp. hồ chí minh là một, nên phần này cần một bảng do người ghi.

Bảng tên gọi khác

Bảng tên gọi khác là một dict nhỏ từ khóa của cách gọi tắt sang khóa của tên chính thức. Dùng nó với replace() trước map(): replace() chỉ đổi khóa có trong dict, mọi khóa khác giữ nguyên để map() tra tiếp:

python
import pandas as pd

kh = pd.read_csv("khach_hang_tho.csv")
bang = pd.read_csv("bang_sap_nhap_tinh.csv")
khoa = (kh["tinh"].str.normalize("NFC")
        .str.split().str.join(" ").str.lower())
chuan = dict(zip(bang["tinh_cu"].str.lower(), bang["tinh_cu"]))
KHOA_HCM = "tp. hồ chí minh"
TEN_GOI_KHAC = {"hcm": KHOA_HCM, "tp.hcm": KHOA_HCM,
                "hồ chí minh": KHOA_HCM, "tp hồ chí minh": KHOA_HCM}
ten = khoa.replace(TEN_GOI_KHAC).map(chuan)
print(ten.isna().sum(), (ten == "TP. Hồ Chí Minh").sum())

KẾT QUẢ

0 51

Không còn ô trống, và thành phố có đủ 51 khách. Bảng tên gọi khác nên xem như dữ liệu: đặt nó ở một chỗ, thêm dòng khi isna().sum() lại khác 0 với file mới. Vì khóa đã là chữ thường, một dòng "hcm" phủ cả HCM, Hcm lẫn hcm .

Đổi tên tỉnh cũ sang tỉnh mới

Sau đợt sáp nhập tỉnh năm 2025, nhiều báo cáo cần tên tỉnh mới. Cũng bảng đó, nhưng lần này dict đi từ khóa của tỉnh cũ sang cột tinh_moi:

python
import pandas as pd

kh = pd.read_csv("khach_hang_tho.csv")
bang = pd.read_csv("bang_sap_nhap_tinh.csv")
khoa = (kh["tinh"].str.normalize("NFC")
        .str.split().str.join(" ").str.lower())
KHOA_HCM = "tp. hồ chí minh"
khoa = khoa.replace({"hcm": KHOA_HCM, "tp.hcm": KHOA_HCM,
                     "hồ chí minh": KHOA_HCM,
                     "tp hồ chí minh": KHOA_HCM})
sap = dict(zip(bang["tinh_cu"].str.lower(), bang["tinh_moi"]))
moi = khoa.map(sap)
print(moi.isna().sum(), moi.nunique())
print(moi.value_counts().head(3))

KẾT QUẢ

0 34
tinh
TP. Hồ Chí Minh    79
Hà Nội             54
Đà Nẵng            29
Name: count, dtype: int64

Không ô nào rơi, và 60 tỉnh cũ gom lại thành 34 tỉnh mới. Khách Bình Dương và Bà Rịa - Vũng Tàu giờ là TP. Hồ Chí Minh, nên thành phố này lên 79 khách. Đổi .head(3) thành .head(5) rồi chạy lại: hai dòng mới hiện ra, dòng cuối là Cần Thơ.

Kiểm tra nhanh

  1. Sau import unicodedata và import pandas as pd, print(pd.Series([unicodedata.normalize("NFD", "Huế")]).str.normalize("NFC").iloc[0] == "Huế") in ra gì?

    • True
    • False
    • Báo lỗi TypeError
  2. Sau import pandas as pd, print(pd.Series([" Hà Nội "]).str.split().str.join(" ").iloc[0]) in ra gì?

    • Hà Nội
    • Hà Nội
    • Hà Nội
  3. Cột tinh có HCM và Tp.Hcm. Vì sao khóa so sánh không gộp được hai giá trị này?

    • Vì normalize("NFC") không chạy với chữ hoa
    • Vì hai cách viết khác nhau về chữ, chỉ bảng tên gọi khác do người ghi mới biết chúng là một
    • Vì lower() làm hỏng dấu chấm
  4. Những câu nào đúng về replace() và map() với một dict?

    • replace(dict) giữ nguyên ô không có trong dict
    • map(dict) giữ nguyên ô không có trong dict
    • map(dict) đổi ô không có trong dict thành NaN
    • Hai cách cho cùng kết quả trên mọi cột
Đúng hết lần đầu +15 XP

Bài tập

Tra tên chính thức cho cột gõ tay

Phòng hành chính gửi bạn danh sách tên chính thức (đã sạch, dạng NFC), còn cột của bạn do người dùng gõ tay. Viết thân hàm ten_chuan(cot, danh_sach) nhận Series chữ và list tên chính thức, trả Series tên chính thức cho từng ô:

  • Một ô khớp một tên trong danh_sach khi hai bên giống nhau sau khi đưa về NFC, bỏ khoảng trắng hai đầu, dồn khoảng trắng giữa về một dấu cách và không phân biệt hoa thường.

  • Ô khớp được thay bằng đúng tên viết trong danh_sach.

  • Ô không khớp tên nào, và ô trống, thành NaN.

Kết quả giữ index và tên của Series. Hàm không sửa Series của nơi gọi.

Trả về: tên chính thức của từng ô, một Series.

python
import pandas as pd

def ten_chuan(cot, danh_sach):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • Chữ tiếng Việt có hai dạng lưu, NFC và NFD; .str.normalize("NFC") đưa cả cột về một dạng trước khi so sánh.

  • .str.split().str.join(" ") bỏ khoảng trắng hai đầu và dồn khoảng trắng giữa về một dấu cách; thêm .str.lower() là có khóa so sánh.

  • Danh sách tên chính thức cho sẵn dict từ khóa sang tên chuẩn; map() trên cột khóa, ô NaN là việc còn lại.

  • Cách gọi tắt cần một dict tên gọi khác, dùng với replace() trước map(), ô ngoài dict giữ nguyên.

  • map(dict) cho NaN ở ô không có khóa; in isna().sum() sau mỗi lần map().

Câu hỏi thường gặp

Chuẩn hóa tên tỉnh sau sáp nhập thế nào?

Chuẩn hóa cách viết trước, rồi map() bằng một bảng nối tỉnh cũ với tỉnh mới như bang_sap_nhap_tinh.csv. Bảng đó cũng là cách gộp nhiều tỉnh cũ về một tỉnh mới để đếm. Tutorial Python có bài chuẩn hóa dữ liệu Việt Nam làm cùng việc bằng dict và vòng lặp.

Chuẩn hóa địa chỉ đầy đủ có làm được bằng cách này không?

Một phần. Địa chỉ có số nhà, tên đường, phường, tỉnh trong một ô, nên phải tách trước bằng tách cột hay str.extract(), rồi chuẩn hóa từng phần. Tên đường viết tắt như Đ. hay Ng. cũng cần bảng tên gọi khác riêng.

Có cần bỏ dấu tiếng Việt khi so sánh không?

Thường là không: bỏ dấu làm những tên khác nhau trùng nhau, như tên Lê và Lệ. Chỉ bỏ dấu khi dữ liệu gốc có cả bản gõ không dấu như Ha Noi, và khi đó vẫn giữ cột có dấu để hiển thị. Cách bỏ dấu nằm ngoài phạm vi bài này.

Chủ đề

chuẩn hóa dữ liệu tiếng việt

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập