Chuẩn hóa dữ liệu tiếng Việt trong pandas: NFC, biến thể
Bài 11/17 · Chương 6
Làm sạch dữ liệu
- 7 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 12
Chuẩn hóa dữ liệu tiếng Việt là đưa mọi cách viết của cùng một giá trị về một dạng duy nhất: cùng bảng mã Unicode NFC, không khoảng trắng thừa, cùng một tên cho HCM, Tp.Hcm và Hồ Chí Minh. Bạn cần việc này trước mọi phép đếm theo tỉnh: cột tinh của bảng khách thô có 95 cách viết cho khoảng sáu chục tỉnh.
Cần biết trước: accessor .str, map() và replace() và Unicode tiếng Việt.
Đưa chữ về NFC
Chữ ẵ có hai cách lưu: một ký tự dựng sẵn (NFC), hoặc chữ a cộng hai dấu tổ hợp (NFD). Trên màn hình hai cách giống hệt nhau, nhưng Python so từng ký tự nên thấy khác. File gộp từ máy Mac hay copy từ PDF thường mang dạng NFD. .str.normalize("NFC") đưa cả cột về một dạng:
import pandas as pd
kh = pd.read_csv("khach_hang_tho.csv")
tinh = kh["tinh"]
nfc = tinh.str.normalize("NFC")
print((tinh == "Đà Nẵng").sum(), (nfc == "Đà Nẵng").sum())
khac = tinh != nfc
print(khac.sum(), tinh[khac].str.len().head(2).to_list())KẾT QUẢ
15 16
14 [10, 12]Mười bốn ô đang ở dạng NFD, và ô Đà Nẵng dạng đó dài 10 ký tự thay cho 7. Phép so sánh == bỏ sót chúng mà không báo gì. Bài Unicode tiếng Việt của tutorial Python giải thích hai dạng này kỹ hơn.
Gộp khoảng trắng và hoa thường
Dấu cách cuối "Hà Nội " và dấu cách đôi "Hà Nội" là hai lỗi gõ phổ biến khác. .str.strip() chỉ cắt hai đầu. Muốn mọi chuỗi khoảng trắng ở giữa cũng thành một dấu cách, tách theo khoảng trắng rồi ghép lại bằng .str.join(" "):
import pandas as pd
kh = pd.read_csv("khach_hang_tho.csv")
tinh = kh["tinh"].str.normalize("NFC")
print(tinh.nunique())
gon = tinh.str.split().str.join(" ")
print(gon.nunique())
print(gon.str.lower().nunique())KẾT QUẢ
84
76
64Từ 84 cách viết còn 76 sau khi gộp khoảng trắng, rồi 64 khi cả cột về chữ thường. Chuỗi đã qua ba bước này là một "khóa so sánh": hai cách gõ của cùng một tên cho cùng một khóa. Khóa chỉ dùng để tra, không để in ra báo cáo. Cách tách rồi ghép đã có ở bài tách cột; regex làm cùng việc ở bài regex trong pandas.
Tra tên chuẩn từ danh sách chính thức
Bạn không cần gõ tay tên chuẩn của sáu chục tỉnh: cột tinh_cu của bang_sap_nhap_tinh.csv đã là danh sách tên chính thức. Dựng một dict từ khóa của mỗi tên chính thức sang chính tên đó, rồi map() cột khóa. Ô nào không tra được sẽ là NaN, và đó chính là danh sách việc còn lại:
import pandas as pd
kh = pd.read_csv("khach_hang_tho.csv")
bang = pd.read_csv("bang_sap_nhap_tinh.csv")
khoa = (kh["tinh"].str.normalize("NFC")
.str.split().str.join(" ").str.lower())
chuan = dict(zip(bang["tinh_cu"].str.lower(), bang["tinh_cu"]))
ten = khoa.map(chuan)
print(ten.nunique(), ten.isna().sum())
print(khoa[ten.isna()].value_counts())KẾT QUẢ
60 27
tinh
tp.hcm 10
hồ chí minh 8
hcm 5
tp hồ chí minh 4
Name: count, dtype: int64Sáu chục tên đã tìm ra tên chính thức; 27 ô còn lại đều là cách gọi tắt của một thành phố. Không bước máy móc nào biết hcm và tp. hồ chí minh là một, nên phần này cần một bảng do người ghi.
Bảng tên gọi khác
Bảng tên gọi khác là một dict nhỏ từ khóa của cách gọi tắt sang khóa của tên chính thức. Dùng nó với replace() trước map(): replace() chỉ đổi khóa có trong dict, mọi khóa khác giữ nguyên để map() tra tiếp:
import pandas as pd
kh = pd.read_csv("khach_hang_tho.csv")
bang = pd.read_csv("bang_sap_nhap_tinh.csv")
khoa = (kh["tinh"].str.normalize("NFC")
.str.split().str.join(" ").str.lower())
chuan = dict(zip(bang["tinh_cu"].str.lower(), bang["tinh_cu"]))
KHOA_HCM = "tp. hồ chí minh"
TEN_GOI_KHAC = {"hcm": KHOA_HCM, "tp.hcm": KHOA_HCM,
"hồ chí minh": KHOA_HCM, "tp hồ chí minh": KHOA_HCM}
ten = khoa.replace(TEN_GOI_KHAC).map(chuan)
print(ten.isna().sum(), (ten == "TP. Hồ Chí Minh").sum())KẾT QUẢ
0 51Không còn ô trống, và thành phố có đủ 51 khách. Bảng tên gọi khác nên xem như dữ liệu: đặt nó ở một chỗ, thêm dòng khi isna().sum() lại khác 0 với file mới. Vì khóa đã là chữ thường, một dòng "hcm" phủ cả HCM, Hcm lẫn hcm .
Đổi tên tỉnh cũ sang tỉnh mới
Sau đợt sáp nhập tỉnh năm 2025, nhiều báo cáo cần tên tỉnh mới. Cũng bảng đó, nhưng lần này dict đi từ khóa của tỉnh cũ sang cột tinh_moi:
import pandas as pd
kh = pd.read_csv("khach_hang_tho.csv")
bang = pd.read_csv("bang_sap_nhap_tinh.csv")
khoa = (kh["tinh"].str.normalize("NFC")
.str.split().str.join(" ").str.lower())
KHOA_HCM = "tp. hồ chí minh"
khoa = khoa.replace({"hcm": KHOA_HCM, "tp.hcm": KHOA_HCM,
"hồ chí minh": KHOA_HCM,
"tp hồ chí minh": KHOA_HCM})
sap = dict(zip(bang["tinh_cu"].str.lower(), bang["tinh_moi"]))
moi = khoa.map(sap)
print(moi.isna().sum(), moi.nunique())
print(moi.value_counts().head(3))KẾT QUẢ
0 34
tinh
TP. Hồ Chí Minh 79
Hà Nội 54
Đà Nẵng 29
Name: count, dtype: int64Không ô nào rơi, và 60 tỉnh cũ gom lại thành 34 tỉnh mới. Khách Bình Dương và Bà Rịa - Vũng Tàu giờ là TP. Hồ Chí Minh, nên thành phố này lên 79 khách. Đổi .head(3) thành .head(5) rồi chạy lại: hai dòng mới hiện ra, dòng cuối là Cần Thơ.
Kiểm tra nhanh
Sau
import unicodedatavàimport pandas as pd,print(pd.Series([unicodedata.normalize("NFD", "Huế")]).str.normalize("NFC").iloc[0] == "Huế")in ra gì?TrueFalse- Báo lỗi
TypeError
Sau
import pandas as pd,print(pd.Series([" Hà Nội "]).str.split().str.join(" ").iloc[0])in ra gì?Hà NộiHà NộiHà Nội
Cột
tinhcóHCMvàTp.Hcm. Vì sao khóa so sánh không gộp được hai giá trị này?- Vì
normalize("NFC")không chạy với chữ hoa - Vì hai cách viết khác nhau về chữ, chỉ bảng tên gọi khác do người ghi mới biết chúng là một
- Vì
lower()làm hỏng dấu chấm
- Vì
Những câu nào đúng về
replace()vàmap()với một dict?replace(dict)giữ nguyên ô không có trong dictmap(dict)giữ nguyên ô không có trong dictmap(dict)đổi ô không có trong dict thànhNaN- Hai cách cho cùng kết quả trên mọi cột
Bài tập
Tra tên chính thức cho cột gõ tay
Phòng hành chính gửi bạn danh sách tên chính thức (đã sạch, dạng NFC), còn cột của bạn do người dùng gõ tay. Viết thân hàm ten_chuan(cot, danh_sach) nhận Series chữ và list tên chính thức, trả Series tên chính thức cho từng ô:
Một ô khớp một tên trong
danh_sachkhi hai bên giống nhau sau khi đưa về NFC, bỏ khoảng trắng hai đầu, dồn khoảng trắng giữa về một dấu cách và không phân biệt hoa thường.Ô khớp được thay bằng đúng tên viết trong
danh_sach.Ô không khớp tên nào, và ô trống, thành
NaN.
Kết quả giữ index và tên của Series. Hàm không sửa Series của nơi gọi.
Trả về: tên chính thức của từng ô, một Series.
import pandas as pd
def ten_chuan(cot, danh_sach):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Chữ tiếng Việt có hai dạng lưu, NFC và NFD;
.str.normalize("NFC")đưa cả cột về một dạng trước khi so sánh..str.split().str.join(" ")bỏ khoảng trắng hai đầu và dồn khoảng trắng giữa về một dấu cách; thêm.str.lower()là có khóa so sánh.Danh sách tên chính thức cho sẵn dict từ khóa sang tên chuẩn;
map()trên cột khóa, ôNaNlà việc còn lại.Cách gọi tắt cần một dict tên gọi khác, dùng với
replace()trướcmap(), ô ngoài dict giữ nguyên.map(dict)choNaNở ô không có khóa; inisna().sum()sau mỗi lầnmap().
Câu hỏi thường gặp
Chuẩn hóa tên tỉnh sau sáp nhập thế nào?
Chuẩn hóa cách viết trước, rồi map() bằng một bảng nối tỉnh cũ với tỉnh mới như bang_sap_nhap_tinh.csv. Bảng đó cũng là cách gộp nhiều tỉnh cũ về một tỉnh mới để đếm. Tutorial Python có bài chuẩn hóa dữ liệu Việt Nam làm cùng việc bằng dict và vòng lặp.
Chuẩn hóa địa chỉ đầy đủ có làm được bằng cách này không?
Một phần. Địa chỉ có số nhà, tên đường, phường, tỉnh trong một ô, nên phải tách trước bằng tách cột hay str.extract(), rồi chuẩn hóa từng phần. Tên đường viết tắt như Đ. hay Ng. cũng cần bảng tên gọi khác riêng.
Có cần bỏ dấu tiếng Việt khi so sánh không?
Thường là không: bỏ dấu làm những tên khác nhau trùng nhau, như tên Lê và Lệ. Chỉ bỏ dấu khi dữ liệu gốc có cả bản gõ không dấu như Ha Noi, và khi đó vẫn giữ cột có dấu để hiển thị. Cách bỏ dấu nằm ngoài phạm vi bài này.
Chủ đề
Dữ liệu của bài
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.