Dự án giá nhà (2/4): làm sạch dữ liệu bất động sản
Bài 4/5 · Chương 9
Dự án phân tích dữ liệu
- 10 phút
- Cơ bản
- Python 3.14
- Cập nhật
Trong bài này · 11
Dự án giá nhà phần 2 làm sạch dữ liệu bất động sản từ 1.166 tin rao: bỏ tin đăng lại, tách diện tích và giá ra khỏi chuỗi, chuẩn hóa tên và xử lý ngoại lai. Bạn đi qua tám bước theo nhật ký chất lượng của phần 1 tới chương trình hoàn chỉnh, rồi tự viết hàm đếm tin bất thường ở cuối trang.
Cần biết trước: drop_duplicates(), accessor .str, str.extract(), regex trong pandas, to_numeric(), chuẩn hóa tiếng Việt và ngoại lai IQR.
Chương trình sẽ làm gì
Phần 1 kết thúc bằng một nhật ký năm dòng trên file nha_dat.csv của bộ dữ liệu thực hành: tin đăng lại, diện tích và giá là chuỗi, tin không có giá, tên quận nhiều cách viết. Chương trình nhận file thô ấy và xử lý từng dòng nhật ký. Nó đưa ra bảng sạch có ba cột số mới, dien_tich_m2, gia_ty (tỷ đồng) và gia_trieu_m2 (triệu đồng mỗi m²), 15 tên quận chuẩn, 4 loại nhà, và số tin vượt ngưỡng ngoại lai mà nó quyết định giữ lại.
Chương trình không có vòng lặp hay rẽ nhánh: mọi phép xử lý chạy trên cả cột. Thứ tự dựng theo nhật ký: bỏ tin đăng lại trước, rồi đổi diện tích, đổi giá, chuẩn hóa tên, cuối cùng mới tìm và điều tra ngoại lai, vì ngoại lai chỉ tính được khi giá đã là số. Ở file này bản đăng lại chép y nguyên từng ký tự, nên bỏ trước được; nguồn tin gõ lại tên khi đăng lại thì phải chuẩn hóa tên trước.
Bước 1: Bỏ tin đăng lại
Như Bước 5 của phần 1, tin đăng lại giống tin gốc ở mọi cột trừ mã và ngày. drop_duplicates() với subset= các cột còn lại giữ tin đầu tiên của mỗi nhóm:
import pandas as pd
nha = pd.read_csv("nha_dat.csv")
so_sanh = nha.columns.drop(["ma_tin", "ngay_dang"])
nha = nha.drop_duplicates(subset=so_sanh, keep="first")
print(len(nha))
print(nha["ma_tin"].head(3).to_list())KẾT QUẢ
1100
['T00001', 'T00002', 'T00003']Còn 1.100 tin. keep="first" giữ tin đăng sớm hơn, vì tin đã sắp theo ngày đăng; đổi thành keep="last" thì số dòng không đổi, nhưng mã và ngày còn lại là của bản đăng lại.
Bước 2: Đổi diện tích thành số
Diện tích có ba kiểu: 73,5 m2, 101 m², 63m2. Phần số luôn đứng đầu, gồm chữ số và có thể một dấu phẩy. str.extract() lấy đúng phần đó; expand=False cho Series thay cho bảng một cột:
import pandas as pd
nha = pd.read_csv("nha_dat.csv")
so = nha["dien_tich"].str.extract(r"([\d,]+)", expand=False)
nha["dien_tich_m2"] = pd.to_numeric(so.str.replace(",", "."))
print(nha[["dien_tich", "dien_tich_m2"]].head(4))
print(nha["dien_tich_m2"].dtype)KẾT QUẢ
dien_tich dien_tich_m2
0 73,5 m2 73.5
1 101 m² 101.0
2 74 m2 74.0
3 180,5 m² 180.5
float64Đơn vị m2 hay m² bị bỏ qua vì mẫu chỉ bắt chữ số và dấu phẩy. Dấu phẩy thập phân đổi thành dấu chấm trước khi to_numeric() đọc.
Bước 3: Đổi giá thành tỷ đồng
Giá khó hơn: số có thể kèm tỷ hoặc triệu, số triệu có dấu chấm ngăn hàng nghìn như 2.870 triệu, và có tin ghi Thỏa thuận hay để trống. Mẫu regex bắt hai nhóm, phần số và đơn vị; Series.where() giữ số tỷ và chia số triệu cho 1000:
import pandas as pd
nha = pd.read_csv("nha_dat.csv")
phan = nha["gia"].str.extract(r"([\d.,]+)\s*(tỷ|triệu)")
so_gia = phan[0].str.replace(".", "").str.replace(",", ".")
gia = pd.to_numeric(so_gia, errors="coerce")
nha["gia_ty"] = gia.where(phan[1] == "tỷ", gia / 1000)
print(nha.loc[[0, 39, 41, 157], ["gia", "gia_ty"]])
print(nha["gia_ty"].isna().sum())KẾT QUẢ
gia gia_ty
0 14,4 tỷ 14.40
39 2.870 triệu 2.87
41 Thỏa thuận NaN
157 NaN NaN
36Thỏa thuận không khớp mẫu nên cả hai nhóm là NaN, và ô trống qua .str vẫn là NaN; errors="coerce" giữ chúng là NaN thay cho báo lỗi. 36 tin không có giá khớp đúng con số của nhật ký.
Bước 4: Chuẩn hóa tên quận
60 cách viết của 15 quận, huyện có bốn nguồn: chữ dựng sẵn và chữ tổ hợp (NFC, NFD), dấu cách thừa, tiền tố Q, Q., quận, và tên cũ của TP. Thủ Đức. Xử lý theo đúng thứ tự đó:
import pandas as pd
nha = pd.read_csv("nha_dat.csv")
quan = nha["quan"].str.normalize("NFC").str.strip()
so_quan = r"^(?:Q\.?\s*|quận\s+)(?=\d)"
quan = quan.str.replace(so_quan, "Quận ", regex=True)
quan = quan.str.replace(r"^Q\.\s*", "", regex=True)
thu_duc = {"Thủ Đức": "TP. Thủ Đức", "TP Thủ Đức": "TP. Thủ Đức",
"Quận 2": "TP. Thủ Đức", "Quận 9": "TP. Thủ Đức"}
nha["quan"] = quan.replace(thu_duc)
print(nha["quan"].nunique())
print(sorted(nha["quan"].unique()))KẾT QUẢ
15
['Bình Chánh', 'Bình Thạnh', 'Bình Tân', 'Gò Vấp', 'Nhà Bè', 'Phú Nhuận', 'Quận 1', 'Quận 10', 'Quận 12', 'Quận 3', 'Quận 5', 'Quận 7', 'TP. Thủ Đức', 'Tân Bình', 'Tân Phú']Mẫu so_quan chỉ đổi tiền tố khi ngay sau nó là chữ số ((?=\d)), nên Q.7 thành Quận 7; mẫu thứ hai bỏ Q. trước tên chữ như Q. Gò Vấp. Bảng biến thể thu_duc gom bốn tên về tên chuẩn. Xóa .str.normalize("NFC") khỏi dòng đầu rồi chạy lại: số đầu tiên thành 23, vì chữ tổ hợp trông giống hệt nhưng là chuỗi khác.
Bước 5: Chuẩn hóa loại nhà
Loại nhà chỉ có hai kiểu lỗi: chữ thường ở đầu và tên ngắn Chung cư. str.capitalize() viết hoa chữ đầu, viết thường phần còn lại; bảng biến thể một dòng lo phần tên ngắn:
import pandas as pd
nha = pd.read_csv("nha_dat.csv")
loai = nha["loai_nha"].str.strip().str.capitalize()
nha["loai_nha"] = loai.replace({"Chung cư": "Căn hộ chung cư"})
print(nha["loai_nha"].value_counts().to_string())KẾT QUẢ
loai_nha
Căn hộ chung cư 406
Nhà hẻm 325
Nhà phố 297
Đất nền 138Tám cách viết còn bốn. Bước này chạy trên file chưa bỏ tin đăng lại, nên các số lớn hơn số trong chương trình hoàn chỉnh.
Bước 6: Tìm ngoại lai bằng ngưỡng 1,5 IQR
Ngoại lai so sánh được khi đo trên cùng một thang, nên tính giá mỗi m² trước. IQR là khoảng giữa tứ phân vị thứ nhất và thứ ba; tin nào vượt Q3 + 1,5 IQR là ứng viên cần xem:
import pandas as pd
nha = pd.read_csv("nha_dat.csv")
so = nha["dien_tich"].str.extract(r"([\d,]+)", expand=False)
nha["dien_tich_m2"] = pd.to_numeric(so.str.replace(",", "."))
phan = nha["gia"].str.extract(r"([\d.,]+)\s*(tỷ|triệu)")
so_gia = phan[0].str.replace(".", "").str.replace(",", ".")
gia = pd.to_numeric(so_gia, errors="coerce")
nha["gia_ty"] = gia.where(phan[1] == "tỷ", gia / 1000)
nha["gia_trieu_m2"] = nha["gia_ty"] * 1000 / nha["dien_tich_m2"]
q1, q3 = nha["gia_trieu_m2"].quantile([0.25, 0.75])
iqr = q3 - q1
ngoai = nha["gia_trieu_m2"] > q3 + 1.5 * iqr
vuot = nha.loc[ngoai, "gia_trieu_m2"].sort_values()
print(len(vuot), vuot.round(1).to_list()[-8:])KẾT QUẢ
34 [368.2, 379.7, 68591.5, 101379.3, 152032.5, 158333.3, inf, inf]Ngưỡng nằm quanh 226 triệu đồng mỗi m², và 34 tin vượt nó. Phần lớn là nhà phố ở các quận trung tâm, đắt thật. Sáu tin cuối thì không thể: giá hàng chục nghìn triệu mỗi m², và inf là phép chia cho diện tích 0. Ngưỡng dưới (Q1 − 1,5 IQR) ở đây âm nên không bắt được gì.
Bước 7: Điều tra rồi quyết định
Điều tra nghĩa là đọc lại chuỗi gốc của các tin lạ. Ba điều kiện mô tả những giá trị không thể có: diện tích 0, diện tích trên 500 m² (mọi tin khác dưới 200 m²), và giá trên 1.000 tỷ:
import pandas as pd
nha = pd.read_csv("nha_dat.csv")
so = nha["dien_tich"].str.extract(r"([\d,]+)", expand=False)
nha["dien_tich_m2"] = pd.to_numeric(so.str.replace(",", "."))
phan = nha["gia"].str.extract(r"([\d.,]+)\s*(tỷ|triệu)")
so_gia = phan[0].str.replace(".", "").str.replace(",", ".")
gia = pd.to_numeric(so_gia, errors="coerce")
nha["gia_ty"] = gia.where(phan[1] == "tỷ", gia / 1000)
sai = ((nha["dien_tich_m2"] == 0) | (nha["dien_tich_m2"] > 500)
| (nha["gia_ty"] > 1000))
print(nha.loc[sai, ["loai_nha", "dien_tich", "gia"]])
nha = nha[~sai].dropna(subset=["gia_ty"])
print(len(nha))KẾT QUẢ
loai_nha dien_tich gia
62 Đất nền 0 m² 8,95 tỷ
348 Nhà hẻm 71 m² 4870 tỷ
403 Nhà hẻm 690 m² 5,82 tỷ
447 Nhà hẻm 42 m2 6650 tỷ
458 Nhà phố 0 m² 7,11 tỷ
473 Nhà phố 61,5 m2 9350 tỷ
556 Nhà phố 116 m² 11760 tỷ
684 nhà hẻm 620 m² 3 tỷ
1122Tám tin là lỗi gõ: 4870 tỷ là 4.870 triệu gõ nhầm đơn vị, 690 m² có lẽ là 69 m² thừa một số 0. Hai tin diện tích lớn có giá mỗi m² thấp, nên ngưỡng trên của Bước 6 không bắt được; điều tra cột diện tích mới thấy. Không đoán được số đúng, nên bỏ cả tám tin cùng 36 tin không giá. 28 tin còn lại vượt ngưỡng là giá thật, giữ nguyên.
Bước 8: Ghép thành chương trình hoàn chỉnh
Chương trình hoàn chỉnh chạy bảy bước theo thứ tự của nhật ký, rồi tính lại ngưỡng IQR trên bảng đã sạch:
import pandas as pd
nha = pd.read_csv("nha_dat.csv")
so_sanh = nha.columns.drop(["ma_tin", "ngay_dang"])
nha = nha.drop_duplicates(subset=so_sanh, keep="first")
so = nha["dien_tich"].str.extract(r"([\d,]+)", expand=False)
nha["dien_tich_m2"] = pd.to_numeric(so.str.replace(",", "."))
phan = nha["gia"].str.extract(r"([\d.,]+)\s*(tỷ|triệu)")
so_gia = phan[0].str.replace(".", "").str.replace(",", ".")
gia = pd.to_numeric(so_gia, errors="coerce")
nha["gia_ty"] = gia.where(phan[1] == "tỷ", gia / 1000)
quan = nha["quan"].str.normalize("NFC").str.strip()
so_quan = r"^(?:Q\.?\s*|quận\s+)(?=\d)"
quan = quan.str.replace(so_quan, "Quận ", regex=True)
quan = quan.str.replace(r"^Q\.\s*", "", regex=True)
thu_duc = {"Thủ Đức": "TP. Thủ Đức", "TP Thủ Đức": "TP. Thủ Đức",
"Quận 2": "TP. Thủ Đức", "Quận 9": "TP. Thủ Đức"}
nha["quan"] = quan.replace(thu_duc)
loai = nha["loai_nha"].str.strip().str.capitalize()
nha["loai_nha"] = loai.replace({"Chung cư": "Căn hộ chung cư"})
sai = ((nha["dien_tich_m2"] == 0) | (nha["dien_tich_m2"] > 500)
| (nha["gia_ty"] > 1000))
nha = nha[~sai].dropna(subset=["gia_ty"])
nha["gia_trieu_m2"] = nha["gia_ty"] * 1000 / nha["dien_tich_m2"]
q1, q3 = nha["gia_trieu_m2"].quantile([0.25, 0.75])
iqr = q3 - q1
ngoai = nha["gia_trieu_m2"] > q3 + 1.5 * iqr
vuot = nha.loc[ngoai, "gia_trieu_m2"].sort_values()
print(len(nha))
print(nha["quan"].nunique())
print(nha["loai_nha"].value_counts().to_string())
print(len(vuot), vuot.round(1).to_list()[-8:])KẾT QUẢ
1056
15
loai_nha
Căn hộ chung cư 359
Nhà hẻm 298
Nhà phố 277
Đất nền 122
29 [286.3, 304.3, 321.3, 328.2, 332.9, 354.1, 368.2, 379.7]1.056 tin sạch, 15 quận, 4 loại nhà; 29 tin vượt ngưỡng đều là giá thật, cao nhất 379,7 triệu đồng mỗi m². File nha_dat_sach.csv của bộ dữ liệu giữ đúng 1.056 tin này (bỏ hai cột chuỗi gốc, giá mỗi m² làm tròn một chữ số), để phần 3 bắt đầu ngay mà không cần chạy lại phần 2. Đổi keep="first" thành keep="last" rồi chạy lại: số tin không đổi, nhưng ngày đăng của 66 tin dời muộn hơn, và câu hỏi giá theo tháng ở phần 3 sẽ đọc khác đi đôi chút.
Bài tập
Đếm tin bất thường theo ngưỡng
Nhóm môi giới muốn tự chọn ngưỡng khi soát tin mới. Viết thân hàm tin_bat_thuong(nha, dt_toi_da, gia_toi_da): nha là bảng tin rao có cột dien_tich_m2 và gia_ty (số, gia_ty có thể trống) như sau Bước 3. Đếm số tin có diện tích bằng 0, diện tích lớn hơn dt_toi_da m² hay giá lớn hơn gia_toi_da tỷ đồng.
Tin đúng bằng ngưỡng chưa tính; tin không có giá chỉ bị tính khi diện tích bất thường.
Một tin sai nhiều chỗ vẫn chỉ tính một lần.
Hàm không sửa nha.
Trả về: số tin bất thường, một int.
Ví dụ: sáu tin có diện tích 70, 0, 690, 200, 85, 120 m² và giá 5; 3,2; 4.100; 9; 4.870 tỷ cùng một tin không giá. Với dt_toi_da=200, gia_toi_da=100, kết quả là 3.
import pandas as pd
def tin_bat_thuong(nha, dt_toi_da, gia_toi_da):
pass # Viết thân hàm thay cho dòng nàyThử mở rộng
Bảng sạch còn vài chỗ bạn có thể làm kỹ hơn:
Gọi
tin_bat_thuong(nha, 500, 1000)ngay trước dòngsai = …của Bước 7: kết quả là8, đúng tám tin của bảng in ra ở đó.Tách số phòng ngủ từ tiêu đề bằng
str.extract(r"(\d+)PN")rồi so với cộtso_phong_ngu, để kiểm hai nguồn có khớp nhau không.Dùng
str.fullmatch(r"Quận \d+|[^\d]+")trên cộtquansau Bước 4 để chắc không còn tên nào lẫn tiền tố lạ.Thử
keep="last"ở Bước 1 và ghi vào nhật ký vì sao bạn chọn giữ tin đầu.Tính giá mỗi m² theo từng quận và từng tháng, việc của phần 3 với bài groupby nhiều cột.
Chủ đề
Dữ liệu của bài
- Tải xuống
nha_dat.csv
CSV · 130.42 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.