Bỏ qua đến nội dung chính
Mục lục

Dự án giá nhà (2/4): làm sạch dữ liệu bất động sản

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 4/5 · Chương 9

Dự án phân tích dữ liệu

  • 10 phút
  • Cơ bản
  • Python 3.14
  • Cập nhật

Dự án giá nhà phần 2 làm sạch dữ liệu bất động sản từ 1.166 tin rao: bỏ tin đăng lại, tách diện tích và giá ra khỏi chuỗi, chuẩn hóa tên và xử lý ngoại lai. Bạn đi qua tám bước theo nhật ký chất lượng của phần 1 tới chương trình hoàn chỉnh, rồi tự viết hàm đếm tin bất thường ở cuối trang.

Cần biết trước: drop_duplicates(), accessor .str, str.extract(), regex trong pandas, to_numeric(), chuẩn hóa tiếng Việt và ngoại lai IQR.

Chương trình sẽ làm gì

Phần 1 kết thúc bằng một nhật ký năm dòng trên file nha_dat.csv của bộ dữ liệu thực hành: tin đăng lại, diện tích và giá là chuỗi, tin không có giá, tên quận nhiều cách viết. Chương trình nhận file thô ấy và xử lý từng dòng nhật ký. Nó đưa ra bảng sạch có ba cột số mới, dien_tich_m2, gia_ty (tỷ đồng) và gia_trieu_m2 (triệu đồng mỗi m²), 15 tên quận chuẩn, 4 loại nhà, và số tin vượt ngưỡng ngoại lai mà nó quyết định giữ lại.

Chương trình không có vòng lặp hay rẽ nhánh: mọi phép xử lý chạy trên cả cột. Thứ tự dựng theo nhật ký: bỏ tin đăng lại trước, rồi đổi diện tích, đổi giá, chuẩn hóa tên, cuối cùng mới tìm và điều tra ngoại lai, vì ngoại lai chỉ tính được khi giá đã là số. Ở file này bản đăng lại chép y nguyên từng ký tự, nên bỏ trước được; nguồn tin gõ lại tên khi đăng lại thì phải chuẩn hóa tên trước.

Bước 1: Bỏ tin đăng lại

Như Bước 5 của phần 1, tin đăng lại giống tin gốc ở mọi cột trừ mã và ngày. drop_duplicates() với subset= các cột còn lại giữ tin đầu tiên của mỗi nhóm:

python
import pandas as pd

nha = pd.read_csv("nha_dat.csv")
so_sanh = nha.columns.drop(["ma_tin", "ngay_dang"])
nha = nha.drop_duplicates(subset=so_sanh, keep="first")
print(len(nha))
print(nha["ma_tin"].head(3).to_list())

KẾT QUẢ

1100
['T00001', 'T00002', 'T00003']

Còn 1.100 tin. keep="first" giữ tin đăng sớm hơn, vì tin đã sắp theo ngày đăng; đổi thành keep="last" thì số dòng không đổi, nhưng mã và ngày còn lại là của bản đăng lại.

Bước 2: Đổi diện tích thành số

Diện tích có ba kiểu: 73,5 m2, 101 m², 63m2. Phần số luôn đứng đầu, gồm chữ số và có thể một dấu phẩy. str.extract() lấy đúng phần đó; expand=False cho Series thay cho bảng một cột:

python
import pandas as pd

nha = pd.read_csv("nha_dat.csv")
so = nha["dien_tich"].str.extract(r"([\d,]+)", expand=False)
nha["dien_tich_m2"] = pd.to_numeric(so.str.replace(",", "."))
print(nha[["dien_tich", "dien_tich_m2"]].head(4))
print(nha["dien_tich_m2"].dtype)

KẾT QUẢ

  dien_tich  dien_tich_m2
0   73,5 m2          73.5
1    101 m²         101.0
2     74 m2          74.0
3  180,5 m²         180.5
float64

Đơn vị m2 hay m² bị bỏ qua vì mẫu chỉ bắt chữ số và dấu phẩy. Dấu phẩy thập phân đổi thành dấu chấm trước khi to_numeric() đọc.

Bước 3: Đổi giá thành tỷ đồng

Giá khó hơn: số có thể kèm tỷ hoặc triệu, số triệu có dấu chấm ngăn hàng nghìn như 2.870 triệu, và có tin ghi Thỏa thuận hay để trống. Mẫu regex bắt hai nhóm, phần số và đơn vị; Series.where() giữ số tỷ và chia số triệu cho 1000:

python
import pandas as pd

nha = pd.read_csv("nha_dat.csv")
phan = nha["gia"].str.extract(r"([\d.,]+)\s*(tỷ|triệu)")
so_gia = phan[0].str.replace(".", "").str.replace(",", ".")
gia = pd.to_numeric(so_gia, errors="coerce")
nha["gia_ty"] = gia.where(phan[1] == "tỷ", gia / 1000)
print(nha.loc[[0, 39, 41, 157], ["gia", "gia_ty"]])
print(nha["gia_ty"].isna().sum())

KẾT QUẢ

             gia  gia_ty
0        14,4 tỷ   14.40
39   2.870 triệu    2.87
41    Thỏa thuận     NaN
157          NaN     NaN
36

Thỏa thuận không khớp mẫu nên cả hai nhóm là NaN, và ô trống qua .str vẫn là NaN; errors="coerce" giữ chúng là NaN thay cho báo lỗi. 36 tin không có giá khớp đúng con số của nhật ký.

Bước 4: Chuẩn hóa tên quận

60 cách viết của 15 quận, huyện có bốn nguồn: chữ dựng sẵn và chữ tổ hợp (NFC, NFD), dấu cách thừa, tiền tố Q, Q., quận, và tên cũ của TP. Thủ Đức. Xử lý theo đúng thứ tự đó:

python
import pandas as pd

nha = pd.read_csv("nha_dat.csv")
quan = nha["quan"].str.normalize("NFC").str.strip()
so_quan = r"^(?:Q\.?\s*|quận\s+)(?=\d)"
quan = quan.str.replace(so_quan, "Quận ", regex=True)
quan = quan.str.replace(r"^Q\.\s*", "", regex=True)
thu_duc = {"Thủ Đức": "TP. Thủ Đức", "TP Thủ Đức": "TP. Thủ Đức",
           "Quận 2": "TP. Thủ Đức", "Quận 9": "TP. Thủ Đức"}
nha["quan"] = quan.replace(thu_duc)
print(nha["quan"].nunique())
print(sorted(nha["quan"].unique()))

KẾT QUẢ

15
['Bình Chánh', 'Bình Thạnh', 'Bình Tân', 'Gò Vấp', 'Nhà Bè', 'Phú Nhuận', 'Quận 1', 'Quận 10', 'Quận 12', 'Quận 3', 'Quận 5', 'Quận 7', 'TP. Thủ Đức', 'Tân Bình', 'Tân Phú']

Mẫu so_quan chỉ đổi tiền tố khi ngay sau nó là chữ số ((?=\d)), nên Q.7 thành Quận 7; mẫu thứ hai bỏ Q. trước tên chữ như Q. Gò Vấp. Bảng biến thể thu_duc gom bốn tên về tên chuẩn. Xóa .str.normalize("NFC") khỏi dòng đầu rồi chạy lại: số đầu tiên thành 23, vì chữ tổ hợp trông giống hệt nhưng là chuỗi khác.

Bước 5: Chuẩn hóa loại nhà

Loại nhà chỉ có hai kiểu lỗi: chữ thường ở đầu và tên ngắn Chung cư. str.capitalize() viết hoa chữ đầu, viết thường phần còn lại; bảng biến thể một dòng lo phần tên ngắn:

python
import pandas as pd

nha = pd.read_csv("nha_dat.csv")
loai = nha["loai_nha"].str.strip().str.capitalize()
nha["loai_nha"] = loai.replace({"Chung cư": "Căn hộ chung cư"})
print(nha["loai_nha"].value_counts().to_string())

KẾT QUẢ

loai_nha
Căn hộ chung cư    406
Nhà hẻm            325
Nhà phố            297
Đất nền            138

Tám cách viết còn bốn. Bước này chạy trên file chưa bỏ tin đăng lại, nên các số lớn hơn số trong chương trình hoàn chỉnh.

Bước 6: Tìm ngoại lai bằng ngưỡng 1,5 IQR

Ngoại lai so sánh được khi đo trên cùng một thang, nên tính giá mỗi m² trước. IQR là khoảng giữa tứ phân vị thứ nhất và thứ ba; tin nào vượt Q3 + 1,5 IQR là ứng viên cần xem:

python
import pandas as pd

nha = pd.read_csv("nha_dat.csv")
so = nha["dien_tich"].str.extract(r"([\d,]+)", expand=False)
nha["dien_tich_m2"] = pd.to_numeric(so.str.replace(",", "."))
phan = nha["gia"].str.extract(r"([\d.,]+)\s*(tỷ|triệu)")
so_gia = phan[0].str.replace(".", "").str.replace(",", ".")
gia = pd.to_numeric(so_gia, errors="coerce")
nha["gia_ty"] = gia.where(phan[1] == "tỷ", gia / 1000)
nha["gia_trieu_m2"] = nha["gia_ty"] * 1000 / nha["dien_tich_m2"]
q1, q3 = nha["gia_trieu_m2"].quantile([0.25, 0.75])
iqr = q3 - q1
ngoai = nha["gia_trieu_m2"] > q3 + 1.5 * iqr
vuot = nha.loc[ngoai, "gia_trieu_m2"].sort_values()
print(len(vuot), vuot.round(1).to_list()[-8:])

KẾT QUẢ

34 [368.2, 379.7, 68591.5, 101379.3, 152032.5, 158333.3, inf, inf]

Ngưỡng nằm quanh 226 triệu đồng mỗi m², và 34 tin vượt nó. Phần lớn là nhà phố ở các quận trung tâm, đắt thật. Sáu tin cuối thì không thể: giá hàng chục nghìn triệu mỗi m², và inf là phép chia cho diện tích 0. Ngưỡng dưới (Q1 − 1,5 IQR) ở đây âm nên không bắt được gì.

Bước 7: Điều tra rồi quyết định

Điều tra nghĩa là đọc lại chuỗi gốc của các tin lạ. Ba điều kiện mô tả những giá trị không thể có: diện tích 0, diện tích trên 500 m² (mọi tin khác dưới 200 m²), và giá trên 1.000 tỷ:

python
import pandas as pd

nha = pd.read_csv("nha_dat.csv")
so = nha["dien_tich"].str.extract(r"([\d,]+)", expand=False)
nha["dien_tich_m2"] = pd.to_numeric(so.str.replace(",", "."))
phan = nha["gia"].str.extract(r"([\d.,]+)\s*(tỷ|triệu)")
so_gia = phan[0].str.replace(".", "").str.replace(",", ".")
gia = pd.to_numeric(so_gia, errors="coerce")
nha["gia_ty"] = gia.where(phan[1] == "tỷ", gia / 1000)
sai = ((nha["dien_tich_m2"] == 0) | (nha["dien_tich_m2"] > 500)
       | (nha["gia_ty"] > 1000))
print(nha.loc[sai, ["loai_nha", "dien_tich", "gia"]])
nha = nha[~sai].dropna(subset=["gia_ty"])
print(len(nha))

KẾT QUẢ

    loai_nha dien_tich       gia
62   Đất nền      0 m²   8,95 tỷ
348  Nhà hẻm     71 m²   4870 tỷ
403  Nhà hẻm    690 m²   5,82 tỷ
447  Nhà hẻm     42 m2   6650 tỷ
458  Nhà phố      0 m²   7,11 tỷ
473  Nhà phố   61,5 m2   9350 tỷ
556  Nhà phố    116 m²  11760 tỷ
684  nhà hẻm    620 m²      3 tỷ
1122

Tám tin là lỗi gõ: 4870 tỷ là 4.870 triệu gõ nhầm đơn vị, 690 m² có lẽ là 69 m² thừa một số 0. Hai tin diện tích lớn có giá mỗi m² thấp, nên ngưỡng trên của Bước 6 không bắt được; điều tra cột diện tích mới thấy. Không đoán được số đúng, nên bỏ cả tám tin cùng 36 tin không giá. 28 tin còn lại vượt ngưỡng là giá thật, giữ nguyên.

Bước 8: Ghép thành chương trình hoàn chỉnh

Chương trình hoàn chỉnh chạy bảy bước theo thứ tự của nhật ký, rồi tính lại ngưỡng IQR trên bảng đã sạch:

python
import pandas as pd

nha = pd.read_csv("nha_dat.csv")
so_sanh = nha.columns.drop(["ma_tin", "ngay_dang"])
nha = nha.drop_duplicates(subset=so_sanh, keep="first")

so = nha["dien_tich"].str.extract(r"([\d,]+)", expand=False)
nha["dien_tich_m2"] = pd.to_numeric(so.str.replace(",", "."))
phan = nha["gia"].str.extract(r"([\d.,]+)\s*(tỷ|triệu)")
so_gia = phan[0].str.replace(".", "").str.replace(",", ".")
gia = pd.to_numeric(so_gia, errors="coerce")
nha["gia_ty"] = gia.where(phan[1] == "tỷ", gia / 1000)

quan = nha["quan"].str.normalize("NFC").str.strip()
so_quan = r"^(?:Q\.?\s*|quận\s+)(?=\d)"
quan = quan.str.replace(so_quan, "Quận ", regex=True)
quan = quan.str.replace(r"^Q\.\s*", "", regex=True)
thu_duc = {"Thủ Đức": "TP. Thủ Đức", "TP Thủ Đức": "TP. Thủ Đức",
           "Quận 2": "TP. Thủ Đức", "Quận 9": "TP. Thủ Đức"}
nha["quan"] = quan.replace(thu_duc)
loai = nha["loai_nha"].str.strip().str.capitalize()
nha["loai_nha"] = loai.replace({"Chung cư": "Căn hộ chung cư"})

sai = ((nha["dien_tich_m2"] == 0) | (nha["dien_tich_m2"] > 500)
       | (nha["gia_ty"] > 1000))
nha = nha[~sai].dropna(subset=["gia_ty"])
nha["gia_trieu_m2"] = nha["gia_ty"] * 1000 / nha["dien_tich_m2"]
q1, q3 = nha["gia_trieu_m2"].quantile([0.25, 0.75])
iqr = q3 - q1
ngoai = nha["gia_trieu_m2"] > q3 + 1.5 * iqr
vuot = nha.loc[ngoai, "gia_trieu_m2"].sort_values()

print(len(nha))
print(nha["quan"].nunique())
print(nha["loai_nha"].value_counts().to_string())
print(len(vuot), vuot.round(1).to_list()[-8:])

KẾT QUẢ

1056
15
loai_nha
Căn hộ chung cư    359
Nhà hẻm            298
Nhà phố            277
Đất nền            122
29 [286.3, 304.3, 321.3, 328.2, 332.9, 354.1, 368.2, 379.7]

1.056 tin sạch, 15 quận, 4 loại nhà; 29 tin vượt ngưỡng đều là giá thật, cao nhất 379,7 triệu đồng mỗi m². File nha_dat_sach.csv của bộ dữ liệu giữ đúng 1.056 tin này (bỏ hai cột chuỗi gốc, giá mỗi m² làm tròn một chữ số), để phần 3 bắt đầu ngay mà không cần chạy lại phần 2. Đổi keep="first" thành keep="last" rồi chạy lại: số tin không đổi, nhưng ngày đăng của 66 tin dời muộn hơn, và câu hỏi giá theo tháng ở phần 3 sẽ đọc khác đi đôi chút.

Bài tập

Đếm tin bất thường theo ngưỡng

Nhóm môi giới muốn tự chọn ngưỡng khi soát tin mới. Viết thân hàm tin_bat_thuong(nha, dt_toi_da, gia_toi_da): nha là bảng tin rao có cột dien_tich_m2 và gia_ty (số, gia_ty có thể trống) như sau Bước 3. Đếm số tin có diện tích bằng 0, diện tích lớn hơn dt_toi_da m² hay giá lớn hơn gia_toi_da tỷ đồng.

  • Tin đúng bằng ngưỡng chưa tính; tin không có giá chỉ bị tính khi diện tích bất thường.

  • Một tin sai nhiều chỗ vẫn chỉ tính một lần.

Hàm không sửa nha.

Trả về: số tin bất thường, một int.

Ví dụ: sáu tin có diện tích 70, 0, 690, 200, 85, 120 m² và giá 5; 3,2; 4.100; 9; 4.870 tỷ cùng một tin không giá. Với dt_toi_da=200, gia_toi_da=100, kết quả là 3.

python
import pandas as pd

def tin_bat_thuong(nha, dt_toi_da, gia_toi_da):
    pass  # Viết thân hàm thay cho dòng này

Thử mở rộng

Bảng sạch còn vài chỗ bạn có thể làm kỹ hơn:

  • Gọi tin_bat_thuong(nha, 500, 1000) ngay trước dòng sai = … của Bước 7: kết quả là 8, đúng tám tin của bảng in ra ở đó.

  • Tách số phòng ngủ từ tiêu đề bằng str.extract(r"(\d+)PN") rồi so với cột so_phong_ngu, để kiểm hai nguồn có khớp nhau không.

  • Dùng str.fullmatch(r"Quận \d+|[^\d]+") trên cột quan sau Bước 4 để chắc không còn tên nào lẫn tiền tố lạ.

  • Thử keep="last" ở Bước 1 và ghi vào nhật ký vì sao bạn chọn giữ tin đầu.

  • Tính giá mỗi m² theo từng quận và từng tháng, việc của phần 3 với bài groupby nhiều cột.

Chủ đề

làm sạch dữ liệu bất động sản

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập