Bỏ qua đến nội dung chính
Mục lục

Dự án phân tích giá nhà (1/4): đọc dữ liệu, kiểm chất lượng

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 3/5 · Chương 9

Dự án phân tích dữ liệu

  • 9 phút
  • Cơ bản
  • Python 3.14
  • Cập nhật

Dự án phân tích giá nhà này đọc 1.166 tin rao bán nhà đất ở TP. Hồ Chí Minh năm 2025 bằng pandas, tìm các lỗi của bảng trước khi tính một con số giá nào, và ghi chúng thành một nhật ký chất lượng. Bạn đi qua bảy bước, từ đọc file tới chương trình hoàn chỉnh kèm danh sách câu hỏi cho ba phần sau, rồi tự viết hàm đếm tin đăng lại ở cuối trang.

Cần biết trước: read_csv(), info() và describe(), kiểm tra chất lượng dữ liệu, dữ liệu thiếu, value_counts() và tư duy phân tích dữ liệu.

Chương trình sẽ làm gì

Một nhóm môi giới gửi bạn file nha_dat.csv trong bộ dữ liệu thực hành: tin rao hư cấu, giá mô phỏng, đừng coi là giá thị trường. Họ muốn biết khu nào đắt, loại nhà nào đắt và giá có đang nhích lên không. Chương trình nhận file tin rao thô và kiểm từng cột. Nó đưa ra hai thứ: bảng nhật ký chất lượng (cột nào lỗi gì, bao nhiêu dòng, định xử lý ra sao) và bốn câu hỏi dữ liệu kèm các cột mỗi câu cần.

Chương trình không có rẽ nhánh; vòng lặp duy nhất in danh sách câu hỏi. Thứ tự dựng theo bốn loại lỗi của bài kiểm tra chất lượng dữ liệu: nhìn bảng, xem kiểu cột, đếm ô thiếu, tìm cách viết lạ, tìm tin trùng, rồi ghi nhật ký và chọn câu hỏi. Phần 1 chỉ chẩn đoán, chưa sửa gì: sửa là việc của phần 2. Nếu đã làm dự án phân tích điểm thi bằng Python thuần, bạn sẽ thấy pandas rút các bước kiểm đó còn một, hai dòng.

Bước 1: Đọc file và nhìn vài dòng đầu

Đọc file bằng read_csv() trơn, rồi xem cỡ bảng, khoảng ngày và bốn cột quan trọng của vài tin đầu:

python
import pandas as pd

nha = pd.read_csv("nha_dat.csv")
print(nha.shape, nha["ngay_dang"].min(), nha["ngay_dang"].max())
print(nha.columns.to_list())
print(nha[["loai_nha", "quan", "dien_tich", "gia"]].head(4))

KẾT QUẢ

(1166, 9) 2025-01-01 2025-12-31
['ma_tin', 'ngay_dang', 'tieu_de', 'loai_nha', 'quan', 'dien_tich', 'gia', 'so_phong_ngu', 'so_tang']
          loai_nha        quan dien_tich       gia
0          Nhà hẻm          Q1   73,5 m2   14,4 tỷ
1  Căn hộ chung cư  Bình Thạnh    101 m²   6,46 tỷ
2  Căn hộ chung cư   Phú Nhuận     74 m2   6,47 tỷ
3          Đất nền    Tân Bình  180,5 m²  12,41 tỷ

Bốn dòng đã lộ ba vấn đề: quận ghi Q1 thay cho Quận 1, diện tích lẫn m2 với m², giá kèm chữ tỷ. Bảng có 1.166 tin trong cả năm 2025.

Bước 2: Xem kiểu của từng cột

Muốn tính giá mỗi m², hai cột dien_tich và gia phải là số. dtypes cho biết pandas đã đọc mỗi cột thành kiểu gì:

python
import pandas as pd

nha = pd.read_csv("nha_dat.csv")
print(nha.dtypes.to_string())
print(nha["gia"].sample(6, random_state=2).to_list())

KẾT QUẢ

ma_tin              str
ngay_dang           str
tieu_de             str
loai_nha            str
quan                str
dien_tich           str
gia                 str
so_phong_ngu    float64
so_tang         float64
['6,01 tỷ', '12,18 tỷ', '2,13 tỷ', '21,17 tỷ', '11,18 tỷ', '4,7 tỷ']

dien_tich và gia là chuỗi, vì có chữ đơn vị và dấu phẩy thập phân. Đây là lỗi sai kiểu, trên cả 1.166 dòng. Đổi random_state=2 thành random_state=10 rồi chạy lại: dòng cuối in sáu giá khác, có cả 2.380 triệu và Thỏa thuận.

Bước 3: Đếm ô thiếu và tìm lý do

isna().sum() đếm ô trống của mỗi cột. Ô trống chưa chắc là lỗi: cần xem nó rơi vào những tin nào.

python
import pandas as pd

nha = pd.read_csv("nha_dat.csv")
thieu = nha.isna().sum()
print(thieu[thieu > 0].to_string())
thieu_tang = nha.loc[nha["so_tang"].isna(), "loai_nha"]
print(thieu_tang.value_counts().to_string())

KẾT QUẢ

gia               6
so_phong_ngu    138
so_tang         544
loai_nha
Căn hộ chung cư    391
Đất nền            134
Chung cư            15
đất nền              4

Mọi tin trống so_tang là căn hộ hay đất nền: căn hộ không có "số tầng của căn", đất nền chưa xây. Đây là thiếu có lý do, loại mà bài dữ liệu thiếu gọi là thiếu có hệ thống, nên giữ nguyên. 6 ô trống của gia thì khác: tin không có giá không dùng được cho câu hỏi về giá.

Bước 4: Tìm giá trị lạ và nhiều cách viết

Cột chữ có thể ghi cùng một thứ theo nhiều cách. nunique() đếm số giá trị khác nhau; so nó với số giá trị bạn chờ đợi:

python
import pandas as pd

nha = pd.read_csv("nha_dat.csv")
print(nha["loai_nha"].nunique(), sorted(nha["loai_nha"].unique()))
print(nha["quan"].nunique())
print(nha["quan"].value_counts().tail(5).index.to_list())
print((nha["gia"] == "Thỏa thuận").sum())

KẾT QUẢ

8 ['Chung cư', 'Căn hộ chung cư', 'Nhà hẻm', 'Nhà phố', 'nhà hẻm', 'nhà phố', 'Đất nền', 'đất nền']
60
['quận 3', 'Q. Tân Phú', 'Q. Bình Tân', 'Q. Phú Nhuận', 'Tân Phú ']
30

Bốn loại nhà được viết thành 8 cách, vì chữ hoa chữ thường và Chung cư thay cho Căn hộ chung cư. 15 quận, huyện thành 60 cách viết: Q., quận chữ thường, và cả Tân Phú có dấu cách thừa ở cuối, khó thấy bằng mắt. Thêm 30 tin ghi giá Thỏa thuận, cộng 6 ô trống là 36 tin không có giá.

Bước 5: Tìm tin đăng lại

Người rao hay đăng lại tin cũ sau vài ngày. Khi đăng lại, trang rao vặt cấp mã tin mới và ghi ngày đăng mới, còn nội dung tin vẫn vậy. Vì thế phải so trên các cột còn lại, bằng duplicated(subset=…) của bài drop_duplicates().

python
import pandas as pd

nha = pd.read_csv("nha_dat.csv")
so_sanh = nha.columns.drop(["ma_tin", "ngay_dang"])
lap = nha.duplicated(subset=so_sanh)
print(lap.sum())
print(nha.loc[lap, ["ma_tin", "ngay_dang", "quan", "gia"]].head(3))

KẾT QUẢ

66
    ma_tin   ngay_dang      quan       gia
34  T00035  2025-01-11    Quận 7   2,56 tỷ
51  T00052  2025-01-16  Tân Bình  12,41 tỷ
63  T00064  2025-01-21    Quận 9   12,6 tỷ

66 tin là bản đăng lại; duplicated() đánh dấu bản xuất hiện sau, nên tin gốc vẫn là False. Nếu để cả hai, căn nhà đăng hai lần sẽ góp hai phiếu vào giá trung vị của quận đó.

Bước 6: Ghi nhật ký chất lượng

Nhật ký gom những gì năm bước trên tìm được thành một bảng: cột nào, lỗi gì, con số, và định xử lý ra sao ở phần 2. Mỗi con số tính từ dữ liệu, không gõ tay, để chạy lại trên file mới vẫn đúng.

python
import pandas as pd

nha = pd.read_csv("nha_dat.csv")
thieu = nha.isna().sum()
so_sanh = nha.columns.drop(["ma_tin", "ngay_dang"])
so_lap = int(nha.duplicated(subset=so_sanh).sum())
thoa_thuan = int((nha["gia"] == "Thỏa thuận").sum())
nhat_ky = pd.DataFrame([
    ("dien_tich, gia", "sai kiểu", len(nha), "tách số"),
    ("gia", "thiếu", int(thieu["gia"]) + thoa_thuan, "bỏ tin"),
    ("so_tang", "thiếu có lý do", int(thieu["so_tang"]), "giữ"),
    ("quan", "nhiều cách viết", nha["quan"].nunique(), "chuẩn hóa"),
    ("(cả dòng)", "tin đăng lại", so_lap, "giữ tin đầu"),
], columns=["cot", "loi", "con_so", "xu_ly"])
print(nhat_ky)

KẾT QUẢ

              cot              loi  con_so        xu_ly
0  dien_tich, gia         sai kiểu    1166      tách số
1             gia            thiếu      36       bỏ tin
2         so_tang   thiếu có lý do     544          giữ
3            quan  nhiều cách viết      60    chuẩn hóa
4       (cả dòng)     tin đăng lại      66  giữ tin đầu

Cột con_so của dòng quan là số cách viết, của các dòng khác là số tin. Phần 2 làm theo đúng thứ tự xử lý của bài kiểm tra chất lượng: bỏ tin đăng lại trước, rồi sửa kiểu, rồi chuẩn hóa tên và bỏ tin không giá.

Bước 7: Chọn câu hỏi và ghép chương trình hoàn chỉnh

Câu hỏi của nhóm môi giới thành bốn câu hỏi dữ liệu theo cách của bài tư duy phân tích dữ liệu. Ghi kèm các cột mỗi câu cần, để thấy cột nào phải sạch trước. Chương trình hoàn chỉnh ghép bảy bước:

python
import pandas as pd

nha = pd.read_csv("nha_dat.csv")
print(nha.shape, nha["ngay_dang"].min(), nha["ngay_dang"].max())

thieu = nha.isna().sum()
so_sanh = nha.columns.drop(["ma_tin", "ngay_dang"])
so_lap = int(nha.duplicated(subset=so_sanh).sum())
thoa_thuan = int((nha["gia"] == "Thỏa thuận").sum())

nhat_ky = pd.DataFrame([
    ("dien_tich, gia", "sai kiểu", len(nha), "tách số"),
    ("gia", "thiếu", int(thieu["gia"]) + thoa_thuan, "bỏ tin"),
    ("so_tang", "thiếu có lý do", int(thieu["so_tang"]), "giữ"),
    ("quan", "nhiều cách viết", nha["quan"].nunique(), "chuẩn hóa"),
    ("(cả dòng)", "tin đăng lại", so_lap, "giữ tin đầu"),
], columns=["cot", "loi", "con_so", "xu_ly"])
print(nhat_ky)

cau_hoi = [
    "Khu nào đắt nhất, rẻ nhất tính theo giá mỗi m²?",
    "Nhà phố, nhà hẻm, căn hộ, đất nền chênh nhau bao nhiêu?",
    "Giá mỗi m² nhích lên hay giảm theo từng tháng?",
    "Bao nhiêu tin đủ sạch để tin vào con số?",
]
can_cot = ["gia, dien_tich, quan", "gia, dien_tich, loai_nha",
           "gia, dien_tich, ngay_dang", "cả bảng"]
for i, (cau, cot) in enumerate(zip(cau_hoi, can_cot), start=1):
    print(f"{i}. {cau} [{cot}]")

KẾT QUẢ

(1166, 9) 2025-01-01 2025-12-31
              cot              loi  con_so        xu_ly
0  dien_tich, gia         sai kiểu    1166      tách số
1             gia            thiếu      36       bỏ tin
2         so_tang   thiếu có lý do     544          giữ
3            quan  nhiều cách viết      60    chuẩn hóa
4       (cả dòng)     tin đăng lại      66  giữ tin đầu
1. Khu nào đắt nhất, rẻ nhất tính theo giá mỗi m²? [gia, dien_tich, quan]
2. Nhà phố, nhà hẻm, căn hộ, đất nền chênh nhau bao nhiêu? [gia, dien_tich, loai_nha]
3. Giá mỗi m² nhích lên hay giảm theo từng tháng? [gia, dien_tich, ngay_dang]
4. Bao nhiêu tin đủ sạch để tin vào con số? [cả bảng]

Ba câu đầu cùng cần gia và dien_tich ở dạng số, nên đó là việc đầu tiên của phần 2. Câu thứ tư nhắc rằng báo cáo phải nói dữ liệu sạch tới đâu trước khi đưa con số giá. Thêm một tên cột vào list trong drop() của so_sanh (chẳng hạn "tieu_de") rồi chạy lại: số tin đăng lại có thể tăng, vì các tin chỉ khác nhau ở cột vừa bỏ ra cũng bị coi là trùng.

Bài tập

Đếm tin đăng lại

Trang rao vặt khác xuất file có thêm cột luot_xem, cũng đổi giữa bản gốc và bản đăng lại. Viết thân hàm tin_dang_lai(nha, bo_qua): nha là bảng tin rao có các cột như chương trình trên, bo_qua là list tên các cột được phép khác nhau giữa hai bản. Đếm số tin là bản đăng lại của một tin xuất hiện trước nó, khi so mọi cột trừ các cột trong bo_qua. Tin gốc không được đếm. Hàm không sửa nha.

Trả về: số tin đăng lại, một int.

python
import pandas as pd

def tin_dang_lai(nha, bo_qua):
    pass  # Viết thân hàm thay cho dòng này

Thử mở rộng

Chương trình còn chỗ để bạn thêm vài dòng kiểm nữa:

  • Đếm tin có so_phong_ngu trống mà không phải đất nền, theo cách của Bước 3, để xem cột đó có thiếu ngoài lý do không.

  • Thêm vào nhật ký một dòng cho loai_nha với nunique() của nó, cạnh dòng của quan.

  • Dùng value_counts(normalize=True) trên loai_nha để xem mỗi loại nhà chiếm bao nhiêu phần trăm số tin, và ghi vào phần bối cảnh.

  • Tách diện tích và giá thành số bằng .str.extract(), việc mở đầu của phần 2 với bài str.extract().

Chủ đề

phân tích giá nhà

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập