Dự án phân tích giá nhà (1/4): đọc dữ liệu, kiểm chất lượng
Bài 3/5 · Chương 9
Dự án phân tích dữ liệu
- 9 phút
- Cơ bản
- Python 3.14
- Cập nhật
Trong bài này · 10
Dự án phân tích giá nhà này đọc 1.166 tin rao bán nhà đất ở TP. Hồ Chí Minh năm 2025 bằng pandas, tìm các lỗi của bảng trước khi tính một con số giá nào, và ghi chúng thành một nhật ký chất lượng. Bạn đi qua bảy bước, từ đọc file tới chương trình hoàn chỉnh kèm danh sách câu hỏi cho ba phần sau, rồi tự viết hàm đếm tin đăng lại ở cuối trang.
Cần biết trước: read_csv(), info() và describe(), kiểm tra chất lượng dữ liệu, dữ liệu thiếu, value_counts() và tư duy phân tích dữ liệu.
Chương trình sẽ làm gì
Một nhóm môi giới gửi bạn file nha_dat.csv trong bộ dữ liệu thực hành: tin rao hư cấu, giá mô phỏng, đừng coi là giá thị trường. Họ muốn biết khu nào đắt, loại nhà nào đắt và giá có đang nhích lên không. Chương trình nhận file tin rao thô và kiểm từng cột. Nó đưa ra hai thứ: bảng nhật ký chất lượng (cột nào lỗi gì, bao nhiêu dòng, định xử lý ra sao) và bốn câu hỏi dữ liệu kèm các cột mỗi câu cần.
Chương trình không có rẽ nhánh; vòng lặp duy nhất in danh sách câu hỏi. Thứ tự dựng theo bốn loại lỗi của bài kiểm tra chất lượng dữ liệu: nhìn bảng, xem kiểu cột, đếm ô thiếu, tìm cách viết lạ, tìm tin trùng, rồi ghi nhật ký và chọn câu hỏi. Phần 1 chỉ chẩn đoán, chưa sửa gì: sửa là việc của phần 2. Nếu đã làm dự án phân tích điểm thi bằng Python thuần, bạn sẽ thấy pandas rút các bước kiểm đó còn một, hai dòng.
Bước 1: Đọc file và nhìn vài dòng đầu
Đọc file bằng read_csv() trơn, rồi xem cỡ bảng, khoảng ngày và bốn cột quan trọng của vài tin đầu:
import pandas as pd
nha = pd.read_csv("nha_dat.csv")
print(nha.shape, nha["ngay_dang"].min(), nha["ngay_dang"].max())
print(nha.columns.to_list())
print(nha[["loai_nha", "quan", "dien_tich", "gia"]].head(4))KẾT QUẢ
(1166, 9) 2025-01-01 2025-12-31
['ma_tin', 'ngay_dang', 'tieu_de', 'loai_nha', 'quan', 'dien_tich', 'gia', 'so_phong_ngu', 'so_tang']
loai_nha quan dien_tich gia
0 Nhà hẻm Q1 73,5 m2 14,4 tỷ
1 Căn hộ chung cư Bình Thạnh 101 m² 6,46 tỷ
2 Căn hộ chung cư Phú Nhuận 74 m2 6,47 tỷ
3 Đất nền Tân Bình 180,5 m² 12,41 tỷBốn dòng đã lộ ba vấn đề: quận ghi Q1 thay cho Quận 1, diện tích lẫn m2 với m², giá kèm chữ tỷ. Bảng có 1.166 tin trong cả năm 2025.
Bước 2: Xem kiểu của từng cột
Muốn tính giá mỗi m², hai cột dien_tich và gia phải là số. dtypes cho biết pandas đã đọc mỗi cột thành kiểu gì:
import pandas as pd
nha = pd.read_csv("nha_dat.csv")
print(nha.dtypes.to_string())
print(nha["gia"].sample(6, random_state=2).to_list())KẾT QUẢ
ma_tin str
ngay_dang str
tieu_de str
loai_nha str
quan str
dien_tich str
gia str
so_phong_ngu float64
so_tang float64
['6,01 tỷ', '12,18 tỷ', '2,13 tỷ', '21,17 tỷ', '11,18 tỷ', '4,7 tỷ']dien_tich và gia là chuỗi, vì có chữ đơn vị và dấu phẩy thập phân. Đây là lỗi sai kiểu, trên cả 1.166 dòng. Đổi random_state=2 thành random_state=10 rồi chạy lại: dòng cuối in sáu giá khác, có cả 2.380 triệu và Thỏa thuận.
Bước 3: Đếm ô thiếu và tìm lý do
isna().sum() đếm ô trống của mỗi cột. Ô trống chưa chắc là lỗi: cần xem nó rơi vào những tin nào.
import pandas as pd
nha = pd.read_csv("nha_dat.csv")
thieu = nha.isna().sum()
print(thieu[thieu > 0].to_string())
thieu_tang = nha.loc[nha["so_tang"].isna(), "loai_nha"]
print(thieu_tang.value_counts().to_string())KẾT QUẢ
gia 6
so_phong_ngu 138
so_tang 544
loai_nha
Căn hộ chung cư 391
Đất nền 134
Chung cư 15
đất nền 4Mọi tin trống so_tang là căn hộ hay đất nền: căn hộ không có "số tầng của căn", đất nền chưa xây. Đây là thiếu có lý do, loại mà bài dữ liệu thiếu gọi là thiếu có hệ thống, nên giữ nguyên. 6 ô trống của gia thì khác: tin không có giá không dùng được cho câu hỏi về giá.
Bước 4: Tìm giá trị lạ và nhiều cách viết
Cột chữ có thể ghi cùng một thứ theo nhiều cách. nunique() đếm số giá trị khác nhau; so nó với số giá trị bạn chờ đợi:
import pandas as pd
nha = pd.read_csv("nha_dat.csv")
print(nha["loai_nha"].nunique(), sorted(nha["loai_nha"].unique()))
print(nha["quan"].nunique())
print(nha["quan"].value_counts().tail(5).index.to_list())
print((nha["gia"] == "Thỏa thuận").sum())KẾT QUẢ
8 ['Chung cư', 'Căn hộ chung cư', 'Nhà hẻm', 'Nhà phố', 'nhà hẻm', 'nhà phố', 'Đất nền', 'đất nền']
60
['quận 3', 'Q. Tân Phú', 'Q. Bình Tân', 'Q. Phú Nhuận', 'Tân Phú ']
30Bốn loại nhà được viết thành 8 cách, vì chữ hoa chữ thường và Chung cư thay cho Căn hộ chung cư. 15 quận, huyện thành 60 cách viết: Q., quận chữ thường, và cả Tân Phú có dấu cách thừa ở cuối, khó thấy bằng mắt. Thêm 30 tin ghi giá Thỏa thuận, cộng 6 ô trống là 36 tin không có giá.
Bước 5: Tìm tin đăng lại
Người rao hay đăng lại tin cũ sau vài ngày. Khi đăng lại, trang rao vặt cấp mã tin mới và ghi ngày đăng mới, còn nội dung tin vẫn vậy. Vì thế phải so trên các cột còn lại, bằng duplicated(subset=…) của bài drop_duplicates().
import pandas as pd
nha = pd.read_csv("nha_dat.csv")
so_sanh = nha.columns.drop(["ma_tin", "ngay_dang"])
lap = nha.duplicated(subset=so_sanh)
print(lap.sum())
print(nha.loc[lap, ["ma_tin", "ngay_dang", "quan", "gia"]].head(3))KẾT QUẢ
66
ma_tin ngay_dang quan gia
34 T00035 2025-01-11 Quận 7 2,56 tỷ
51 T00052 2025-01-16 Tân Bình 12,41 tỷ
63 T00064 2025-01-21 Quận 9 12,6 tỷ66 tin là bản đăng lại; duplicated() đánh dấu bản xuất hiện sau, nên tin gốc vẫn là False. Nếu để cả hai, căn nhà đăng hai lần sẽ góp hai phiếu vào giá trung vị của quận đó.
Bước 6: Ghi nhật ký chất lượng
Nhật ký gom những gì năm bước trên tìm được thành một bảng: cột nào, lỗi gì, con số, và định xử lý ra sao ở phần 2. Mỗi con số tính từ dữ liệu, không gõ tay, để chạy lại trên file mới vẫn đúng.
import pandas as pd
nha = pd.read_csv("nha_dat.csv")
thieu = nha.isna().sum()
so_sanh = nha.columns.drop(["ma_tin", "ngay_dang"])
so_lap = int(nha.duplicated(subset=so_sanh).sum())
thoa_thuan = int((nha["gia"] == "Thỏa thuận").sum())
nhat_ky = pd.DataFrame([
("dien_tich, gia", "sai kiểu", len(nha), "tách số"),
("gia", "thiếu", int(thieu["gia"]) + thoa_thuan, "bỏ tin"),
("so_tang", "thiếu có lý do", int(thieu["so_tang"]), "giữ"),
("quan", "nhiều cách viết", nha["quan"].nunique(), "chuẩn hóa"),
("(cả dòng)", "tin đăng lại", so_lap, "giữ tin đầu"),
], columns=["cot", "loi", "con_so", "xu_ly"])
print(nhat_ky)KẾT QUẢ
cot loi con_so xu_ly
0 dien_tich, gia sai kiểu 1166 tách số
1 gia thiếu 36 bỏ tin
2 so_tang thiếu có lý do 544 giữ
3 quan nhiều cách viết 60 chuẩn hóa
4 (cả dòng) tin đăng lại 66 giữ tin đầuCột con_so của dòng quan là số cách viết, của các dòng khác là số tin. Phần 2 làm theo đúng thứ tự xử lý của bài kiểm tra chất lượng: bỏ tin đăng lại trước, rồi sửa kiểu, rồi chuẩn hóa tên và bỏ tin không giá.
Bước 7: Chọn câu hỏi và ghép chương trình hoàn chỉnh
Câu hỏi của nhóm môi giới thành bốn câu hỏi dữ liệu theo cách của bài tư duy phân tích dữ liệu. Ghi kèm các cột mỗi câu cần, để thấy cột nào phải sạch trước. Chương trình hoàn chỉnh ghép bảy bước:
import pandas as pd
nha = pd.read_csv("nha_dat.csv")
print(nha.shape, nha["ngay_dang"].min(), nha["ngay_dang"].max())
thieu = nha.isna().sum()
so_sanh = nha.columns.drop(["ma_tin", "ngay_dang"])
so_lap = int(nha.duplicated(subset=so_sanh).sum())
thoa_thuan = int((nha["gia"] == "Thỏa thuận").sum())
nhat_ky = pd.DataFrame([
("dien_tich, gia", "sai kiểu", len(nha), "tách số"),
("gia", "thiếu", int(thieu["gia"]) + thoa_thuan, "bỏ tin"),
("so_tang", "thiếu có lý do", int(thieu["so_tang"]), "giữ"),
("quan", "nhiều cách viết", nha["quan"].nunique(), "chuẩn hóa"),
("(cả dòng)", "tin đăng lại", so_lap, "giữ tin đầu"),
], columns=["cot", "loi", "con_so", "xu_ly"])
print(nhat_ky)
cau_hoi = [
"Khu nào đắt nhất, rẻ nhất tính theo giá mỗi m²?",
"Nhà phố, nhà hẻm, căn hộ, đất nền chênh nhau bao nhiêu?",
"Giá mỗi m² nhích lên hay giảm theo từng tháng?",
"Bao nhiêu tin đủ sạch để tin vào con số?",
]
can_cot = ["gia, dien_tich, quan", "gia, dien_tich, loai_nha",
"gia, dien_tich, ngay_dang", "cả bảng"]
for i, (cau, cot) in enumerate(zip(cau_hoi, can_cot), start=1):
print(f"{i}. {cau} [{cot}]")KẾT QUẢ
(1166, 9) 2025-01-01 2025-12-31
cot loi con_so xu_ly
0 dien_tich, gia sai kiểu 1166 tách số
1 gia thiếu 36 bỏ tin
2 so_tang thiếu có lý do 544 giữ
3 quan nhiều cách viết 60 chuẩn hóa
4 (cả dòng) tin đăng lại 66 giữ tin đầu
1. Khu nào đắt nhất, rẻ nhất tính theo giá mỗi m²? [gia, dien_tich, quan]
2. Nhà phố, nhà hẻm, căn hộ, đất nền chênh nhau bao nhiêu? [gia, dien_tich, loai_nha]
3. Giá mỗi m² nhích lên hay giảm theo từng tháng? [gia, dien_tich, ngay_dang]
4. Bao nhiêu tin đủ sạch để tin vào con số? [cả bảng]Ba câu đầu cùng cần gia và dien_tich ở dạng số, nên đó là việc đầu tiên của phần 2. Câu thứ tư nhắc rằng báo cáo phải nói dữ liệu sạch tới đâu trước khi đưa con số giá. Thêm một tên cột vào list trong drop() của so_sanh (chẳng hạn "tieu_de") rồi chạy lại: số tin đăng lại có thể tăng, vì các tin chỉ khác nhau ở cột vừa bỏ ra cũng bị coi là trùng.
Bài tập
Đếm tin đăng lại
Trang rao vặt khác xuất file có thêm cột luot_xem, cũng đổi giữa bản gốc và bản đăng lại. Viết thân hàm tin_dang_lai(nha, bo_qua): nha là bảng tin rao có các cột như chương trình trên, bo_qua là list tên các cột được phép khác nhau giữa hai bản. Đếm số tin là bản đăng lại của một tin xuất hiện trước nó, khi so mọi cột trừ các cột trong bo_qua. Tin gốc không được đếm. Hàm không sửa nha.
Trả về: số tin đăng lại, một int.
import pandas as pd
def tin_dang_lai(nha, bo_qua):
pass # Viết thân hàm thay cho dòng nàyThử mở rộng
Chương trình còn chỗ để bạn thêm vài dòng kiểm nữa:
Đếm tin có
so_phong_ngutrống mà không phải đất nền, theo cách của Bước 3, để xem cột đó có thiếu ngoài lý do không.Thêm vào nhật ký một dòng cho
loai_nhavớinunique()của nó, cạnh dòng củaquan.Dùng
value_counts(normalize=True)trênloai_nhađể xem mỗi loại nhà chiếm bao nhiêu phần trăm số tin, và ghi vào phần bối cảnh.Tách diện tích và giá thành số bằng
.str.extract(), việc mở đầu của phần 2 với bài str.extract().
Chủ đề
Dữ liệu của bài
- Tải xuống
nha_dat.csv
CSV · 130.42 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.