EDA là gì? Quy trình phân tích khám phá dữ liệu với pandas
Bài 1/4 · Chương 4
Dự án trực quan hóa
- 9 phút
- Cơ bản
- Python 3.14
- Cập nhật
Trong bài này · 13
EDA (exploratory data analysis, phân tích khám phá dữ liệu) là quá trình bạn đọc, kiểm tra, làm sạch và soi một bảng dữ liệu để biết nó trả lời được câu hỏi nào, trước khi ra quyết định hay xây mô hình. Một vòng EDA đi qua sáu bước theo thứ tự: đặt câu hỏi, nạp dữ liệu, kiểm tra, làm sạch, khám phá bằng số và biểu đồ, rồi viết kết luận có số. Bài này đi trọn sáu bước trên file đơn hàng don_hang.csv bằng pandas và Matplotlib.
Cần biết trước: kiểm tra chất lượng dữ liệu, câu hỏi phân tích và histogram.
Sáu bước của một vòng EDA
Mỗi bước trả lời một câu riêng, và bước sau dựa vào bước trước:
Câu hỏi: đổi câu hỏi kinh doanh thành câu hỏi dữ liệu, nêu rõ đo gì, tính thế nào, trên những dòng nào.
Nạp: đọc file với đúng kiểu cột, như cột ngày thành kiểu ngày giờ.
Kiểm tra: bảng có bao nhiêu dòng, cột nào thiếu, giá trị nào lạ. Chưa sửa gì, chỉ ghi lại.
Làm sạch: xử lý những gì bước 3 tìm ra, và chỉ giữ các dòng mà câu hỏi cần.
Khám phá: tính số tóm tắt và vẽ biểu đồ hợp với kiểu câu hỏi.
Kết luận: một, hai câu có số trả lời câu hỏi ban đầu, kèm điều dữ liệu chưa nói được.
Chữ "khám phá" nói lên tinh thần của EDA: bạn chưa biết trước đáp án, và mỗi bước có thể đẩy bạn quay lại bước trước. Bài này giữ một vòng thẳng cho gọn.
Bước 1 và 2: đặt câu hỏi, nạp dữ liệu
Chủ cửa hàng hỏi: "Nên miễn phí giao hàng cho đơn từ bao nhiêu tiền?". Đó là câu hỏi kinh doanh, dữ liệu không trả lời thẳng được. Câu hỏi dữ liệu tương ứng: giá trị một đơn hoàn thành (số lượng nhân đơn giá) phân bố thế nào, và bao nhiêu phần trăm đơn đạt từ 200 nghìn đồng trở lên? Câu này nêu đủ đại lượng, cách tính và nhóm dòng, nên trả lời được bằng code.
import pandas as pd
don = pd.read_csv("don_hang.csv",
parse_dates=["ngay_dat", "ngay_giao"])
print(don.shape)
print(don[["so_luong", "don_gia", "kenh", "trang_thai"]].head(3))KẾT QUẢ
(1526, 9)
so_luong don_gia kenh trang_thai
0 2 78000 Cửa hàng Hoàn thành
1 2 25000 Sàn TMĐT Hoàn thành
2 3 18000 Sàn TMĐT Hoàn thànhBảng có 1.526 đơn và 9 cột. parse_dates= đọc hai cột ngày thành kiểu ngày giờ ngay từ đầu, để bước sau không phải sửa.
Bước 3 và 4: kiểm tra rồi làm sạch
Bước kiểm tra chỉ đếm và ghi lại: số ô thiếu từng cột, số mã đơn trùng, các trạng thái có trong bảng. Mỗi điều lạ là một dòng trong nhật ký chất lượng dữ liệu, như bài kiểm tra chất lượng dữ liệu đã làm.
import pandas as pd
don = pd.read_csv("don_hang.csv",
parse_dates=["ngay_dat", "ngay_giao"])
print(don.isna().sum()[lambda s: s > 0])
print("Mã đơn trùng:", don["ma_don"].duplicated().sum())
print(pd.crosstab(don["trang_thai"], don["ngay_giao"].isna()))KẾT QUẢ
ngay_giao 126
dtype: int64
Mã đơn trùng: 0
ngay_giao False True
trang_thai
Hoàn thành 1313 0
Hoàn trả 87 0
Đang giao 0 5
Đã hủy 0 121Chỉ cột ngay_giao thiếu, 126 ô, và bảng chéo cho thấy đó đúng là 121 đơn đã hủy cộng 5 đơn đang giao: chưa giao thì chưa có ngày giao. Ô thiếu có lý do, nên không cần điền. Không có mã đơn trùng. Việc làm sạch duy nhất câu hỏi này cần là giữ các đơn hoàn thành, vì đơn hủy hay hoàn trả không phải tiền khách đã trả, rồi thêm cột giá trị đơn tính bằng nghìn đồng.
Bước 5: khám phá bằng số và biểu đồ
Câu hỏi "thường bao nhiêu" là câu hỏi về phân bố. describe() cho các số tóm tắt, histogram cho hình dạng, như bài chọn loại biểu đồ đã ghép câu hỏi với biểu đồ.
import pandas as pd
import matplotlib.pyplot as plt
don = pd.read_csv("don_hang.csv", parse_dates=["ngay_dat"])
xong = don[don["trang_thai"] == "Hoàn thành"].copy()
xong["gia_tri"] = xong["so_luong"] * xong["don_gia"] / 1000
print(xong["gia_tri"].describe().round(1))
fig, ax = plt.subplots(figsize=(7, 3.6), layout="constrained")
ax.hist(xong["gia_tri"], bins=range(0, 3001, 100))
ax.axvline(200, color="tab:red", ls="--", label="Mốc 200 nghìn")
ax.set_title("Phần lớn đơn hoàn thành dưới 200 nghìn đồng")
ax.set(xlabel="Giá trị đơn (nghìn đồng)", ylabel="Số đơn")
ax.legend()
plt.show()KẾT QUẢ
count 1313.0
mean 171.4
std 239.7
min 12.0
25% 50.0
50% 96.0
75% 192.0
max 2800.0
Name: gia_tri, dtype: float64Trung vị 96 nghìn đồng: một nửa số đơn dưới mức đó. Trung bình 171,4 nghìn cao gần gấp đôi trung vị vì đuôi phải dài, có đơn tới 2.800 nghìn (10 món giá 280 nghìn). Histogram cho thấy đúng điều đó: các cột dồn ở bên trái mốc 200, bên phải chỉ còn các cột thấp.
Bước 6: kết luận có số
Kết luận trả lời đúng câu hỏi dữ liệu ở bước 1, bằng một con số kiểm lại được:
import pandas as pd
NGUONG = 200_000
don = pd.read_csv("don_hang.csv")
xong = don[don["trang_thai"] == "Hoàn thành"]
gia_tri = xong["so_luong"] * xong["don_gia"]
dat = (gia_tri >= NGUONG).mean()
print(f"Đơn từ {NGUONG // 1000} nghìn: {dat:.1%}")KẾT QUẢ
Đơn từ 200 nghìn: 23.9%Kết luận viết ra: "Trung vị giá trị đơn là 96 nghìn đồng, chỉ 23,9% đơn hoàn thành đạt từ 200 nghìn đồng. Miễn phí giao từ 200 nghìn sẽ áp cho khoảng một phần tư số đơn." Kèm một giới hạn: dữ liệu cho biết khách đã mua bao nhiêu, chưa cho biết khách sẽ mua thêm bao nhiêu khi có ngưỡng miễn phí. Đổi NGUONG = 200_000 thành NGUONG = 150_000 rồi chạy lại: dòng in ra thành Đơn từ 150 nghìn: 36.6%.
Kiểm tra nhanh
EDA là gì?
- Một thư viện Python để vẽ biểu đồ nhanh
- Quá trình đọc, kiểm tra, làm sạch và soi dữ liệu để biết nó trả lời được câu hỏi nào
- Bước huấn luyện mô hình dự đoán trên dữ liệu đã sạch
Thứ tự nào đúng với một vòng EDA?
- Nạp, khám phá, câu hỏi, làm sạch, kiểm tra, kết luận
- Câu hỏi, nạp, khám phá, kiểm tra, làm sạch, kết luận
- Câu hỏi, nạp, kiểm tra, làm sạch, khám phá, kết luận
Sau
import pandas as pd,float(pd.Series([50, 60, 70, 900]).median())cho kết quả gì?65.0270.060
Những việc nào thuộc bước kiểm tra?
- Đếm số ô thiếu của từng cột
- Đếm số mã đơn bị trùng
- Vẽ histogram giá trị đơn để trả lời câu hỏi
- Viết câu kết luận có số
Bài tập
Tỉ lệ đơn hoàn thành đạt một ngưỡng
Bước 6 tính tỉ lệ đơn từ 200 nghìn đồng. Để thử nhiều ngưỡng, viết thân hàm ti_le_dat_nguong(don, nguong). Bảng don có các cột so_luong, don_gia (đồng) và trang_thai, như file don_hang.csv; nguong tính bằng đồng.
Chỉ xét các đơn có trạng thái
Hoàn thành.Giá trị một đơn là
so_luongnhândon_gia; đơn đạt ngưỡng khi giá trị lớn hơn hoặc bằngnguong.Kết quả là phần trăm số đơn hoàn thành đạt ngưỡng, làm tròn một chữ số thập phân. Không có đơn hoàn thành nào thì kết quả là
0.0.
Hàm không sửa bảng nhận được.
Trả về: phần trăm đơn đạt ngưỡng, một float.
Ví dụ bảng ba đơn hoàn thành trị giá 250.000, 200.000 và 60.000 đồng với nguong=200000 cho 66.7.
import pandas as pd
def ti_le_dat_nguong(don, nguong):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
EDA (phân tích khám phá dữ liệu) là quá trình đọc, kiểm tra, làm sạch và soi dữ liệu trước khi quyết định hay xây mô hình.
Sáu bước theo thứ tự: câu hỏi, nạp, kiểm tra, làm sạch, khám phá, kết luận; bước sau có thể đẩy bạn quay lại bước trước.
Câu hỏi dữ liệu nêu rõ đo gì, tính thế nào, trên dòng nào; câu hỏi kinh doanh thì chưa.
Kiểm tra chỉ đếm và ghi lại; ô thiếu có lý do (như đơn hủy chưa có ngày giao) thì không cần điền.
Khám phá bằng
describe()và biểu đồ hợp với kiểu câu hỏi; dữ liệu lệch phải thì nói "thường" bằng trung vị.Kết luận là một câu có số trả lời câu hỏi ban đầu, kèm giới hạn của dữ liệu.
Câu hỏi thường gặp
EDA khác gì phân tích dữ liệu nói chung?
EDA là phần mở đầu của phân tích: bạn tìm hiểu dữ liệu nói gì khi chưa có giả thuyết chắc chắn. Phần sau, như kiểm định giả thuyết hay xây mô hình, dựa vào những gì EDA tìm ra. Một dự án nhỏ như bài dự án bốn biểu đồ có thể chỉ gồm EDA và báo cáo.
Làm EDA bằng Python cần những thư viện nào?
Pandas để nạp, kiểm tra và làm sạch bảng; Matplotlib hay seaborn để vẽ. NumPy đi kèm pandas. Ba thư viện đó đủ cho cả sáu bước; cách cài nằm ở bài cài đặt Matplotlib.
Có công cụ nào làm EDA tự động không?
Có những thư viện sinh báo cáo tự động từ một DataFrame, đếm ô thiếu và vẽ mọi cột. Chúng giúp bước kiểm tra nhanh hơn, nhưng không đặt câu hỏi hay viết kết luận thay bạn. Hiểu sáu bước bằng tay trước thì mới đọc được báo cáo tự động.
Xem một dự án EDA hoàn chỉnh ở đâu?
Trong tutorial này, dự án giá nhà phần 4 đi từ kết luận tới báo cáo và portfolio, còn dự án chất lượng không khí làm trọn một vòng EDA. Bài Blog dự án data analyst mẫu cho thấy một dự án EDA trông thế nào khi đưa vào hồ sơ xin việc.
Chủ đề
Dữ liệu của bài
- Tải xuống
don_hang.csv
CSV · 109.5 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.