Bỏ qua đến nội dung chính
Mục lục

EDA là gì? Quy trình phân tích khám phá dữ liệu với pandas

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 1/4 · Chương 4

Dự án trực quan hóa

  • 9 phút
  • Cơ bản
  • Python 3.14
  • Cập nhật

EDA (exploratory data analysis, phân tích khám phá dữ liệu) là quá trình bạn đọc, kiểm tra, làm sạch và soi một bảng dữ liệu để biết nó trả lời được câu hỏi nào, trước khi ra quyết định hay xây mô hình. Một vòng EDA đi qua sáu bước theo thứ tự: đặt câu hỏi, nạp dữ liệu, kiểm tra, làm sạch, khám phá bằng số và biểu đồ, rồi viết kết luận có số. Bài này đi trọn sáu bước trên file đơn hàng don_hang.csv bằng pandas và Matplotlib.

Cần biết trước: kiểm tra chất lượng dữ liệu, câu hỏi phân tích và histogram.

Sáu bước của một vòng EDA

Mỗi bước trả lời một câu riêng, và bước sau dựa vào bước trước:

  1. Câu hỏi: đổi câu hỏi kinh doanh thành câu hỏi dữ liệu, nêu rõ đo gì, tính thế nào, trên những dòng nào.

  2. Nạp: đọc file với đúng kiểu cột, như cột ngày thành kiểu ngày giờ.

  3. Kiểm tra: bảng có bao nhiêu dòng, cột nào thiếu, giá trị nào lạ. Chưa sửa gì, chỉ ghi lại.

  4. Làm sạch: xử lý những gì bước 3 tìm ra, và chỉ giữ các dòng mà câu hỏi cần.

  5. Khám phá: tính số tóm tắt và vẽ biểu đồ hợp với kiểu câu hỏi.

  6. Kết luận: một, hai câu có số trả lời câu hỏi ban đầu, kèm điều dữ liệu chưa nói được.

Chữ "khám phá" nói lên tinh thần của EDA: bạn chưa biết trước đáp án, và mỗi bước có thể đẩy bạn quay lại bước trước. Bài này giữ một vòng thẳng cho gọn.

Bước 1 và 2: đặt câu hỏi, nạp dữ liệu

Chủ cửa hàng hỏi: "Nên miễn phí giao hàng cho đơn từ bao nhiêu tiền?". Đó là câu hỏi kinh doanh, dữ liệu không trả lời thẳng được. Câu hỏi dữ liệu tương ứng: giá trị một đơn hoàn thành (số lượng nhân đơn giá) phân bố thế nào, và bao nhiêu phần trăm đơn đạt từ 200 nghìn đồng trở lên? Câu này nêu đủ đại lượng, cách tính và nhóm dòng, nên trả lời được bằng code.

python
import pandas as pd

don = pd.read_csv("don_hang.csv",
                  parse_dates=["ngay_dat", "ngay_giao"])
print(don.shape)
print(don[["so_luong", "don_gia", "kenh", "trang_thai"]].head(3))

KẾT QUẢ

(1526, 9)
   so_luong  don_gia      kenh  trang_thai
0         2    78000  Cửa hàng  Hoàn thành
1         2    25000  Sàn TMĐT  Hoàn thành
2         3    18000  Sàn TMĐT  Hoàn thành

Bảng có 1.526 đơn và 9 cột. parse_dates= đọc hai cột ngày thành kiểu ngày giờ ngay từ đầu, để bước sau không phải sửa.

Bước 3 và 4: kiểm tra rồi làm sạch

Bước kiểm tra chỉ đếm và ghi lại: số ô thiếu từng cột, số mã đơn trùng, các trạng thái có trong bảng. Mỗi điều lạ là một dòng trong nhật ký chất lượng dữ liệu, như bài kiểm tra chất lượng dữ liệu đã làm.

python
import pandas as pd

don = pd.read_csv("don_hang.csv",
                  parse_dates=["ngay_dat", "ngay_giao"])
print(don.isna().sum()[lambda s: s > 0])
print("Mã đơn trùng:", don["ma_don"].duplicated().sum())
print(pd.crosstab(don["trang_thai"], don["ngay_giao"].isna()))

KẾT QUẢ

ngay_giao    126
dtype: int64
Mã đơn trùng: 0
ngay_giao   False  True 
trang_thai              
Hoàn thành   1313      0
Hoàn trả       87      0
Đang giao       0      5
Đã hủy          0    121

Chỉ cột ngay_giao thiếu, 126 ô, và bảng chéo cho thấy đó đúng là 121 đơn đã hủy cộng 5 đơn đang giao: chưa giao thì chưa có ngày giao. Ô thiếu có lý do, nên không cần điền. Không có mã đơn trùng. Việc làm sạch duy nhất câu hỏi này cần là giữ các đơn hoàn thành, vì đơn hủy hay hoàn trả không phải tiền khách đã trả, rồi thêm cột giá trị đơn tính bằng nghìn đồng.

Bước 5: khám phá bằng số và biểu đồ

Câu hỏi "thường bao nhiêu" là câu hỏi về phân bố. describe() cho các số tóm tắt, histogram cho hình dạng, như bài chọn loại biểu đồ đã ghép câu hỏi với biểu đồ.

python
import pandas as pd
import matplotlib.pyplot as plt
don = pd.read_csv("don_hang.csv", parse_dates=["ngay_dat"])
xong = don[don["trang_thai"] == "Hoàn thành"].copy()
xong["gia_tri"] = xong["so_luong"] * xong["don_gia"] / 1000
print(xong["gia_tri"].describe().round(1))
fig, ax = plt.subplots(figsize=(7, 3.6), layout="constrained")
ax.hist(xong["gia_tri"], bins=range(0, 3001, 100))
ax.axvline(200, color="tab:red", ls="--", label="Mốc 200 nghìn")
ax.set_title("Phần lớn đơn hoàn thành dưới 200 nghìn đồng")
ax.set(xlabel="Giá trị đơn (nghìn đồng)", ylabel="Số đơn")
ax.legend()
plt.show()

KẾT QUẢ

count    1313.0
mean      171.4
std       239.7
min        12.0
25%        50.0
50%        96.0
75%       192.0
max      2800.0
Name: gia_tri, dtype: float64
Histogram giá trị 1.313 đơn hoàn thành từ 0 đến 3.000 nghìn đồng, khoảng 100 nghìn một cột; các cột cao dồn ở bên trái dưới 200 nghìn, đuôi dài thưa thớt kéo tới gần 2.800 nghìn, đường đỏ đứt nét ở mốc 200 nghìn.

Trung vị 96 nghìn đồng: một nửa số đơn dưới mức đó. Trung bình 171,4 nghìn cao gần gấp đôi trung vị vì đuôi phải dài, có đơn tới 2.800 nghìn (10 món giá 280 nghìn). Histogram cho thấy đúng điều đó: các cột dồn ở bên trái mốc 200, bên phải chỉ còn các cột thấp.

Bước 6: kết luận có số

Kết luận trả lời đúng câu hỏi dữ liệu ở bước 1, bằng một con số kiểm lại được:

python
import pandas as pd

NGUONG = 200_000
don = pd.read_csv("don_hang.csv")
xong = don[don["trang_thai"] == "Hoàn thành"]
gia_tri = xong["so_luong"] * xong["don_gia"]
dat = (gia_tri >= NGUONG).mean()
print(f"Đơn từ {NGUONG // 1000} nghìn: {dat:.1%}")

KẾT QUẢ

Đơn từ 200 nghìn: 23.9%

Kết luận viết ra: "Trung vị giá trị đơn là 96 nghìn đồng, chỉ 23,9% đơn hoàn thành đạt từ 200 nghìn đồng. Miễn phí giao từ 200 nghìn sẽ áp cho khoảng một phần tư số đơn." Kèm một giới hạn: dữ liệu cho biết khách đã mua bao nhiêu, chưa cho biết khách sẽ mua thêm bao nhiêu khi có ngưỡng miễn phí. Đổi NGUONG = 200_000 thành NGUONG = 150_000 rồi chạy lại: dòng in ra thành Đơn từ 150 nghìn: 36.6%.

Kiểm tra nhanh

  1. EDA là gì?

    • Một thư viện Python để vẽ biểu đồ nhanh
    • Quá trình đọc, kiểm tra, làm sạch và soi dữ liệu để biết nó trả lời được câu hỏi nào
    • Bước huấn luyện mô hình dự đoán trên dữ liệu đã sạch
  2. Thứ tự nào đúng với một vòng EDA?

    • Nạp, khám phá, câu hỏi, làm sạch, kiểm tra, kết luận
    • Câu hỏi, nạp, khám phá, kiểm tra, làm sạch, kết luận
    • Câu hỏi, nạp, kiểm tra, làm sạch, khám phá, kết luận
  3. Sau import pandas as pd, float(pd.Series([50, 60, 70, 900]).median()) cho kết quả gì?

    • 65.0
    • 270.0
    • 60
  4. Những việc nào thuộc bước kiểm tra?

    • Đếm số ô thiếu của từng cột
    • Đếm số mã đơn bị trùng
    • Vẽ histogram giá trị đơn để trả lời câu hỏi
    • Viết câu kết luận có số
Đúng hết lần đầu +15 XP

Bài tập

Tỉ lệ đơn hoàn thành đạt một ngưỡng

Bước 6 tính tỉ lệ đơn từ 200 nghìn đồng. Để thử nhiều ngưỡng, viết thân hàm ti_le_dat_nguong(don, nguong). Bảng don có các cột so_luong, don_gia (đồng) và trang_thai, như file don_hang.csv; nguong tính bằng đồng.

  • Chỉ xét các đơn có trạng thái Hoàn thành.

  • Giá trị một đơn là so_luong nhân don_gia; đơn đạt ngưỡng khi giá trị lớn hơn hoặc bằng nguong.

  • Kết quả là phần trăm số đơn hoàn thành đạt ngưỡng, làm tròn một chữ số thập phân. Không có đơn hoàn thành nào thì kết quả là 0.0.

Hàm không sửa bảng nhận được.

Trả về: phần trăm đơn đạt ngưỡng, một float.

Ví dụ bảng ba đơn hoàn thành trị giá 250.000, 200.000 và 60.000 đồng với nguong=200000 cho 66.7.

python
import pandas as pd

def ti_le_dat_nguong(don, nguong):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • EDA (phân tích khám phá dữ liệu) là quá trình đọc, kiểm tra, làm sạch và soi dữ liệu trước khi quyết định hay xây mô hình.

  • Sáu bước theo thứ tự: câu hỏi, nạp, kiểm tra, làm sạch, khám phá, kết luận; bước sau có thể đẩy bạn quay lại bước trước.

  • Câu hỏi dữ liệu nêu rõ đo gì, tính thế nào, trên dòng nào; câu hỏi kinh doanh thì chưa.

  • Kiểm tra chỉ đếm và ghi lại; ô thiếu có lý do (như đơn hủy chưa có ngày giao) thì không cần điền.

  • Khám phá bằng describe() và biểu đồ hợp với kiểu câu hỏi; dữ liệu lệch phải thì nói "thường" bằng trung vị.

  • Kết luận là một câu có số trả lời câu hỏi ban đầu, kèm giới hạn của dữ liệu.

Câu hỏi thường gặp

EDA khác gì phân tích dữ liệu nói chung?

EDA là phần mở đầu của phân tích: bạn tìm hiểu dữ liệu nói gì khi chưa có giả thuyết chắc chắn. Phần sau, như kiểm định giả thuyết hay xây mô hình, dựa vào những gì EDA tìm ra. Một dự án nhỏ như bài dự án bốn biểu đồ có thể chỉ gồm EDA và báo cáo.

Làm EDA bằng Python cần những thư viện nào?

Pandas để nạp, kiểm tra và làm sạch bảng; Matplotlib hay seaborn để vẽ. NumPy đi kèm pandas. Ba thư viện đó đủ cho cả sáu bước; cách cài nằm ở bài cài đặt Matplotlib.

Có công cụ nào làm EDA tự động không?

Có những thư viện sinh báo cáo tự động từ một DataFrame, đếm ô thiếu và vẽ mọi cột. Chúng giúp bước kiểm tra nhanh hơn, nhưng không đặt câu hỏi hay viết kết luận thay bạn. Hiểu sáu bước bằng tay trước thì mới đọc được báo cáo tự động.

Xem một dự án EDA hoàn chỉnh ở đâu?

Trong tutorial này, dự án giá nhà phần 4 đi từ kết luận tới báo cáo và portfolio, còn dự án chất lượng không khí làm trọn một vòng EDA. Bài Blog dự án data analyst mẫu cho thấy một dự án EDA trông thế nào khi đưa vào hồ sơ xin việc.

Chủ đề

eda là gì

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập