Bảng tần số, tần suất tích lũy và hàm ECDF với Python
Bài 9/12 · Chương 3
Thống kê mô tả: độ phân tán và vị trí
- 10 phút
- Cơ bản
- Python 3.14
- Cập nhật
Trong bài này · 14
Bảng tần số đếm mỗi giá trị xuất hiện bao nhiêu lần; chia số lần đó cho tổng số giá trị là tần suất, cộng dồn tần suất từ giá trị nhỏ nhất lên là tần suất tích lũy. Vẽ tần suất tích lũy cho từng giá trị, bạn có ECDF, hàm phân phối thực nghiệm, và đọc thẳng được câu như "84% đơn giao trong hai ngày" từ dữ liệu.
Cần biết trước: value_counts(), chia nhóm bằng pd.cut() và tứ phân vị.
Công thức tần số, tần suất
Với n giá trị, giá trị thứ i xuất hiện nᵢ lần thì:
Trong đó:
nᵢ: tần số, số lần giá trị thứ i xuất hiện.
n(len(x)): tổng số giá trị, bằng tổng các tần số.fᵢ: tần suất của giá trị thứ i, một số từ 0 đến 1, hay nhân 100 thành phần trăm.
Fᵢ: tần suất tích lũy, tổng tần suất của mọi giá trị từ nhỏ nhất tới giá trị thứ i, sau khi đã sắp các giá trị tăng dần.
SGK tính thế nào: SGK chương trình 2018 (từ Toán 9, bộ Kết nối tri thức) gọi tần suất là "tần số tương đối" và ghi theo phần trăm; công thức giống hệt. Tần suất tích lũy cuối cùng luôn bằng 1, tức 100%.
Cách tính tần suất: tám đơn hàng
Tám đơn hàng giao mất 2, 1, 3, 2, 2, 4, 1, 2 ngày. Sắp các giá trị tăng dần rồi đếm:
Số ngày | Tần số | Tần suất | Tần suất tích lũy |
|---|---|---|---|
1 | 2 | 2/8 = 0,25 | 0,25 |
2 | 4 | 4/8 = 0,5 | 0,75 |
3 | 1 | 1/8 = 0,125 | 0,875 |
4 | 1 | 1/8 = 0,125 | 1 |
Tổng | 8 | 1 |
Dòng 2 ngày đọc là: 75% đơn giao trong hai ngày trở xuống. Với pandas, value_counts() có normalize=True để chia n, sort_index() để sắp theo giá trị, rồi cumsum() để cộng dồn:
import pandas as pd
ngay = pd.Series([2, 1, 3, 2, 2, 4, 1, 2])
tan_suat = ngay.value_counts(normalize=True).sort_index()
bang = pd.DataFrame({"tần số": ngay.value_counts().sort_index(),
"tần suất": tan_suat,
"tích lũy": tan_suat.cumsum()})
print(bang)KẾT QUẢ
tần số tần suất tích lũy
1 2 0.25 0.25
2 4 0.50 0.75
3 1 0.12 0.88
4 1 0.12 1.00Cột tần suất in 0.12 vì pandas chỉ hiện hai chữ số; giá trị thật là 0,125. Đổi [2, 1, 3, 2, 2, 4, 1, 2] thành [1, 1, 1, 1, 2, 2, 3, 4] rồi chạy lại: dòng 1 in 4 0.50 0.50. Với NumPy, np.unique(x, return_counts=True) cho cùng hai cột giá trị và tần số, và np.cumsum() cộng dồn, như bài unique và cumsum.
ECDF: hàm phân phối thực nghiệm
Khi dữ liệu là số đo liên tục như thời gian giao tính bằng giờ, gần như mỗi giá trị chỉ xuất hiện một lần, và bảng tần số dài bằng cả dữ liệu. ECDF (empirical cumulative distribution function) gói bảng đó thành một hàm:
Trong đó:
x: một mốc bất kỳ, như 48 giờ.
xᵢ: các giá trị của dữ liệu;
n(len(x)): số giá trị.Fₙ(x): tỉ lệ giá trị nhỏ hơn hoặc bằng x, từ 0 đến 1.
Sắp dữ liệu tăng dần bằng np.sort(), thì khi các giá trị khác nhau, giá trị thứ k (đếm từ 1) có Fₙ = k/n: np.arange(1, n + 1) / n cho cả cột đó. Đồ thị ECDF là một bậc thang đi từ 0 lên 1, mỗi giá trị nhích lên một bậc 1/n. Matplotlib vẽ nó bằng một lệnh, ax.ecdf().
Áp vào thời gian giao hàng
File giao_hang.csv là số giả lập của AIDev: thời gian giao (giờ) của 800 đơn qua hai hãng. Chia giờ thành nhóm theo ngày bằng pd.cut(), rồi lập bảng tần suất tích lũy:
import pandas as pd
don = pd.read_csv("giao_hang.csv")
nhom = pd.cut(don["thoi_gian_gio"], bins=[0, 24, 48, 72, 96, 168])
tan_suat = nhom.value_counts(normalize=True).sort_index()
bang = pd.DataFrame({"tần suất": tan_suat,
"tích lũy": tan_suat.cumsum()})
print(bang)KẾT QUẢ
tần suất tích lũy
thoi_gian_gio
(0, 24] 0.46 0.46
(24, 48] 0.39 0.84
(48, 72] 0.11 0.95
(72, 96] 0.04 0.99
(96, 168] 0.01 1.0084% đơn giao trong hai ngày, 95% trong ba ngày. Bảng nhóm chỉ trả lời ở các mốc 24, 48, 72 giờ; ECDF trả lời ở mọi mốc và so được hai hãng trên một Axes:
import pandas as pd
import matplotlib.pyplot as plt
don = pd.read_csv("giao_hang.csv")
fig, ax = plt.subplots(figsize=(6.4, 4), layout="constrained")
for hang, kieu in [("Hãng A", "-"), ("Hãng B", "--")]:
gio = don.loc[don["hang"] == hang, "thoi_gian_gio"]
ax.ecdf(gio, linestyle=kieu, label=hang)
ax.axvline(48, color="k", lw=0.8)
ax.set(title="ECDF thời gian giao của 800 đơn", xlim=(0, 120),
xlabel="Thời gian giao (giờ)", ylabel="Tần suất tích lũy")
ax.legend()
plt.show()Đường nằm trên là hãng giao nhanh hơn: ở mỗi mốc giờ, phần đơn đã đến tay khách lớn hơn. Ở vạch 48 giờ, hãng A đạt 82,5%, hãng B 86,2%.
Đọc ECDF theo hai chiều
ECDF trả lời hai kiểu câu. Đi từ trục x lên: "giao trong 48 giờ thì được bao nhiêu phần trăm đơn?". Đi từ trục y sang: "70% đơn giao trong bao nhiêu giờ?"; chiều thứ hai chính là phân vị 70 của bài tứ phân vị. Cả hai làm được bằng mảng đã sắp:
import numpy as np
import pandas as pd
don = pd.read_csv("giao_hang.csv")
gio = np.sort(don["thoi_gian_gio"].to_numpy())
F = np.arange(1, len(gio) + 1) / len(gio)
print("Trong 48 giờ:", np.mean(gio <= 48))
k = np.argmax(F >= 0.7)
print("70% đơn giao trong:", gio[k], "giờ")KẾT QUẢ
Trong 48 giờ: 0.8425
70% đơn giao trong: 35.1 giờnp.mean(gio <= 48) đếm tỉ lệ giá trị không quá 48, đúng định nghĩa Fₙ(48). np.argmax(F >= 0.7) tìm vị trí đầu tiên mà tần suất tích lũy chạm 70%, như bài argmax và sort. Đổi 0.7 thành 0.5 rồi chạy lại: dòng hai in 70% đơn giao trong: 25.6 giờ, đúng trung vị của cột; nhãn chữ vẫn ghi 70% vì nó là chuỗi cố định.
Mô phỏng: ECDF sát hàm thật khi n lớn
Khi biết phân phối thật sinh ra dữ liệu, có thể đo ECDF lệch khỏi nó bao xa. Khối dưới rút thời gian giao từ một phân phối lệch phải đã biết (lognormal), rồi đo khoảng cách lớn nhất giữa ECDF và hàm phân phối thật:
import math
import statistics
import numpy as np
rng = np.random.default_rng(23)
that = statistics.NormalDist(math.log(30), 0.5)
for n in [20, 200, 2000]:
gio = np.sort(rng.lognormal(math.log(30), 0.5, size=n))
F = np.arange(1, n + 1) / n
F_that = np.array([that.cdf(math.log(g)) for g in gio])
lech = max(np.abs(F - F_that).max(),
np.abs(F - 1 / n - F_that).max())
print(n, round(lech, 3))KẾT QUẢ
20 0.134
200 0.069
2000 0.018Lần chạy này cho thấy khoảng lệch lớn nhất co dần khi n tăng: 13 điểm phần trăm với 20 đơn, chưa tới 2 điểm với 2.000 đơn. Câu "84% đơn giao trong hai ngày" từ 800 đơn vì thế đáng tin hơn hẳn cùng câu đó từ 20 đơn. Đổi default_rng(23) thành default_rng(5): các con số đổi, xu hướng co dần vẫn giữ.
Kiểm tra nhanh
Sau
import pandas as pd,print(pd.Series([3, 1, 3, 2]).value_counts(normalize=True).sort_index().cumsum().tolist())in ra gì?[0.25, 0.5, 1.0][0.5, 0.75, 1.0][0.25, 0.25, 0.5]
ECDF của thời gian giao có Fₙ(48) = 0,84. Câu nào đúng?
- 84% đơn giao trong 48 giờ trở xuống
- 84% đơn giao mất đúng 48 giờ
- Đơn trung bình mất 84% của 48 giờ
- 16% đơn giao trong 48 giờ
Muốn trả lời "70% đơn giao trong bao nhiêu giờ?" từ ECDF, bạn làm gì?
- Đọc giá trị Fₙ tại x = 70
- Đi từ mức 0,7 trên trục y sang đường ECDF rồi đọc giờ trên trục x
- Nhân 70% với thời gian giao trung bình
- Đếm số đơn có thời gian giao bằng 70 giờ
Trong khung bẫy, vì sao dòng đầu của
value_counts(normalize=True).cumsum()là 0,5 thay cho 0,25?- Vì
normalize=Truechia sai - Vì
cumsum()bỏ qua giá trị 1 - Vì
value_counts()xếp theo tần số giảm dần, nên cộng dồn bắt đầu từ giá trị 2 (tần số lớn nhất) - Vì phải dùng
np.cumsum()thay chocumsum()của pandas
- Vì
Bài tập
Lập bảng tần suất tích lũy
Bạn muốn một bảng tra nhanh "bao nhiêu phần trăm giá trị không vượt quá mốc này". x là list (hay mảng) có ít nhất một số nguyên. Viết thân hàm bang_tich_luy(x) trả dictionary: khóa là mỗi giá trị khác nhau của x, xếp tăng dần; giá trị là tần suất tích lũy tới khóa đó, tức tỉ lệ phần tử của x nhỏ hơn hoặc bằng khóa.
Hàm không sửa x của nơi gọi.
Trả về: bảng tần suất tích lũy, một dict từ số nguyên sang số thực.
Ví dụ bang_tich_luy([2, 1, 3, 2, 2, 4, 1, 2]) cho {1: 0.25, 2: 0.75, 3: 0.875, 4: 1.0}.
import numpy as np
import pandas as pd
def bang_tich_luy(x):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Tần số nᵢ đếm số lần xuất hiện; tần suất fᵢ = nᵢ/n; tần suất tích lũy cộng dồn fᵢ từ giá trị nhỏ nhất.
pandas:
value_counts(normalize=True).sort_index().cumsum(); thiếusort_index()là cộng dồn sai thứ tự.Với số đo liên tục, nhóm bằng
pd.cut()hoặc dùng ECDF: Fₙ(x) là tỉ lệ giá trị nhỏ hơn hoặc bằng x.ax.ecdf()vẽ ECDF một lệnh; đường nằm trên là nhóm có giá trị nhỏ hơn.Đọc ECDF từ trục x ra tỉ lệ, từ trục y ra phân vị; với n lớn, ECDF sát hàm phân phối thật.
Câu hỏi thường gặp
Tần suất là gì?
Tần suất của một giá trị là số lần nó xuất hiện chia cho tổng số giá trị, tức tỉ lệ của nó trong dữ liệu. SGK chương trình 2018 (từ Toán 9, bộ Kết nối tri thức) gọi là tần số tương đối và hay ghi theo phần trăm. Các tần suất của một bảng cộng lại bằng 1.
Bảng tần số là gì?
Là bảng liệt kê các giá trị khác nhau (hoặc các nhóm giá trị) cùng số lần mỗi giá trị xuất hiện. Thêm cột tần suất và tần suất tích lũy, bảng trả lời được câu hỏi kiểu "bao nhiêu phần trăm không vượt quá mốc này".
ECDF khác histogram thế nào?
Histogram cho biết mỗi khoảng có bao nhiêu giá trị, nên hợp để nhìn hình dạng. ECDF cộng dồn, nên đọc thẳng được tỉ lệ dưới một mốc và phân vị, không phụ thuộc cách chọn độ rộng cột. Hai hình bổ sung nhau.
pd.cut() dùng khoảng mở hay đóng?
Mặc định pd.cut() dùng khoảng mở trái, đóng phải, như (24, 48]: 48 giờ đúng thuộc nhóm "1 đến 2 ngày". Tham số right=False đổi thành đóng trái, mở phải; chọn sao cho khớp câu bạn muốn đọc.
Chủ đề
Dữ liệu của bài
- Tải xuống
giao_hang.csv
CSV · 27.84 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.