Dự án: đọc phổ điểm thi bằng thống kê mô tả
Bài 12/12 · Chương 3
Thống kê mô tả: độ phân tán và vị trí
- 9 phút
- Cơ bản
- Python 3.14
- Cập nhật
Trong bài này · 9
Phổ điểm thi là cách điểm của cả kỳ thi rải ra trên thang 0 đến 10: dồn ở đâu, trải rộng bao nhiêu, có bao nhiêu em dưới mốc 5. Dự án này phân tích phổ điểm của 500 thí sinh bằng đúng những gì chương thống kê mô tả đã dạy, rồi gói lại thành năm câu kết luận có số liệu đi kèm.
Cần biết trước: z-score, tứ phân vị và tần suất tích lũy.
Chương trình sẽ làm gì
File diem_thi.csv là số giả lập của AIDev: điểm thi tốt nghiệp của 500 thí sinh ở sáu tỉnh, mỗi em thi ba môn chung (Toán, Văn, Anh) và ba môn của ban KHTN hoặc KHXH. Chương trình trả lời năm câu:
Mỗi môn chung có trung bình, trung vị, độ lệch chuẩn bao nhiêu, môn nào tản rộng nhất?
Phổ điểm Toán trông thế nào, bao nhiêu phần trăm dưới 5 và từ 8 trở lên?
Có điểm nào bất thường, với |z| > 3?
Tỉnh nào có trung vị Toán cao nhất, và phổ điểm các tỉnh rộng hẹp ra sao?
Hai ban có trung bình Toán chênh nhau không?
Thứ tự dựng: đọc file, mô tả ba môn, vẽ phổ điểm Toán, tìm điểm bất thường, so các tỉnh, cuối cùng ghép thành một chương trình.
Bước 1: Đọc file, giữ số báo danh là chuỗi
Số báo danh mở đầu bằng mã tỉnh, như 01 của Hà Nội, nên phải đọc thành chuỗi để giữ số 0 đầu:
import pandas as pd
thi = pd.read_csv("diem_thi.csv", dtype={"sbd": str})
print(thi.shape)
print(thi[["sbd", "tinh", "ban", "toan", "van", "anh"]].head(3))
thieu = thi[["toan", "van", "anh"]].isna().sum()
print("Thiếu điểm:", thieu.tolist())KẾT QUẢ
(500, 14)
sbd tinh ban toan van anh
0 01006288 Hà Nội KHTN 3.0 6.00 4.4
1 01032395 Hà Nội KHTN 6.2 6.50 4.2
2 01035222 Hà Nội KHXH 5.8 7.25 7.0
Thiếu điểm: [2, 2, 2]Mỗi môn chung thiếu điểm của 2 em (vắng thi). pandas tự bỏ qua ô thiếu khi tính trung bình, độ lệch chuẩn hay phân vị, nên các bước sau tính trên 498 điểm.
Bước 2: Mô tả ba môn chung
Một bảng agg() cho mọi môn cùng lúc. Thêm khoảng tứ phân vị bằng một hàm nhỏ, vì nó không có sẵn:
import pandas as pd
thi = pd.read_csv("diem_thi.csv", dtype={"sbd": str})
def s(cot):
return cot.std(ddof=1)
def iqr(cot):
return cot.quantile(0.75) - cot.quantile(0.25)
mon = ["toan", "van", "anh"]
print(thi[mon].agg(["count", "mean", "median", s, iqr]).round(2))KẾT QUẢ
toan van anh
count 498.00 498.00 498.00
mean 6.51 7.02 6.04
median 6.60 7.00 6.00
s 1.52 1.10 1.72
iqr 2.00 1.50 2.20Văn có trung bình cao nhất và hẹp nhất: một nửa giữa của thí sinh nằm trong 1,5 điểm. Anh thấp nhất và tản rộng nhất, s = 1,72. Ở cả ba môn, trung vị sát trung bình, dấu hiệu phổ điểm khá cân, chỉ hơi lệch trái vì trần 10. Độ lệch chuẩn cùng đơn vị với điểm, nên đọc thẳng được: điểm Anh thường cách trung bình khoảng 1,7 điểm.
Bước 3: Vẽ phổ điểm Toán
Phổ điểm là một histogram với cột rộng 0,5 điểm. Kèm vạch mốc 5 điểm và vạch trung vị:
import pandas as pd
import matplotlib.pyplot as plt
thi = pd.read_csv("diem_thi.csv", dtype={"sbd": str})
toan = thi["toan"].dropna()
fig, ax = plt.subplots(figsize=(6.4, 4), layout="constrained")
ax.hist(toan, bins=[x / 2 for x in range(21)], edgecolor="white")
ax.axvline(5, color="k", ls="--", label="Mốc 5 điểm")
ax.axvline(toan.median(), color="k", label="Trung vị 6,6")
ax.set(title="Phổ điểm Toán của 498 thí sinh",
xlabel="Điểm Toán", ylabel="Số thí sinh")
ax.legend()
plt.show()Phổ điểm có một đỉnh quanh 6 đến 7,5; đuôi trái kéo xuống gần 2 điểm, dài hơn đuôi phải vì trần 10 chặn phía trên. Đọc tỉ lệ dưới một mốc như bài tần suất tích lũy, bằng trung bình của một mask:
import pandas as pd
thi = pd.read_csv("diem_thi.csv", dtype={"sbd": str})
toan = thi["toan"].dropna()
print("Dưới 5:", round((toan < 5).mean(), 3))
print("Từ 8 trở lên:", round((toan >= 8).mean(), 3))
print("Mốt:", toan.mode().tolist())KẾT QUẢ
Dưới 5: 0.157
Từ 8 trở lên: 0.173
Mốt: [6.6, 7.4]Đổi toan < 5 thành toan < 6.5 rồi chạy lại: dòng đầu in Dưới 5: 0.47, gần một nửa, đúng với trung vị 6,6 (nhãn vẫn ghi "Dưới 5" vì là chuỗi cố định). Bỏ .dropna() thì 2 em vắng thi bị đếm như "không dưới 5", và tỉ lệ lệch đi một chút.
Bước 4: Tìm điểm bất thường bằng z-score
Chuẩn hóa từng môn rồi lọc |z| > 3, như bài z-score:
import pandas as pd
thi = pd.read_csv("diem_thi.csv", dtype={"sbd": str})
for mon in ["toan", "van", "anh"]:
z = (thi[mon] - thi[mon].mean()) / thi[mon].std(ddof=1)
la = thi.loc[z.abs() > 3, ["sbd", mon]]
print(mon, "z thấp nhất", round(z.min(), 2),
"cao nhất", round(z.max(), 2))
print(" |z| > 3:", la.to_records(index=False).tolist())KẾT QUẢ
toan z thấp nhất -3.11 cao nhất 2.3
|z| > 3: [('01756429', 1.8)]
van z thấp nhất -2.73 cao nhất 2.7
|z| > 3: []
anh z thấp nhất -3.05 cao nhất 2.31
|z| > 3: [('29665922', 0.8)]Chỉ hai điểm vượt ngưỡng, cả hai ở phía thấp: 1,8 điểm Toán và 0,8 điểm Anh. Không em nào có z trên 3: phổ điểm bị trần 10 chặn phía trên. Hai điểm này đáng kiểm lại (nhập nhầm hay bỏ thi giữa chừng), nhưng không nên xóa khỏi phổ điểm khi chưa biết lý do.
Bước 5: So phổ điểm Toán các tỉnh bằng tứ phân vị
groupby() chia theo tỉnh, quantile() lấy ba tứ phân vị, unstack() xoay thành bảng mỗi tỉnh một hàng:
import pandas as pd
thi = pd.read_csv("diem_thi.csv", dtype={"sbd": str})
q = thi.groupby("tinh")["toan"].quantile([0.25, 0.5, 0.75])
bang = q.unstack()
bang["iqr"] = bang[0.75] - bang[0.25]
print(bang.sort_values(0.5, ascending=False).round(2))KẾT QUẢ
0.25 0.5 0.75 iqr
tinh
TP. Hồ Chí Minh 5.60 6.8 7.95 2.35
Cần Thơ 5.75 6.6 7.40 1.65
Hà Nội 5.55 6.6 7.40 1.85
Hải Phòng 5.40 6.6 7.20 1.80
Đà Nẵng 5.20 6.6 7.40 2.20
Nghệ An 5.20 6.2 7.40 2.20TP. Hồ Chí Minh có trung vị và Q3 cao nhất; Cần Thơ có phổ điểm hẹp nhất (IQR 1,65). Bốn tỉnh chung trung vị 6,6, nên so trung vị thôi chưa đủ: Q1 cho thấy nhóm yếu ở Đà Nẵng và Nghệ An thấp hơn ở Cần Thơ 0,55 điểm. Mỗi tỉnh có 47 đến 136 điểm Toán, nên chênh lệch vài phần mười điểm giữa các tỉnh nhỏ có thể chỉ là do may rủi của mẫu.
Bước 6: Ghép thành chương trình hoàn chỉnh
Chương trình dưới đọc file một lần và in năm câu kết luận, mỗi câu kèm số liệu:
import pandas as pd
MON = ["toan", "van", "anh"]
thi = pd.read_csv("diem_thi.csv", dtype={"sbd": str})
def s(cot):
return cot.std(ddof=1)
mo_ta = thi[MON].agg(["mean", "median", s])
tb, do_rong = mo_ta.loc["mean"], mo_ta.loc["s"]
cao, rong = tb.idxmax(), do_rong.idxmax()
print(f"1. {cao} có trung bình cao nhất ({tb[cao]:.2f});"
f" {rong} tản rộng nhất (s = {do_rong[rong]:.2f}).")
toan = thi["toan"].dropna()
print(f"2. {(toan < 5).mean():.1%} thí sinh dưới 5 điểm Toán,"
f" {(toan >= 8).mean():.1%} từ 8 trở lên.")
z = (thi[MON] - thi[MON].mean()) / thi[MON].std(ddof=1)
la = z.abs().gt(3).sum()
print(f"3. Có {la.sum()} điểm với |z| > 3:", la[la > 0].to_dict())
theo_tinh = thi.groupby("tinh")["toan"]
q = theo_tinh.quantile([0.25, 0.5, 0.75]).unstack()
dau = q[0.5].idxmax()
print(f"4. {dau} có trung vị Toán cao nhất ({q.loc[dau, 0.5]})"
f" và Q3 = {q.loc[dau, 0.75]}.")
tb_ban = thi.groupby("ban")["toan"].mean().round(2)
print("5. Trung bình Toán theo ban:", tb_ban.to_dict())KẾT QUẢ
1. van có trung bình cao nhất (7.02); anh tản rộng nhất (s = 1.72).
2. 15.7% thí sinh dưới 5 điểm Toán, 17.3% từ 8 trở lên.
3. Có 2 điểm với |z| > 3: {'toan': 1, 'anh': 1}
4. TP. Hồ Chí Minh có trung vị Toán cao nhất (6.8) và Q3 = 7.95.
5. Trung bình Toán theo ban: {'KHTN': 6.49, 'KHXH': 6.55}z.abs().gt(3).sum() đếm số điểm vượt ngưỡng của từng môn trong một dòng, vì True được cộng như 1. Câu 5 cho thấy hai ban chênh nhau chưa tới 0,1 điểm Toán: trong bộ số này, trung bình Toán hai ban gần như bằng nhau.
Bài tập
Thí sinh nổi bật nhất ở môn nào
Một thí sinh hỏi: so với cả kỳ thi, em nổi bật nhất ở môn chung nào? Điểm gốc không trả lời được, vì mỗi môn có trung bình và độ rộng khác nhau. bang là bảng điểm có các cột sbd (chuỗi), toan, van, anh; một vài ô điểm có thể thiếu. Viết thân hàm mon_manh_nhat(bang, sbd) trả tên môn mà thí sinh có số báo danh sbd đạt z-score cao nhất, với z tính trên cả cột của môn đó, s chia n − 1, bỏ qua ô thiếu. Thí sinh được hỏi luôn có đủ ba điểm; không có hai môn cùng z.
Hàm không sửa bang của nơi gọi.
Trả về: một trong ba tên "toan", "van", "anh", một str.
Ví dụ: với bảng bốn thí sinh có Toán 9, 5, 7, 3; Văn 8, 7,5, 7, 7,5; Anh 6, 4, 8, 6, em đầu tiên ("01000001") có điểm gốc cao nhất ở Toán, nhưng mon_manh_nhat(bang, "01000001") cho "van".
import pandas as pd
def mon_manh_nhat(bang, sbd):
pass # Viết thân hàm thay cho dòng nàyThử mở rộng
Các hướng dưới làm được ngay với chương trình trên:
Gọi
mon_manh_nhat(thi, "01006288")trên bảng thật, rồi đếm xem mỗi môn là "môn mạnh nhất" của bao nhiêu em.Làm bước 3 cho môn Anh, rồi đặt hai phổ điểm cạnh nhau bằng
plt.subplots(1, 2).Vẽ ECDF điểm Toán của hai ban bằng
ax.ecdf()và đọc tỉ lệ dưới 5 của từng ban.Mở rộng bước 2 cho ba môn riêng của mỗi ban: lọc
thi["ban"] == "KHTN"rồi tóm tắtly,hoa,sinh.So với dự án phân tích điểm thi bằng Python thuần: cùng câu hỏi, nhưng tự viết vòng lặp thay cho pandas.
Chủ đề
Dữ liệu của bài
- Tải xuống
diem_thi.csv
CSV · 38.56 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.