Bỏ qua đến nội dung chính
Mục lục

Dự án: đọc phổ điểm thi bằng thống kê mô tả

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 12/12 · Chương 3

Thống kê mô tả: độ phân tán và vị trí

  • 9 phút
  • Cơ bản
  • Python 3.14
  • Cập nhật

Phổ điểm thi là cách điểm của cả kỳ thi rải ra trên thang 0 đến 10: dồn ở đâu, trải rộng bao nhiêu, có bao nhiêu em dưới mốc 5. Dự án này phân tích phổ điểm của 500 thí sinh bằng đúng những gì chương thống kê mô tả đã dạy, rồi gói lại thành năm câu kết luận có số liệu đi kèm.

Cần biết trước: z-score, tứ phân vị và tần suất tích lũy.

Chương trình sẽ làm gì

File diem_thi.csv là số giả lập của AIDev: điểm thi tốt nghiệp của 500 thí sinh ở sáu tỉnh, mỗi em thi ba môn chung (Toán, Văn, Anh) và ba môn của ban KHTN hoặc KHXH. Chương trình trả lời năm câu:

  1. Mỗi môn chung có trung bình, trung vị, độ lệch chuẩn bao nhiêu, môn nào tản rộng nhất?

  2. Phổ điểm Toán trông thế nào, bao nhiêu phần trăm dưới 5 và từ 8 trở lên?

  3. Có điểm nào bất thường, với |z| > 3?

  4. Tỉnh nào có trung vị Toán cao nhất, và phổ điểm các tỉnh rộng hẹp ra sao?

  5. Hai ban có trung bình Toán chênh nhau không?

Thứ tự dựng: đọc file, mô tả ba môn, vẽ phổ điểm Toán, tìm điểm bất thường, so các tỉnh, cuối cùng ghép thành một chương trình.

Bước 1: Đọc file, giữ số báo danh là chuỗi

Số báo danh mở đầu bằng mã tỉnh, như 01 của Hà Nội, nên phải đọc thành chuỗi để giữ số 0 đầu:

python
import pandas as pd

thi = pd.read_csv("diem_thi.csv", dtype={"sbd": str})
print(thi.shape)
print(thi[["sbd", "tinh", "ban", "toan", "van", "anh"]].head(3))
thieu = thi[["toan", "van", "anh"]].isna().sum()
print("Thiếu điểm:", thieu.tolist())

KẾT QUẢ

(500, 14)
        sbd    tinh   ban  toan   van  anh
0  01006288  Hà Nội  KHTN   3.0  6.00  4.4
1  01032395  Hà Nội  KHTN   6.2  6.50  4.2
2  01035222  Hà Nội  KHXH   5.8  7.25  7.0
Thiếu điểm: [2, 2, 2]

Mỗi môn chung thiếu điểm của 2 em (vắng thi). pandas tự bỏ qua ô thiếu khi tính trung bình, độ lệch chuẩn hay phân vị, nên các bước sau tính trên 498 điểm.

Bước 2: Mô tả ba môn chung

Một bảng agg() cho mọi môn cùng lúc. Thêm khoảng tứ phân vị bằng một hàm nhỏ, vì nó không có sẵn:

python
import pandas as pd

thi = pd.read_csv("diem_thi.csv", dtype={"sbd": str})
def s(cot):
    return cot.std(ddof=1)
def iqr(cot):
    return cot.quantile(0.75) - cot.quantile(0.25)
mon = ["toan", "van", "anh"]
print(thi[mon].agg(["count", "mean", "median", s, iqr]).round(2))

KẾT QUẢ

          toan     van     anh
count   498.00  498.00  498.00
mean      6.51    7.02    6.04
median    6.60    7.00    6.00
s         1.52    1.10    1.72
iqr       2.00    1.50    2.20

Văn có trung bình cao nhất và hẹp nhất: một nửa giữa của thí sinh nằm trong 1,5 điểm. Anh thấp nhất và tản rộng nhất, s = 1,72. Ở cả ba môn, trung vị sát trung bình, dấu hiệu phổ điểm khá cân, chỉ hơi lệch trái vì trần 10. Độ lệch chuẩn cùng đơn vị với điểm, nên đọc thẳng được: điểm Anh thường cách trung bình khoảng 1,7 điểm.

Bước 3: Vẽ phổ điểm Toán

Phổ điểm là một histogram với cột rộng 0,5 điểm. Kèm vạch mốc 5 điểm và vạch trung vị:

python
import pandas as pd
import matplotlib.pyplot as plt

thi = pd.read_csv("diem_thi.csv", dtype={"sbd": str})
toan = thi["toan"].dropna()
fig, ax = plt.subplots(figsize=(6.4, 4), layout="constrained")
ax.hist(toan, bins=[x / 2 for x in range(21)], edgecolor="white")
ax.axvline(5, color="k", ls="--", label="Mốc 5 điểm")
ax.axvline(toan.median(), color="k", label="Trung vị 6,6")
ax.set(title="Phổ điểm Toán của 498 thí sinh",
       xlabel="Điểm Toán", ylabel="Số thí sinh")
ax.legend()
plt.show()
Histogram phổ điểm Toán của 498 thí sinh, cột rộng 0,5 điểm từ 0 đến 10; đỉnh quanh 6 đến 7,5 điểm, đuôi trái dài hơn, đường đứt ở mốc 5 và đường liền ở trung vị 6,6, ít em dưới 3 hay trên 9.

Phổ điểm có một đỉnh quanh 6 đến 7,5; đuôi trái kéo xuống gần 2 điểm, dài hơn đuôi phải vì trần 10 chặn phía trên. Đọc tỉ lệ dưới một mốc như bài tần suất tích lũy, bằng trung bình của một mask:

python
import pandas as pd

thi = pd.read_csv("diem_thi.csv", dtype={"sbd": str})
toan = thi["toan"].dropna()
print("Dưới 5:", round((toan < 5).mean(), 3))
print("Từ 8 trở lên:", round((toan >= 8).mean(), 3))
print("Mốt:", toan.mode().tolist())

KẾT QUẢ

Dưới 5: 0.157
Từ 8 trở lên: 0.173
Mốt: [6.6, 7.4]

Đổi toan < 5 thành toan < 6.5 rồi chạy lại: dòng đầu in Dưới 5: 0.47, gần một nửa, đúng với trung vị 6,6 (nhãn vẫn ghi "Dưới 5" vì là chuỗi cố định). Bỏ .dropna() thì 2 em vắng thi bị đếm như "không dưới 5", và tỉ lệ lệch đi một chút.

Bước 4: Tìm điểm bất thường bằng z-score

Chuẩn hóa từng môn rồi lọc |z| > 3, như bài z-score:

python
import pandas as pd

thi = pd.read_csv("diem_thi.csv", dtype={"sbd": str})
for mon in ["toan", "van", "anh"]:
    z = (thi[mon] - thi[mon].mean()) / thi[mon].std(ddof=1)
    la = thi.loc[z.abs() > 3, ["sbd", mon]]
    print(mon, "z thấp nhất", round(z.min(), 2),
          "cao nhất", round(z.max(), 2))
    print("  |z| > 3:", la.to_records(index=False).tolist())

KẾT QUẢ

toan z thấp nhất -3.11 cao nhất 2.3
  |z| > 3: [('01756429', 1.8)]
van z thấp nhất -2.73 cao nhất 2.7
  |z| > 3: []
anh z thấp nhất -3.05 cao nhất 2.31
  |z| > 3: [('29665922', 0.8)]

Chỉ hai điểm vượt ngưỡng, cả hai ở phía thấp: 1,8 điểm Toán và 0,8 điểm Anh. Không em nào có z trên 3: phổ điểm bị trần 10 chặn phía trên. Hai điểm này đáng kiểm lại (nhập nhầm hay bỏ thi giữa chừng), nhưng không nên xóa khỏi phổ điểm khi chưa biết lý do.

Bước 5: So phổ điểm Toán các tỉnh bằng tứ phân vị

groupby() chia theo tỉnh, quantile() lấy ba tứ phân vị, unstack() xoay thành bảng mỗi tỉnh một hàng:

python
import pandas as pd

thi = pd.read_csv("diem_thi.csv", dtype={"sbd": str})
q = thi.groupby("tinh")["toan"].quantile([0.25, 0.5, 0.75])
bang = q.unstack()
bang["iqr"] = bang[0.75] - bang[0.25]
print(bang.sort_values(0.5, ascending=False).round(2))

KẾT QUẢ

                 0.25  0.5  0.75   iqr
tinh                                  
TP. Hồ Chí Minh  5.60  6.8  7.95  2.35
Cần Thơ          5.75  6.6  7.40  1.65
Hà Nội           5.55  6.6  7.40  1.85
Hải Phòng        5.40  6.6  7.20  1.80
Đà Nẵng          5.20  6.6  7.40  2.20
Nghệ An          5.20  6.2  7.40  2.20

TP. Hồ Chí Minh có trung vị và Q3 cao nhất; Cần Thơ có phổ điểm hẹp nhất (IQR 1,65). Bốn tỉnh chung trung vị 6,6, nên so trung vị thôi chưa đủ: Q1 cho thấy nhóm yếu ở Đà Nẵng và Nghệ An thấp hơn ở Cần Thơ 0,55 điểm. Mỗi tỉnh có 47 đến 136 điểm Toán, nên chênh lệch vài phần mười điểm giữa các tỉnh nhỏ có thể chỉ là do may rủi của mẫu.

Bước 6: Ghép thành chương trình hoàn chỉnh

Chương trình dưới đọc file một lần và in năm câu kết luận, mỗi câu kèm số liệu:

python
import pandas as pd

MON = ["toan", "van", "anh"]
thi = pd.read_csv("diem_thi.csv", dtype={"sbd": str})

def s(cot):
    return cot.std(ddof=1)

mo_ta = thi[MON].agg(["mean", "median", s])
tb, do_rong = mo_ta.loc["mean"], mo_ta.loc["s"]
cao, rong = tb.idxmax(), do_rong.idxmax()
print(f"1. {cao} có trung bình cao nhất ({tb[cao]:.2f});"
      f" {rong} tản rộng nhất (s = {do_rong[rong]:.2f}).")

toan = thi["toan"].dropna()
print(f"2. {(toan < 5).mean():.1%} thí sinh dưới 5 điểm Toán,"
      f" {(toan >= 8).mean():.1%} từ 8 trở lên.")

z = (thi[MON] - thi[MON].mean()) / thi[MON].std(ddof=1)
la = z.abs().gt(3).sum()
print(f"3. Có {la.sum()} điểm với |z| > 3:", la[la > 0].to_dict())

theo_tinh = thi.groupby("tinh")["toan"]
q = theo_tinh.quantile([0.25, 0.5, 0.75]).unstack()
dau = q[0.5].idxmax()
print(f"4. {dau} có trung vị Toán cao nhất ({q.loc[dau, 0.5]})"
      f" và Q3 = {q.loc[dau, 0.75]}.")

tb_ban = thi.groupby("ban")["toan"].mean().round(2)
print("5. Trung bình Toán theo ban:", tb_ban.to_dict())

KẾT QUẢ

1. van có trung bình cao nhất (7.02); anh tản rộng nhất (s = 1.72).
2. 15.7% thí sinh dưới 5 điểm Toán, 17.3% từ 8 trở lên.
3. Có 2 điểm với |z| > 3: {'toan': 1, 'anh': 1}
4. TP. Hồ Chí Minh có trung vị Toán cao nhất (6.8) và Q3 = 7.95.
5. Trung bình Toán theo ban: {'KHTN': 6.49, 'KHXH': 6.55}

z.abs().gt(3).sum() đếm số điểm vượt ngưỡng của từng môn trong một dòng, vì True được cộng như 1. Câu 5 cho thấy hai ban chênh nhau chưa tới 0,1 điểm Toán: trong bộ số này, trung bình Toán hai ban gần như bằng nhau.

Bài tập

Thí sinh nổi bật nhất ở môn nào

Một thí sinh hỏi: so với cả kỳ thi, em nổi bật nhất ở môn chung nào? Điểm gốc không trả lời được, vì mỗi môn có trung bình và độ rộng khác nhau. bang là bảng điểm có các cột sbd (chuỗi), toan, van, anh; một vài ô điểm có thể thiếu. Viết thân hàm mon_manh_nhat(bang, sbd) trả tên môn mà thí sinh có số báo danh sbd đạt z-score cao nhất, với z tính trên cả cột của môn đó, s chia n − 1, bỏ qua ô thiếu. Thí sinh được hỏi luôn có đủ ba điểm; không có hai môn cùng z.

Hàm không sửa bang của nơi gọi.

Trả về: một trong ba tên "toan", "van", "anh", một str.

Ví dụ: với bảng bốn thí sinh có Toán 9, 5, 7, 3; Văn 8, 7,5, 7, 7,5; Anh 6, 4, 8, 6, em đầu tiên ("01000001") có điểm gốc cao nhất ở Toán, nhưng mon_manh_nhat(bang, "01000001") cho "van".

python
import pandas as pd


def mon_manh_nhat(bang, sbd):
    pass  # Viết thân hàm thay cho dòng này

Thử mở rộng

Các hướng dưới làm được ngay với chương trình trên:

  • Gọi mon_manh_nhat(thi, "01006288") trên bảng thật, rồi đếm xem mỗi môn là "môn mạnh nhất" của bao nhiêu em.

  • Làm bước 3 cho môn Anh, rồi đặt hai phổ điểm cạnh nhau bằng plt.subplots(1, 2).

  • Vẽ ECDF điểm Toán của hai ban bằng ax.ecdf() và đọc tỉ lệ dưới 5 của từng ban.

  • Mở rộng bước 2 cho ba môn riêng của mỗi ban: lọc thi["ban"] == "KHTN" rồi tóm tắt ly, hoa, sinh.

  • So với dự án phân tích điểm thi bằng Python thuần: cùng câu hỏi, nhưng tự viết vòng lặp thay cho pandas.

Chủ đề

phổ điểm thi

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập