Bỏ qua đến nội dung chính
Mục lục

Ứng dụng công thức Bayes: sản phẩm lỗi do ca nào làm ra

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 11/11 · Chương 4

Xác suất

  • 7 phút
  • Cơ bản
  • Python 3.14
  • Cập nhật

Một khách hàng gửi trả một sản phẩm lỗi và hỏi nó do ca nào làm ra. Dự án ứng dụng công thức Bayes này trả lời câu hỏi đó từ bảng kiểm tra chất lượng của một xưởng. Chương trình tính tỉ lệ lỗi chung bằng xác suất toàn phần, rồi tính xác suất một sản phẩm lỗi đến từ từng ca.

Cần biết trước: công thức xác suất toàn phần, công thức Bayes và groupby().

Chương trình sẽ làm gì

File loi_san_pham.csv là số giả lập của AIDev: 240 lô hàng trong 40 ngày, mỗi lô kiểm 50 sản phẩm. Mỗi dòng ghi mã lô, ngày, ca (Sáng, Chiều, Đêm), máy (M1, M2), số sản phẩm kiểm và số sản phẩm lỗi.

Chương trình đưa ra ba con số cho mỗi ca: tiên nghiệm P(ca), tức phần sản lượng ca đó làm; khả năng (likelihood) P(lỗi | ca), tức tỉ lệ lỗi của ca; và hậu nghiệm P(ca | lỗi). Thêm một dòng tỉ lệ lỗi chung của xưởng. Cuối trang, bạn viết một hàm làm cùng việc cho một cột nhóm bất kỳ, như cột máy, với tiên nghiệm cho trước.

Bước 1: Tiên nghiệm và tỉ lệ lỗi của từng ca

groupby("ca") cộng số sản phẩm kiểm và số lỗi của mọi lô trong cùng ca. Chia số kiểm của mỗi ca cho tổng được P(ca); chia số lỗi cho số kiểm được P(lỗi | ca):

python
import pandas as pd

lo = pd.read_csv("loi_san_pham.csv")
ca = lo.groupby("ca")[["so_kiem", "so_loi"]].sum()
ca["p_ca"] = ca["so_kiem"] / ca["so_kiem"].sum()
ca["p_loi_khi_ca"] = ca["so_loi"] / ca["so_kiem"]
print(ca.to_string(float_format="{:.4f}".format))

KẾT QUẢ

       so_kiem  so_loi   p_ca  p_loi_khi_ca
ca
Chiều     4000     147 0.3333        0.0367
Sáng      4000     138 0.3333        0.0345
Đêm       4000     254 0.3333        0.0635

to_string(float_format=...) in mỗi số thực bốn chữ số thập phân; print(ca) thường chỉ in hai chữ số và làm 0,0367 với 0,0345 trông như 0,04 với 0,03.

Ba ca làm số hàng bằng nhau, mỗi ca một phần ba. Ca đêm lỗi 254 trên 4.000 sản phẩm, tức 6,35%, gần gấp đôi hai ca ban ngày (0,0367 và 0,0345). Các tỉ lệ này đo trên 4.000 sản phẩm mỗi ca, nên vẫn có dao động của mẫu; chương sau về ước lượng tỉ lệ sẽ đo dao động đó.

Bước 2: Tỉ lệ lỗi chung bằng xác suất toàn phần

Công thức xác suất toàn phần cộng các nhánh P(ca) · P(lỗi | ca), đúng là tích vô hướng của hai cột. Dòng thứ hai đếm thẳng tổng lỗi chia tổng kiểm để kiểm lại:

python
import numpy as np
import pandas as pd

lo = pd.read_csv("loi_san_pham.csv")
ca = lo.groupby("ca")[["so_kiem", "so_loi"]].sum()
p_ca = ca["so_kiem"] / ca["so_kiem"].sum()
p_loi_khi_ca = ca["so_loi"] / ca["so_kiem"]
print("Toàn phần:", round(float(np.dot(p_ca, p_loi_khi_ca)), 4))
dem = lo["so_loi"].sum() / lo["so_kiem"].sum()
print("Đếm thẳng:", round(dem, 4))

KẾT QUẢ

Toàn phần: 0.0449
Đếm thẳng: 0.0449

Hai số trùng nhau: trên dữ liệu đếm được, xác suất toàn phần chỉ là cách viết khác của tổng lỗi chia tổng sản phẩm. Công thức có ích khi chỉ biết tỉ trọng và tỉ lệ từng nhóm, như khi lập kế hoạch cho tháng sau.

Bước 3: Hậu nghiệm P(ca | lỗi) bằng công thức Bayes

Mỗi nhánh P(ca) · P(lỗi | ca) chia cho tỉ lệ lỗi chung cho xác suất một sản phẩm lỗi đến từ ca đó. Cột cuối đếm thẳng phần lỗi của mỗi ca trong tổng lỗi để so:

python
import pandas as pd

lo = pd.read_csv("loi_san_pham.csv")
ca = lo.groupby("ca")[["so_kiem", "so_loi"]].sum()
p_ca = ca["so_kiem"] / ca["so_kiem"].sum()
nhanh = p_ca * ca["so_loi"] / ca["so_kiem"]
dem_thang = ca["so_loi"] / ca["so_loi"].sum()
ket_qua = pd.DataFrame({"bayes": nhanh / nhanh.sum(),
                        "dem_thang": dem_thang})
print(ket_qua.to_string(float_format="{:.4f}".format))

KẾT QUẢ

       bayes  dem_thang
ca
Chiều 0.2727     0.2727
Sáng  0.2560     0.2560
Đêm   0.4712     0.4712

Một sản phẩm lỗi do ca đêm làm với xác suất khoảng 0,47, dù ca đêm chỉ làm một phần ba số hàng. Cột Bayes và cột đếm thẳng bằng nhau, vì cả hai cùng chia số lỗi của ca cho tổng số lỗi.

Bước 4: Theo ca và máy bằng pd.crosstab()

Mỗi ca chạy hai máy. pd.crosstab() với values= và aggfunc="sum" cộng số lỗi vào từng ô ca × máy; normalize="all" chia mọi ô cho tổng lỗi, nên mỗi ô là P(ca và máy | lỗi):

python
import pandas as pd

lo = pd.read_csv("loi_san_pham.csv")
bang = pd.crosstab(lo["ca"], lo["may"], values=lo["so_loi"],
                   aggfunc="sum", normalize="all")
print(bang)

KẾT QUẢ

may      M1    M2
ca
Chiều  0.14  0.13
Sáng   0.10  0.15
Đêm    0.24  0.23

Sáu ô cộng bằng 1. Ca đêm chiếm gần một nửa số lỗi trên cả hai máy; ở ca sáng, máy M2 góp nhiều lỗi hơn M1. Bài pd.crosstab() dạy thêm margins= để in tổng hàng và tổng cột.

Bước 5: Khi các ca làm số hàng khác nhau

Trong file, ba ca làm số hàng bằng nhau, nên tiên nghiệm không làm lệch kết quả. Giả sử tháng sau xưởng giảm ca đêm còn 10% sản lượng, mỗi ca ngày 45%, và tỉ lệ lỗi giữ nguyên. Công thức Bayes trả lời ngay, không cần chờ dữ liệu:

python
import pandas as pd

lo = pd.read_csv("loi_san_pham.csv")
ca = lo.groupby("ca")[["so_kiem", "so_loi"]].sum()
p_loi_khi_ca = ca["so_loi"] / ca["so_kiem"]
p_ca_moi = pd.Series({"Chiều": 0.45, "Sáng": 0.45, "Đêm": 0.10})
nhanh = p_ca_moi * p_loi_khi_ca
print("Tỉ lệ lỗi chung:", round(float(nhanh.sum()), 4))
print((nhanh / nhanh.sum()).to_string(float_format="{:.4f}".format))

KẾT QUẢ

Tỉ lệ lỗi chung: 0.0384
Chiều   0.4305
Sáng    0.4042
Đêm     0.1653

Ca đêm vẫn lỗi gần gấp đôi mỗi sản phẩm (0,0635 so với 0,0367 và 0,0345), nhưng chỉ còn chiếm khoảng 0,17 số hàng lỗi, vì nó làm ít hàng hơn. Đây là vai trò của tỉ lệ nền trong bài công thức Bayes: cùng một khả năng, tiên nghiệm khác cho hậu nghiệm khác.

Bước 6: Ghép thành chương trình hoàn chỉnh

Chương trình dưới gói ba bước đầu thành một hàm bao_cao(lo, cot), nhận bảng và tên cột nhóm, trả bảng ba cột tiên nghiệm, khả năng, hậu nghiệm và tỉ lệ lỗi chung. Gọi nó cho cột ca và cột may:

python
import numpy as np
import pandas as pd


def bao_cao(lo, cot):
    g = lo.groupby(cot)[["so_kiem", "so_loi"]].sum()
    p_nhom = g["so_kiem"] / g["so_kiem"].sum()
    p_loi_khi_nhom = g["so_loi"] / g["so_kiem"]
    p_loi = float(np.dot(p_nhom, p_loi_khi_nhom))
    bang = pd.DataFrame({
        "tien_nghiem": p_nhom,
        "p_loi_khi_nhom": p_loi_khi_nhom,
        "hau_nghiem": p_nhom * p_loi_khi_nhom / p_loi,
    })
    return bang, p_loi


lo = pd.read_csv("loi_san_pham.csv")
for cot in ["ca", "may"]:
    bang, p_loi = bao_cao(lo, cot)
    print(f"Theo {cot}: tỉ lệ lỗi chung {p_loi:.2%}")
    print(bang.to_string(float_format="{:.4f}".format))
    print()

KẾT QUẢ

Theo ca: tỉ lệ lỗi chung 4.49%
       tien_nghiem  p_loi_khi_nhom  hau_nghiem
ca
Chiều       0.3333          0.0367      0.2727
Sáng        0.3333          0.0345      0.2560
Đêm         0.3333          0.0635      0.4712

Theo may: tỉ lệ lỗi chung 4.49%
     tien_nghiem  p_loi_khi_nhom  hau_nghiem
may
M1        0.5000          0.0435      0.4842
M2        0.5000          0.0463      0.5158

Theo máy, M2 lỗi nhỉnh hơn M1 một chút (0,0463 so với 0,0435). Mức chênh đó nhỏ so với chênh lệch giữa các ca, và trên 6.000 sản phẩm mỗi máy nó có thể chỉ là dao động của mẫu.

Bài tập

Xác suất một sản phẩm lỗi thuộc từng nhóm

bang là DataFrame có cột so_kiem, so_loi và một cột nhóm tên cot, như file loi_san_pham.csv. tien_nghiem là dictionary từ mỗi giá trị nhóm của bảng sang tiên nghiệm P(nhóm), như tỉ trọng sản lượng kế hoạch ở bước 5; các tiên nghiệm cộng bằng 1 và có đủ mọi nhóm của bảng. Viết thân hàm nhom_khi_loi(bang, cot, tien_nghiem): lấy tỉ lệ lỗi P(lỗi | nhóm) từ bảng (tổng số lỗi chia tổng số kiểm của nhóm), rồi tính P(nhóm | lỗi) bằng công thức Bayes với tiên nghiệm tien_nghiem, không với tỉ trọng số kiểm của bảng. Tổng các nhánh P(nhóm) · P(lỗi | nhóm) lớn hơn 0.

Hàm không sửa bang hay tien_nghiem của nơi gọi.

Trả về: một dict từ giá trị nhóm sang P(nhóm | lỗi), mỗi giá trị là float.

Ví dụ trên file, nhom_khi_loi(lo, "ca", {"Sáng": 0.45, "Chiều": 0.45, "Đêm": 0.10}) cho xấp xỉ {"Chiều": 0.4305, "Sáng": 0.4042, "Đêm": 0.1653}, đúng các số của bước 5.

python
import pandas as pd


def nhom_khi_loi(bang, cot, tien_nghiem):
    pass  # Viết thân hàm thay cho dòng này

Thử mở rộng

  • Gọi nhom_khi_loi(lo, "may", {"M1": 0.5, "M2": 0.5}) rồi đổi tiên nghiệm thành 0,8 và 0,2 để thấy hậu nghiệm của từng máy đổi theo.

  • Thêm cột ca_may = lo["ca"] + " " + lo["may"] rồi gọi bao_cao(lo, "ca_may") để có sáu nhóm ca × máy trong một bảng.

  • Muốn biết ca đêm lỗi nhiều hơn thật hay chỉ do dao động của mẫu, dùng kiểm định chi bình phương trên bảng số lỗi và số đạt của ba ca.

  • Mô phỏng 100.000 sản phẩm theo tiên nghiệm và tỉ lệ lỗi của bước 5 bằng số ngẫu nhiên của NumPy, rồi so tần suất với hậu nghiệm Bayes.

Chủ đề

ứng dụng công thức bayes

Dữ liệu của bài

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập