Ứng dụng công thức Bayes: sản phẩm lỗi do ca nào làm ra
Bài 11/11 · Chương 4
Xác suất
- 7 phút
- Cơ bản
- Python 3.14
- Cập nhật
Trong bài này · 9
Một khách hàng gửi trả một sản phẩm lỗi và hỏi nó do ca nào làm ra. Dự án ứng dụng công thức Bayes này trả lời câu hỏi đó từ bảng kiểm tra chất lượng của một xưởng. Chương trình tính tỉ lệ lỗi chung bằng xác suất toàn phần, rồi tính xác suất một sản phẩm lỗi đến từ từng ca.
Cần biết trước: công thức xác suất toàn phần, công thức Bayes và groupby().
Chương trình sẽ làm gì
File loi_san_pham.csv là số giả lập của AIDev: 240 lô hàng trong 40 ngày, mỗi lô kiểm 50 sản phẩm. Mỗi dòng ghi mã lô, ngày, ca (Sáng, Chiều, Đêm), máy (M1, M2), số sản phẩm kiểm và số sản phẩm lỗi.
Chương trình đưa ra ba con số cho mỗi ca: tiên nghiệm P(ca), tức phần sản lượng ca đó làm; khả năng (likelihood) P(lỗi | ca), tức tỉ lệ lỗi của ca; và hậu nghiệm P(ca | lỗi). Thêm một dòng tỉ lệ lỗi chung của xưởng. Cuối trang, bạn viết một hàm làm cùng việc cho một cột nhóm bất kỳ, như cột máy, với tiên nghiệm cho trước.
Bước 1: Tiên nghiệm và tỉ lệ lỗi của từng ca
groupby("ca") cộng số sản phẩm kiểm và số lỗi của mọi lô trong cùng ca. Chia số kiểm của mỗi ca cho tổng được P(ca); chia số lỗi cho số kiểm được P(lỗi | ca):
import pandas as pd
lo = pd.read_csv("loi_san_pham.csv")
ca = lo.groupby("ca")[["so_kiem", "so_loi"]].sum()
ca["p_ca"] = ca["so_kiem"] / ca["so_kiem"].sum()
ca["p_loi_khi_ca"] = ca["so_loi"] / ca["so_kiem"]
print(ca.to_string(float_format="{:.4f}".format))KẾT QUẢ
so_kiem so_loi p_ca p_loi_khi_ca
ca
Chiều 4000 147 0.3333 0.0367
Sáng 4000 138 0.3333 0.0345
Đêm 4000 254 0.3333 0.0635to_string(float_format=...) in mỗi số thực bốn chữ số thập phân; print(ca) thường chỉ in hai chữ số và làm 0,0367 với 0,0345 trông như 0,04 với 0,03.
Ba ca làm số hàng bằng nhau, mỗi ca một phần ba. Ca đêm lỗi 254 trên 4.000 sản phẩm, tức 6,35%, gần gấp đôi hai ca ban ngày (0,0367 và 0,0345). Các tỉ lệ này đo trên 4.000 sản phẩm mỗi ca, nên vẫn có dao động của mẫu; chương sau về ước lượng tỉ lệ sẽ đo dao động đó.
Bước 2: Tỉ lệ lỗi chung bằng xác suất toàn phần
Công thức xác suất toàn phần cộng các nhánh P(ca) · P(lỗi | ca), đúng là tích vô hướng của hai cột. Dòng thứ hai đếm thẳng tổng lỗi chia tổng kiểm để kiểm lại:
import numpy as np
import pandas as pd
lo = pd.read_csv("loi_san_pham.csv")
ca = lo.groupby("ca")[["so_kiem", "so_loi"]].sum()
p_ca = ca["so_kiem"] / ca["so_kiem"].sum()
p_loi_khi_ca = ca["so_loi"] / ca["so_kiem"]
print("Toàn phần:", round(float(np.dot(p_ca, p_loi_khi_ca)), 4))
dem = lo["so_loi"].sum() / lo["so_kiem"].sum()
print("Đếm thẳng:", round(dem, 4))KẾT QUẢ
Toàn phần: 0.0449
Đếm thẳng: 0.0449Hai số trùng nhau: trên dữ liệu đếm được, xác suất toàn phần chỉ là cách viết khác của tổng lỗi chia tổng sản phẩm. Công thức có ích khi chỉ biết tỉ trọng và tỉ lệ từng nhóm, như khi lập kế hoạch cho tháng sau.
Bước 3: Hậu nghiệm P(ca | lỗi) bằng công thức Bayes
Mỗi nhánh P(ca) · P(lỗi | ca) chia cho tỉ lệ lỗi chung cho xác suất một sản phẩm lỗi đến từ ca đó. Cột cuối đếm thẳng phần lỗi của mỗi ca trong tổng lỗi để so:
import pandas as pd
lo = pd.read_csv("loi_san_pham.csv")
ca = lo.groupby("ca")[["so_kiem", "so_loi"]].sum()
p_ca = ca["so_kiem"] / ca["so_kiem"].sum()
nhanh = p_ca * ca["so_loi"] / ca["so_kiem"]
dem_thang = ca["so_loi"] / ca["so_loi"].sum()
ket_qua = pd.DataFrame({"bayes": nhanh / nhanh.sum(),
"dem_thang": dem_thang})
print(ket_qua.to_string(float_format="{:.4f}".format))KẾT QUẢ
bayes dem_thang
ca
Chiều 0.2727 0.2727
Sáng 0.2560 0.2560
Đêm 0.4712 0.4712Một sản phẩm lỗi do ca đêm làm với xác suất khoảng 0,47, dù ca đêm chỉ làm một phần ba số hàng. Cột Bayes và cột đếm thẳng bằng nhau, vì cả hai cùng chia số lỗi của ca cho tổng số lỗi.
Bước 4: Theo ca và máy bằng pd.crosstab()
Mỗi ca chạy hai máy. pd.crosstab() với values= và aggfunc="sum" cộng số lỗi vào từng ô ca × máy; normalize="all" chia mọi ô cho tổng lỗi, nên mỗi ô là P(ca và máy | lỗi):
import pandas as pd
lo = pd.read_csv("loi_san_pham.csv")
bang = pd.crosstab(lo["ca"], lo["may"], values=lo["so_loi"],
aggfunc="sum", normalize="all")
print(bang)KẾT QUẢ
may M1 M2
ca
Chiều 0.14 0.13
Sáng 0.10 0.15
Đêm 0.24 0.23Sáu ô cộng bằng 1. Ca đêm chiếm gần một nửa số lỗi trên cả hai máy; ở ca sáng, máy M2 góp nhiều lỗi hơn M1. Bài pd.crosstab() dạy thêm margins= để in tổng hàng và tổng cột.
Bước 5: Khi các ca làm số hàng khác nhau
Trong file, ba ca làm số hàng bằng nhau, nên tiên nghiệm không làm lệch kết quả. Giả sử tháng sau xưởng giảm ca đêm còn 10% sản lượng, mỗi ca ngày 45%, và tỉ lệ lỗi giữ nguyên. Công thức Bayes trả lời ngay, không cần chờ dữ liệu:
import pandas as pd
lo = pd.read_csv("loi_san_pham.csv")
ca = lo.groupby("ca")[["so_kiem", "so_loi"]].sum()
p_loi_khi_ca = ca["so_loi"] / ca["so_kiem"]
p_ca_moi = pd.Series({"Chiều": 0.45, "Sáng": 0.45, "Đêm": 0.10})
nhanh = p_ca_moi * p_loi_khi_ca
print("Tỉ lệ lỗi chung:", round(float(nhanh.sum()), 4))
print((nhanh / nhanh.sum()).to_string(float_format="{:.4f}".format))KẾT QUẢ
Tỉ lệ lỗi chung: 0.0384
Chiều 0.4305
Sáng 0.4042
Đêm 0.1653Ca đêm vẫn lỗi gần gấp đôi mỗi sản phẩm (0,0635 so với 0,0367 và 0,0345), nhưng chỉ còn chiếm khoảng 0,17 số hàng lỗi, vì nó làm ít hàng hơn. Đây là vai trò của tỉ lệ nền trong bài công thức Bayes: cùng một khả năng, tiên nghiệm khác cho hậu nghiệm khác.
Bước 6: Ghép thành chương trình hoàn chỉnh
Chương trình dưới gói ba bước đầu thành một hàm bao_cao(lo, cot), nhận bảng và tên cột nhóm, trả bảng ba cột tiên nghiệm, khả năng, hậu nghiệm và tỉ lệ lỗi chung. Gọi nó cho cột ca và cột may:
import numpy as np
import pandas as pd
def bao_cao(lo, cot):
g = lo.groupby(cot)[["so_kiem", "so_loi"]].sum()
p_nhom = g["so_kiem"] / g["so_kiem"].sum()
p_loi_khi_nhom = g["so_loi"] / g["so_kiem"]
p_loi = float(np.dot(p_nhom, p_loi_khi_nhom))
bang = pd.DataFrame({
"tien_nghiem": p_nhom,
"p_loi_khi_nhom": p_loi_khi_nhom,
"hau_nghiem": p_nhom * p_loi_khi_nhom / p_loi,
})
return bang, p_loi
lo = pd.read_csv("loi_san_pham.csv")
for cot in ["ca", "may"]:
bang, p_loi = bao_cao(lo, cot)
print(f"Theo {cot}: tỉ lệ lỗi chung {p_loi:.2%}")
print(bang.to_string(float_format="{:.4f}".format))
print()KẾT QUẢ
Theo ca: tỉ lệ lỗi chung 4.49%
tien_nghiem p_loi_khi_nhom hau_nghiem
ca
Chiều 0.3333 0.0367 0.2727
Sáng 0.3333 0.0345 0.2560
Đêm 0.3333 0.0635 0.4712
Theo may: tỉ lệ lỗi chung 4.49%
tien_nghiem p_loi_khi_nhom hau_nghiem
may
M1 0.5000 0.0435 0.4842
M2 0.5000 0.0463 0.5158Theo máy, M2 lỗi nhỉnh hơn M1 một chút (0,0463 so với 0,0435). Mức chênh đó nhỏ so với chênh lệch giữa các ca, và trên 6.000 sản phẩm mỗi máy nó có thể chỉ là dao động của mẫu.
Bài tập
Xác suất một sản phẩm lỗi thuộc từng nhóm
bang là DataFrame có cột so_kiem, so_loi và một cột nhóm tên cot, như file loi_san_pham.csv. tien_nghiem là dictionary từ mỗi giá trị nhóm của bảng sang tiên nghiệm P(nhóm), như tỉ trọng sản lượng kế hoạch ở bước 5; các tiên nghiệm cộng bằng 1 và có đủ mọi nhóm của bảng. Viết thân hàm nhom_khi_loi(bang, cot, tien_nghiem): lấy tỉ lệ lỗi P(lỗi | nhóm) từ bảng (tổng số lỗi chia tổng số kiểm của nhóm), rồi tính P(nhóm | lỗi) bằng công thức Bayes với tiên nghiệm tien_nghiem, không với tỉ trọng số kiểm của bảng. Tổng các nhánh P(nhóm) · P(lỗi | nhóm) lớn hơn 0.
Hàm không sửa bang hay tien_nghiem của nơi gọi.
Trả về: một dict từ giá trị nhóm sang P(nhóm | lỗi), mỗi giá trị là float.
Ví dụ trên file, nhom_khi_loi(lo, "ca", {"Sáng": 0.45, "Chiều": 0.45, "Đêm": 0.10}) cho xấp xỉ {"Chiều": 0.4305, "Sáng": 0.4042, "Đêm": 0.1653}, đúng các số của bước 5.
import pandas as pd
def nhom_khi_loi(bang, cot, tien_nghiem):
pass # Viết thân hàm thay cho dòng nàyThử mở rộng
Gọi
nhom_khi_loi(lo, "may", {"M1": 0.5, "M2": 0.5})rồi đổi tiên nghiệm thành 0,8 và 0,2 để thấy hậu nghiệm của từng máy đổi theo.Thêm cột
ca_may = lo["ca"] + " " + lo["may"]rồi gọibao_cao(lo, "ca_may")để có sáu nhóm ca × máy trong một bảng.Muốn biết ca đêm lỗi nhiều hơn thật hay chỉ do dao động của mẫu, dùng kiểm định chi bình phương trên bảng số lỗi và số đạt của ba ca.
Mô phỏng 100.000 sản phẩm theo tiên nghiệm và tỉ lệ lỗi của bước 5 bằng số ngẫu nhiên của NumPy, rồi so tần suất với hậu nghiệm Bayes.
Chủ đề
Dữ liệu của bài
- Tải xuống
loi_san_pham.csv
CSV · 7.45 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.