Naive Bayes: GaussianNB và MultinomialNB trong sklearn
Bài 9/11 · Chương 5
Phân loại: logistic regression, KNN, SVM, Naive Bayes
- 9 phút
- Cơ bản
- Python 3.14
- Cập nhật
Trong bài này · 11
Naive Bayes là nhóm model phân loại dùng công thức Bayes, với một giả định "ngây thơ": khi đã biết lớp, các feature độc lập với nhau, nên xác suất của cả hàng là tích xác suất của từng cột. Trong scikit-learn, GaussianNB coi mỗi cột số trong mỗi lớp là một phân phối chuẩn, còn MultinomialNB dành cho số đếm như số lần mỗi từ xuất hiện trong một đoạn văn ngắn. Cả hai fit gần như tức thì, nên hay được dùng làm mốc nhanh trước khi thử model khác.
Cần biết trước: công thức Bayes, biến cố độc lập và phân phối chuẩn.
Naive Bayes là gì: Bayes cộng một giả định độc lập
Công thức Bayes đổi "xác suất thấy x khi biết lớp" thành "xác suất của lớp khi thấy x". Phần khó là cho cả hàng; Naive Bayes thay nó bằng tích từng cột, và GaussianNB đặt mỗi thừa số là một mật độ chuẩn:
Trong đó:
là tỉ lệ của lớp trong tập train;
, là trung bình và phương sai (
ddof=0) của cột trong các dòng thuộc lớp ;nghĩa là "tỉ lệ với": tính vế phải cho mọi lớp rồi chia cho tổng để các xác suất cộng lại bằng 1.
Một cột, số lần đăng nhập trong 30 ngày của hội viên Sóc Vàng (số giả lập của AIDev). Tính tay xác suất bỏ gói của một khách đăng nhập 2 lần, với norm.pdf của SciPy cho mật độ chuẩn:
import pandas as pd
from scipy.stats import norm
hv = pd.read_csv("hoi_vien.csv")
dn = hv["so_lan_dang_nhap_30_ngay"]
truoc = hv["roi_bo"].value_counts(normalize=True).sort_index()
x, tu = 2, []
for lop in [0, 1]:
nhom = dn[hv["roi_bo"] == lop]
mu, var = nhom.mean(), nhom.var(ddof=0)
print(lop, round(truoc[lop], 4), round(mu, 2), round(var, 2))
tu.append(truoc[lop] * norm.pdf(x, loc=mu, scale=var ** 0.5))
print(f"P(bỏ gói | {x} lần):", round(tu[1] / (tu[0] + tu[1]), 4))KẾT QUẢ
0 0.8017 8.33 28.81
1 0.1983 5.29 14.81
P(bỏ gói | 2 lần): 0.3245Người bỏ gói đăng nhập ít hơn (trung bình 5,29 so với 8,33), nên 2 lần đăng nhập kéo xác suất từ mức chung 19,8% lên 32,45%. Đổi x, tu = 2, [] thành x, tu = 15, [] rồi chạy lại: dòng cuối in P(bỏ gói | 15 lần): 0.03, vì khách đăng nhập nhiều giống nhóm ở lại hơn.
GaussianNB làm đúng phép tính đó
GaussianNB lưu tỉ lệ lớp trong class_prior_, trung bình trong theta_ và phương sai trong var_:
import pandas as pd
from sklearn.naive_bayes import GaussianNB
hv = pd.read_csv("hoi_vien.csv")
X = hv[["so_lan_dang_nhap_30_ngay"]]
nb = GaussianNB().fit(X, hv["roi_bo"])
print(nb.class_prior_.round(4), nb.theta_.ravel().round(2),
nb.var_.ravel().round(2))
moi = pd.DataFrame({"so_lan_dang_nhap_30_ngay": [2, 8, 15]})
print(nb.predict_proba(moi)[:, 1].round(4))KẾT QUẢ
[0.8017 0.1983] [8.33 5.29] [28.81 14.81]
[0.3245 0.2124 0.03 ]Cùng ba con số, cùng 0,3245 cho khách 2 lần. var_ lớn hơn phương sai thật một lượng rất nhỏ. Lượng đó là var_smoothing= (mặc định 1e-9) nhân phương sai lớn nhất của các cột, cộng vào mọi phương sai để một cột hằng số trong một lớp không gây phép chia cho 0.
Với cả mười cột số, GaussianNB chỉ việc nhân thêm mười thừa số. So với logistic regression bằng ROC-AUC trung bình 5 fold:
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_val_score
from sklearn.naive_bayes import GaussianNB
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
hv = pd.read_csv("hoi_vien.csv")
X, y = hv.loc[:, "tu_dong_gia_han":"ti_le_dung_ma_giam"], hv.roi_bo
lr = make_pipeline(StandardScaler(), LogisticRegression())
cach = {"GaussianNB": GaussianNB(), "Logistic": lr}
for ten, model in cach.items():
auc = cross_val_score(model, X, y, scoring="roc_auc").mean()
print(f"{ten:11} {auc:.3f}")KẾT QUẢ
GaussianNB 0.764
Logistic 0.792GaussianNB không cần scale (mỗi cột có trung bình và phương sai riêng) và gần như không có tham số phải chỉnh (var_smoothing=, priors= để mặc định thường đủ), nhưng thua logistic regression 0,028. Làm mốc thì vậy là đủ: model nào mất công hơn mà không vượt 0,764 thì chưa đáng giữ.
Giả định độc lập làm xác suất quá tự tin
Giả định "ngây thơ" sai khi các cột liên quan với nhau, và cách sai dễ thấy nhất là chép một cột thành ba bản. Ba bản mang đúng một thông tin, nhưng Naive Bayes coi chúng là ba bằng chứng độc lập và nhân thừa số đó ba lần:
import pandas as pd
from sklearn.naive_bayes import GaussianNB
hv = pd.read_csv("hoi_vien.csv")
y = hv["roi_bo"]
mot = hv[["so_lan_dang_nhap_30_ngay"]]
ba = pd.concat([mot] * 3, axis=1, ignore_index=True)
khach = [[2], [2, 2, 2]]
for X, x in zip([mot, ba], khach):
nb = GaussianNB().fit(X.to_numpy(), y)
print(X.shape[1], "cột:", nb.predict_proba([x])[0, 1].round(4))KẾT QUẢ
1 cột: 0.3245
3 cột: 0.6441Cùng một khách, cùng một thông tin, xác suất vọt từ 0,32 lên 0,64 và vượt ngưỡng 0,5. Thứ hạng giữa các khách thì gần như giữ nguyên, nên ROC-AUC của Naive Bayes thường ổn hơn chính các con số xác suất của nó. Khi bảng có những cột đo cùng một thứ, như số đơn và tổng chi tiêu, đừng đọc predict_proba() của Naive Bayes như một xác suất đã hiệu chỉnh.
MultinomialNB cho số đếm và văn bản ngắn
Với văn bản, mỗi cột là số lần một từ xuất hiện, và MultinomialNB tính xác suất một từ thuộc mỗi lớp từ số đếm. Mười ghi chú tự viết của nhân viên chăm sóc, năm của khách đã hủy (nhãn 1), năm của khách ở lại (nhãn 0); CountVectorizer đếm từ:
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB
ghi_chu = ["giao hàng trễ quá", "phí gói đắt",
"giao trễ hàng hỏng", "đắt mà ít ưu đãi", "muốn hủy gói",
"giao nhanh hài lòng", "ưu đãi nhiều", "hài lòng gói",
"giao nhanh đóng gói kỹ", "sẽ gia hạn tiếp"]
nhan = [1, 1, 1, 1, 1, 0, 0, 0, 0, 0]
dem = CountVectorizer()
X = dem.fit_transform(ghi_chu)
print(len(dem.vocabulary_), "từ")
moi = dem.transform(["giao trễ nhưng ưu đãi nhiều", "hàng hỏng"])
for alpha in [1.0, 1e-10]:
nb = MultinomialNB(alpha=alpha)
nb.fit(X, nhan)
print(alpha, nb.predict_proba(moi)[:, 1].round(3))KẾT QUẢ
24 từ
1.0 [0.6 0.857]
1e-10 [0.667 1. ]alpha= là số đếm giả cộng thêm cho mọi từ ở mọi lớp (làm trơn Laplace khi bằng 1). Từ "hỏng" chỉ xuất hiện ở nhóm hủy. Với alpha gần 0, xác suất của "hỏng" trong nhóm ở lại gần 0, nên chỉ một từ đó đẩy ghi chú "hàng hỏng" lên đúng 1,0: chắc chắn tuyệt đối từ một lần đếm. Với alpha=1.0 (mặc định), con số còn 0,857. Từ scikit-learn 1.4, force_alpha=True là mặc định: alpha cực nhỏ được dùng đúng như bạn đặt, không cảnh báo. Bản cũ hơn tự nâng alpha dưới 1e-10 lên 1e-10 và in cảnh báo.
Kiểm tra nhanh
Hai lớp có tỉ lệ 0,8 và 0,2. Với một khách, mật độ của cột trong lớp 0 là 0,05 và trong lớp 1 là 0,1. Naive Bayes cho xác suất lớp 1 bao nhiêu?
- 0,67
- 0,33
- 0,1
Những câu nào đúng về
GaussianNB?- Nó lưu trung bình của từng cột trong từng lớp ở
theta_ - Nó không cần scale cột trước khi fit
- Nó chỉ nhận số đếm không âm
var_smoothing=là số đếm giả cộng vào mỗi từ
- Nó lưu trung bình của từng cột trong từng lớp ở
Với
MultinomialNB(alpha=1e-10), một từ chỉ xuất hiện ở lớp 1 trong tập train gây ra điều gì?- Không gì, vì từ đó bị bỏ qua
- Gần như mọi văn bản chứa từ đó bị đẩy lên xác suất lớp 1 xấp xỉ 1
- Model báo lỗi vì có xác suất bằng 0
Chép một cột thành ba bản giống hệt rồi fit
GaussianNB. Điều gì xảy ra vớipredict_proba()?- Không đổi, vì thông tin không đổi
- Xác suất xa 0,5 hơn, vì cùng một bằng chứng bị nhân ba lần
- Mọi xác suất về đúng 0,5
Bài tập
GaussianNB một cột bằng tay
x_tr là list giá trị của một cột trên tập train, y_tr là list nhãn 0/1 cùng độ dài (mỗi lớp có ít nhất hai giá trị khác nhau). Viết thân hàm nb_mot_cot(x_tr, y_tr, x_moi) trả xác suất lớp 1 cho giá trị mới x_moi theo Naive Bayes Gauss: tỉ lệ lớp nhân mật độ chuẩn với trung bình và độ lệch chuẩn (ddof=0) của lớp đó, rồi chia cho tổng hai lớp. Không dùng GaussianNB() hay các lớp Naive Bayes khác của scikit-learn. Hàm không sửa hai list của nơi gọi.
Trả về: xác suất lớp 1, một float.
Ví dụ: nb_mot_cot([1, 2, 3, 8, 9, 10], [0, 0, 0, 1, 1, 1], 5.0) trả khoảng 0.0052.
import numpy as np
from scipy.stats import norm
def nb_mot_cot(x_tr, y_tr, x_moi):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Naive Bayes nhân tỉ lệ lớp với xác suất của từng cột khi biết lớp, giả định các cột độc lập, rồi chia cho tổng các lớp.
GaussianNBcho cột số: mỗi cột trong mỗi lớp là một phân phối chuẩn;var_smoothing=cộng một lượng nhỏ vào phương sai.MultinomialNBcho số đếm không âm như từ trong văn bản;alpha=là số đếm giả, tránh để một từ quyết định tất cả.Fit nhanh, không cần scale, gần như không có tham số phải chỉnh: hợp làm mốc so model.
Các cột trùng thông tin làm xác suất quá tự tin; thứ hạng thì thường vẫn dùng được.
Câu hỏi thường gặp
Có phải Naive Bayes chỉ dùng cho văn bản?
Không. Văn bản là chỗ nó nổi tiếng nhất vì số cột (số từ) rất lớn mà mỗi văn bản lại ngắn, nhưng GaussianNB dùng cho cột số và CategoricalNB cho cột nhóm. Bài này dùng cả hai loại đầu.
Gaussian naive bayes có cần cột phân phối chuẩn không?
Model giả định vậy, nhưng vẫn chạy khi cột lệch. Cột lệch nặng như chi tiêu thì mật độ chuẩn khớp kém, và biến đổi log trước khi fit đôi khi giúp; hãy kiểm bằng cross-validation thay vì đoán.
Vì sao điểm ROC-AUC của Naive Bayes ổn mà xác suất lại lệch?
ROC-AUC chỉ đo thứ hạng giữa các khách. Giả định độc lập kéo xác suất về gần 0 hay 1 nhưng ít làm đổi thứ tự, nên ROC-AUC vẫn khá còn từng con số xác suất thì không nên đọc thẳng.
Chủ đề
Dữ liệu của bài
- Tải xuống
hoi_vien.csv
CSV · 207.25 KB
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.