Thống kê trong Machine Learning: bảng tự kiểm trước khi học
Bài 7/8 · Chương 14
Trang phụ trợ
- 6 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 9
Thống kê trong Machine Learning không phải một môn mới: phần lớn là những gì tutorial này đã dạy, như phương sai, mẫu và tổng thể, khoảng tin cậy, hồi quy đơn, được dùng lại dưới tên khác. Trang này là bảng tự kiểm để biết bạn đã đủ phần toán thống kê cho Machine Learning chưa, bài nào cần ôn, và nên đọc gì tiếp.
Cách dùng bảng tự kiểm
Mỗi nhóm có một bảng câu "tôi làm được": đọc từng dòng, nếu chưa tự tin thì mở bài ở cột cuối. Cột giữa nói khái niệm đó gặp lại ở đâu trong Machine Learning, để bạn biết vì sao nên ôn. Ba ô code của trang là ba bài kiểm nhanh, mỗi ô nối một phép tính thống kê quen với một việc của Machine Learning.
Bạn không cần thuộc hết. Nếu làm được khoảng hai phần ba số dòng, sang tutorial Machine Learning được rồi và quay lại tra khi gặp.
Mô tả và phân phối
Tôi làm được | Gặp lại trong Machine Learning | Bài ôn |
|---|---|---|
Tính trung bình, phương sai, độ lệch chuẩn với | chuẩn hóa đặc trưng, sai số bình phương trung bình (MSE) | |
Đổi một giá trị sang z-score | chuẩn hóa dữ liệu trước khi huấn luyện | |
Đọc độ lệch, tứ phân vị, tìm giá trị bất thường | làm sạch dữ liệu, chọn cách biến đổi đặc trưng | |
Tính xác suất có điều kiện và dùng công thức Bayes | bộ phân loại Naive Bayes, đọc ma trận nhầm lẫn | |
Dùng | giả định phân phối của sai số, phát hiện bất thường | |
Tính hiệp phương sai và hệ số tương quan | chọn đặc trưng, nhận ra hai đặc trưng trùng thông tin |
Bài kiểm nhanh: MSE của một mô hình luôn dự đoán bằng trung bình chính là phương sai chia n. Đó là mốc mà mọi mô hình hồi quy phải vượt:
import numpy as np
gia_that = np.array([1.9, 2.4, 3.6, 2.7, 4.4, 1.8, 3.1, 2.3])
du_doan = np.full(len(gia_that), gia_that.mean())
mse = np.mean((gia_that - du_doan) ** 2)
print(round(mse, 4), round(np.var(gia_that, ddof=0), 4))KẾT QUẢ
0.6894 0.6894Hai số bằng nhau. Một mô hình hồi quy chỉ đáng dùng khi MSE của nó nhỏ hơn hẳn con số này.
Mẫu, khoảng tin cậy và kiểm định
Tôi làm được | Gặp lại trong Machine Learning | Bài ôn |
|---|---|---|
Phân biệt tổng thể và mẫu, nói vì sao mẫu phải ngẫu nhiên | chia dữ liệu huấn luyện và kiểm tra | |
Giải thích sai số chuẩn giảm theo √n | độ chính xác đo trên tập kiểm tra nhỏ dao động nhiều | |
Dựng khoảng tin cậy bằng bootstrap | khoảng tin cậy cho độ chính xác của mô hình | |
Đọc đúng p-value và nói nó không là gì | so hai mô hình, đọc bảng hệ số | |
Kể được sai lầm loại I, loại II | precision và recall của bộ phân loại | |
Giải thích vì sao thử nhiều lần làm tăng báo động giả | thử nhiều mô hình rồi chọn cái tốt nhất trên tập kiểm tra | |
Phân tích một A/B test | đưa mô hình mới ra thử với người dùng thật |
Bài kiểm nhanh: một mô hình đúng 172 trên 200 mẫu kiểm tra. Khoảng tin cậy 95% của độ chính xác cho thấy 86% chỉ là một ước lượng:
from scipy import stats
kq = stats.binomtest(172, 200)
ci = kq.proportion_ci(confidence_level=0.95)
print(172 / 200, round(ci.low, 3), round(ci.high, 3))KẾT QUẢ
0.86 0.804 0.905Một mô hình khác đạt 88% trên cùng 200 mẫu chưa chắc tốt hơn: con số đó vẫn nằm trong khoảng này. Đổi 172, 200 thành 1720, 2000 rồi chạy lại: chương trình in 0.86 0.844 0.875, khoảng hẹp lại còn khoảng một phần ba.
Hồi quy đơn
Tôi làm được | Gặp lại trong Machine Learning | Bài ôn |
|---|---|---|
Tính hệ số góc và hệ số chặn bằng bình phương nhỏ nhất | hồi quy tuyến tính, hàm mất mát MSE | |
Đọc hệ số, sai số chuẩn và p-value của hệ số | giải thích một mô hình tuyến tính | |
Nói vì sao tương quan không là nhân quả | đọc mức quan trọng của đặc trưng mà không suy ra nguyên nhân |
Bài kiểm nhanh: đường thẳng bình phương nhỏ nhất của linregress() cho MSE nhỏ hơn mốc "đoán bằng trung bình" ở mục đầu:
import numpy as np
from scipy import stats
dien_tich = np.array([45, 60, 80, 70, 95, 38, 66, 58])
gia_that = np.array([1.9, 2.4, 3.6, 2.7, 4.4, 1.8, 3.1, 2.3])
hq = stats.linregress(dien_tich, gia_that)
du_doan = hq.intercept + hq.slope * dien_tich
mse = np.mean((gia_that - du_doan) ** 2)
print(round(mse, 4), round(hq.rvalue ** 2, 3))KẾT QUẢ
0.0435 0.937MSE giảm từ khoảng 0,69 xuống khoảng 0,04; R² cho biết đường thẳng giải thích khoảng 94% phương sai của giá trong tám căn này. Đó là cùng một phép tính mà tutorial Machine Learning gọi là huấn luyện một mô hình hồi quy tuyến tính.
Đọc tiếp ở tutorial Machine Learning
Nếu các bảng trên phần lớn đã quen, bạn sẵn sàng sang tutorial Machine Learning của AIDev. Hai bài nên đọc đầu tiên ở đó là "Học máy là gì? Khác lập trình if else ở đâu" và "Học machine learning cần gì? NumPy, pandas, thống kê"; bài sau có bảng kiến thức cần trước của cả tutorial đó, trùng phần lớn với trang này. Bài hồi quy tuyến tính bên đó bắt đầu từ đúng đường thẳng và MSE ở mục trên.
Nếu nhiều dòng còn lạ, ôn theo thứ tự các nhóm của tutorial này; trang cheat sheet thống kê gom công thức và lệnh trên một trang để ôn nhanh.
Câu hỏi thường gặp
Toán thống kê cho Machine Learning cần học tới đâu?
Đủ để đọc dữ liệu (mô tả, phân phối), hiểu mẫu và độ dao động (sai số chuẩn, khoảng tin cậy, bootstrap), và hồi quy đơn. Đại số tuyến tính và giải tích là hai mảng toán khác mà Machine Learning cũng dùng; tutorial thống kê này không dạy chúng.
Học Machine Learning có cần kiểm định giả thuyết không?
Ít hơn phân tích dữ liệu. Nhưng cách nghĩ của kiểm định, tức là một khác biệt nhỏ trên tập kiểm tra có thể chỉ do ngẫu nhiên, giúp bạn không chọn nhầm mô hình. Bài sáu cách hiểu sai p-value là bài nên đọc nếu chỉ có thời gian cho một bài.
Thống kê và Machine Learning khác nhau ở đâu?
Thống kê thường hỏi "dữ liệu nói gì về tổng thể, chắc chắn tới mức nào", Machine Learning thường hỏi "dự đoán trên dữ liệu mới tốt tới mức nào". Hai bên dùng chung nhiều công cụ; hồi quy tuyến tính là ví dụ rõ nhất, như bài hồi quy đơn cho thấy.
Chủ đề
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.