Bỏ qua đến nội dung chính
Mục lục

Thống kê trong Machine Learning: bảng tự kiểm trước khi học

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 7/8 · Chương 14

Trang phụ trợ

  • 6 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Thống kê trong Machine Learning không phải một môn mới: phần lớn là những gì tutorial này đã dạy, như phương sai, mẫu và tổng thể, khoảng tin cậy, hồi quy đơn, được dùng lại dưới tên khác. Trang này là bảng tự kiểm để biết bạn đã đủ phần toán thống kê cho Machine Learning chưa, bài nào cần ôn, và nên đọc gì tiếp.

Cách dùng bảng tự kiểm

Mỗi nhóm có một bảng câu "tôi làm được": đọc từng dòng, nếu chưa tự tin thì mở bài ở cột cuối. Cột giữa nói khái niệm đó gặp lại ở đâu trong Machine Learning, để bạn biết vì sao nên ôn. Ba ô code của trang là ba bài kiểm nhanh, mỗi ô nối một phép tính thống kê quen với một việc của Machine Learning.

Bạn không cần thuộc hết. Nếu làm được khoảng hai phần ba số dòng, sang tutorial Machine Learning được rồi và quay lại tra khi gặp.

Mô tả và phân phối

Tôi làm được

Gặp lại trong Machine Learning

Bài ôn

Tính trung bình, phương sai, độ lệch chuẩn với ddof đúng

chuẩn hóa đặc trưng, sai số bình phương trung bình (MSE)

phương sai

Đổi một giá trị sang z-score

chuẩn hóa dữ liệu trước khi huấn luyện

z-score

Đọc độ lệch, tứ phân vị, tìm giá trị bất thường

làm sạch dữ liệu, chọn cách biến đổi đặc trưng

độ lệch và độ nhọn

Tính xác suất có điều kiện và dùng công thức Bayes

bộ phân loại Naive Bayes, đọc ma trận nhầm lẫn

công thức Bayes

Dùng stats.norm, đọc .cdf(), .ppf()

giả định phân phối của sai số, phát hiện bất thường

phân phối chuẩn

Tính hiệp phương sai và hệ số tương quan

chọn đặc trưng, nhận ra hai đặc trưng trùng thông tin

hiệp phương sai

Bài kiểm nhanh: MSE của một mô hình luôn dự đoán bằng trung bình chính là phương sai chia n. Đó là mốc mà mọi mô hình hồi quy phải vượt:

python
import numpy as np

gia_that = np.array([1.9, 2.4, 3.6, 2.7, 4.4, 1.8, 3.1, 2.3])
du_doan = np.full(len(gia_that), gia_that.mean())
mse = np.mean((gia_that - du_doan) ** 2)
print(round(mse, 4), round(np.var(gia_that, ddof=0), 4))

KẾT QUẢ

0.6894 0.6894

Hai số bằng nhau. Một mô hình hồi quy chỉ đáng dùng khi MSE của nó nhỏ hơn hẳn con số này.

Mẫu, khoảng tin cậy và kiểm định

Tôi làm được

Gặp lại trong Machine Learning

Bài ôn

Phân biệt tổng thể và mẫu, nói vì sao mẫu phải ngẫu nhiên

chia dữ liệu huấn luyện và kiểm tra

tổng thể và mẫu

Giải thích sai số chuẩn giảm theo √n

độ chính xác đo trên tập kiểm tra nhỏ dao động nhiều

sai số chuẩn

Dựng khoảng tin cậy bằng bootstrap

khoảng tin cậy cho độ chính xác của mô hình

bootstrap

Đọc đúng p-value và nói nó không là gì

so hai mô hình, đọc bảng hệ số

p-value

Kể được sai lầm loại I, loại II

precision và recall của bộ phân loại

sai lầm loại 1 và loại 2

Giải thích vì sao thử nhiều lần làm tăng báo động giả

thử nhiều mô hình rồi chọn cái tốt nhất trên tập kiểm tra

so sánh nhiều lần

Phân tích một A/B test

đưa mô hình mới ra thử với người dùng thật

phân tích A/B test

Bài kiểm nhanh: một mô hình đúng 172 trên 200 mẫu kiểm tra. Khoảng tin cậy 95% của độ chính xác cho thấy 86% chỉ là một ước lượng:

python
from scipy import stats

kq = stats.binomtest(172, 200)
ci = kq.proportion_ci(confidence_level=0.95)
print(172 / 200, round(ci.low, 3), round(ci.high, 3))

KẾT QUẢ

0.86 0.804 0.905

Một mô hình khác đạt 88% trên cùng 200 mẫu chưa chắc tốt hơn: con số đó vẫn nằm trong khoảng này. Đổi 172, 200 thành 1720, 2000 rồi chạy lại: chương trình in 0.86 0.844 0.875, khoảng hẹp lại còn khoảng một phần ba.

Hồi quy đơn

Tôi làm được

Gặp lại trong Machine Learning

Bài ôn

Tính hệ số góc và hệ số chặn bằng bình phương nhỏ nhất

hồi quy tuyến tính, hàm mất mát MSE

hồi quy đơn

Đọc hệ số, sai số chuẩn và p-value của hệ số

giải thích một mô hình tuyến tính

suy diễn cho hồi quy

Nói vì sao tương quan không là nhân quả

đọc mức quan trọng của đặc trưng mà không suy ra nguyên nhân

tương quan và nhân quả

Bài kiểm nhanh: đường thẳng bình phương nhỏ nhất của linregress() cho MSE nhỏ hơn mốc "đoán bằng trung bình" ở mục đầu:

python
import numpy as np
from scipy import stats

dien_tich = np.array([45, 60, 80, 70, 95, 38, 66, 58])
gia_that = np.array([1.9, 2.4, 3.6, 2.7, 4.4, 1.8, 3.1, 2.3])
hq = stats.linregress(dien_tich, gia_that)
du_doan = hq.intercept + hq.slope * dien_tich
mse = np.mean((gia_that - du_doan) ** 2)
print(round(mse, 4), round(hq.rvalue ** 2, 3))

KẾT QUẢ

0.0435 0.937

MSE giảm từ khoảng 0,69 xuống khoảng 0,04; R² cho biết đường thẳng giải thích khoảng 94% phương sai của giá trong tám căn này. Đó là cùng một phép tính mà tutorial Machine Learning gọi là huấn luyện một mô hình hồi quy tuyến tính.

Đọc tiếp ở tutorial Machine Learning

Nếu các bảng trên phần lớn đã quen, bạn sẵn sàng sang tutorial Machine Learning của AIDev. Hai bài nên đọc đầu tiên ở đó là "Học máy là gì? Khác lập trình if else ở đâu" và "Học machine learning cần gì? NumPy, pandas, thống kê"; bài sau có bảng kiến thức cần trước của cả tutorial đó, trùng phần lớn với trang này. Bài hồi quy tuyến tính bên đó bắt đầu từ đúng đường thẳng và MSE ở mục trên.

Nếu nhiều dòng còn lạ, ôn theo thứ tự các nhóm của tutorial này; trang cheat sheet thống kê gom công thức và lệnh trên một trang để ôn nhanh.

Câu hỏi thường gặp

Toán thống kê cho Machine Learning cần học tới đâu?

Đủ để đọc dữ liệu (mô tả, phân phối), hiểu mẫu và độ dao động (sai số chuẩn, khoảng tin cậy, bootstrap), và hồi quy đơn. Đại số tuyến tính và giải tích là hai mảng toán khác mà Machine Learning cũng dùng; tutorial thống kê này không dạy chúng.

Học Machine Learning có cần kiểm định giả thuyết không?

Ít hơn phân tích dữ liệu. Nhưng cách nghĩ của kiểm định, tức là một khác biệt nhỏ trên tập kiểm tra có thể chỉ do ngẫu nhiên, giúp bạn không chọn nhầm mô hình. Bài sáu cách hiểu sai p-value là bài nên đọc nếu chỉ có thời gian cho một bài.

Thống kê và Machine Learning khác nhau ở đâu?

Thống kê thường hỏi "dữ liệu nói gì về tổng thể, chắc chắn tới mức nào", Machine Learning thường hỏi "dự đoán trên dữ liệu mới tốt tới mức nào". Hai bên dùng chung nhiều công cụ; hồi quy tuyến tính là ví dụ rõ nhất, như bài hồi quy đơn cho thấy.

Chủ đề

thống kê trong machine learning

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập