Bỏ qua đến nội dung chính
Mục lục

Quy trình machine learning: sáu bước của một dự án

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 3/6 · Chương 1

Bắt đầu với Machine Learning

  • 7 phút
  • Cơ bản
  • Python 3.14
  • Cập nhật

Quy trình machine learning là thứ tự sáu bước đi từ một câu hỏi tới một model chạy thật: đặt bài toán, lấy dữ liệu, chia tập, làm feature, chọn và đánh giá model, đưa vào dùng. Một cửa hàng tiện lợi mỗi tối phải đặt sữa tươi cho ngày mai, và các bước xây dựng mô hình machine learning dưới đây đi trọn đường với đúng câu hỏi đó.

Cần biết trước: học máy là gì và học có giám sát.

Bước 1: đặt bài toán và metric trước khi code

Câu hỏi của chủ cửa hàng là "mai đặt bao nhiêu chai?". Label là số chai bán được trong ngày, một con số, nên đây là bài toán hồi quy. Nhưng điều chủ cửa hàng thật sự sợ là hết sữa giữa chiều, khi khách quen ghé mua. Metric, thước đo để chấm một cách đặt hàng, vì vậy là số ngày thiếu sữa trong tuần, kèm điều kiện sữa dư không quá 10 chai mỗi tuần vì sữa tươi chỉ để được một ngày. Metric đó được viết thành hàm trước mọi cách đoán:

python
def cham(dat, ban):
    thieu = sum(1 for d, b in zip(dat, ban) if b > d)
    du = sum(d - b for d, b in zip(dat, ban) if d > b)
    return thieu, du

print(cham([30, 30, 30], [28, 33, 30]))

KẾT QUẢ

(1, 2)

Ba ngày đặt 30 chai: ngày thứ hai bán được 33 nên thiếu, ngày đầu dư 2 chai. Viết metric ra trước có hai cái lợi: mọi cách đoán sau này được chấm bằng cùng một thước, và không ai sửa thước khi đã thấy kết quả.

Bước 2 và 3: lấy dữ liệu, chia tập

Cửa hàng có sổ bán sữa của ba tuần, mỗi dòng là một ngày từ thứ Hai tới Chủ nhật. Ở bước lấy dữ liệu, việc đầu tiên là đếm dòng và nhìn số: có ngày nào trống, có ngày nào bán 0 chai vì cửa hàng nghỉ. Sổ này đủ 21 ngày và không có ngày lạ.

Bước chia tập cất riêng một phần dữ liệu để chấm lần cuối. Các ngày nối tiếp nhau, nên cách chia theo thời gian: tuần 1 và 2 để thử các cách đặt hàng, tuần 3 để dành, chỉ dùng đúng một lần khi đã chọn xong. Chia ngẫu nhiên các ngày sẽ để model thấy thứ Bảy tuần sau trước khi đoán thứ Sáu tuần trước, một dạng rò rỉ dữ liệu:

python
ban = [22, 25, 24, 26, 31, 38, 35,
       23, 26, 24, 27, 33, 40, 36,
       24, 25, 26, 27, 34, 41, 37]
tuan_1, tuan_2, tuan_3 = ban[:7], ban[7:14], ban[14:]
print(len(ban), sum(tuan_1), sum(tuan_2))
print("Thứ Bảy:", tuan_1[5], tuan_2[5])

KẾT QUẢ

21 201 209
Thứ Bảy: 38 40

Thứ Bảy bán nhiều hơn thứ Hai khoảng 70%. Cách đặt "bằng số bán hôm qua" sẽ thiếu vào cuối tuần và dư vào đầu tuần, vì nó không biết hôm nay là thứ mấy.

Bước 4 và 5: làm feature, chọn và đánh giá model

Bước làm feature biến hiểu biết đó thành dữ liệu: thay cho "hôm qua", dùng "cùng thứ của tuần trước", thêm một số chai dự phòng m. Bước chọn model thử các giá trị m trên tuần 2, lấy tuần 1 làm "tuần trước", và giữ m nhỏ nhất không để thiếu ngày nào:

python
def cham(dat, ban):
    thieu = sum(1 for d, b in zip(dat, ban) if b > d)
    du = sum(d - b for d, b in zip(dat, ban) if d > b)
    return thieu, du

tuan_1 = [22, 25, 24, 26, 31, 38, 35]
tuan_2 = [23, 26, 24, 27, 33, 40, 36]
for m in range(4):
    dat = [b + m for b in tuan_1]
    print(m, cham(dat, tuan_2))

KẾT QUẢ

0 (6, 0)
1 (2, 1)
2 (0, 6)
3 (0, 13)

Với m = 2, tuần 2 không thiếu ngày nào và dư 6 chai, trong giới hạn 10 chai. Lần chấm cuối mở tuần 3, đặt theo tuần 2 cộng 2 chai: kết quả là (0, 9), không thiếu ngày nào, dư 9 chai, vẫn đạt điều kiện. Con số trên tuần 3 mới là con số báo cho chủ cửa hàng, vì m được chọn khi chưa nhìn thấy tuần đó.

Đổi range(4) thành range(6) rồi chạy lại: dòng cuối in 5 (0, 27).

Bước 6: đưa vào dùng và theo dõi

Cách đặt hàng chỉ có giá trị khi nó chạy mỗi tối mà không ai phải nhớ. Với model scikit-learn, bước này là lưu model đã fit ra file rồi nạp lại ở chương trình dùng thật, việc của bài lưu model bằng joblib. Sau đó, metric tiếp tục được tính mỗi tuần trên số bán thật: khi một trường học gần đó nghỉ hè, số bán đổi, và số ngày thiếu sữa tăng là dấu hiệu phải quay lại bước 4.

Sáu bước không đi thẳng một lần. Phần lớn công sức thường rơi vào việc lấy và dọn dữ liệu cùng việc làm feature, còn phần fit model chỉ là vài dòng code. Bài model đầu tiên đi lại sáu bước này với scikit-learn trên bảng giá nhà.

Kiểm tra nhanh

  1. Thứ tự nào đúng với sáu bước của bài?

    • Đặt bài toán, lấy dữ liệu, chia tập, làm feature, chọn và đánh giá model, đưa vào dùng
    • Lấy dữ liệu, fit model, chọn metric, chia tập, làm feature, đưa vào dùng
    • Làm feature, đặt bài toán, chọn model, lấy dữ liệu, chia tập, đưa vào dùng
  2. Sau khi định nghĩa hàm cham như trong bài, cham([20, 20], [25, 17]) trả gì?

    • (2, 0)
    • (1, 3)
    • (1, 8)
  3. Vì sao chọn m trên tuần 2 rồi mới chấm tuần 3?

    • Vì tuần 3 bán nhiều hơn tuần 2
    • Vì con số báo cho chủ cửa hàng phải đo trên những ngày chưa dùng để chọn m
    • Vì hàm cham chỉ nhận đúng bảy ngày
  4. Những câu nào đúng về quy trình?

    • Metric được viết ra trước khi thử cách đoán đầu tiên
    • Với dữ liệu theo ngày, chia tập theo thời gian an toàn hơn chia ngẫu nhiên
    • Sau khi đưa vào dùng thì không cần tính metric nữa
    • Bước fit model thường tốn công nhất
Đúng hết lần đầu +15 XP

Tóm tắt

  • Quy trình machine learning có sáu bước: đặt bài toán, lấy dữ liệu, chia tập, làm feature, chọn và đánh giá model, đưa vào dùng.

  • Bước 1 chọn label và metric; metric được viết thành hàm trước mọi cách đoán.

  • Dữ liệu theo thời gian thì chia tập theo thời gian; phần cất riêng chỉ mở một lần ở cuối.

  • Tham số như số chai dự phòng được chọn trên phần thử, còn con số báo cáo đo trên phần cất riêng.

  • Đổi metric sau khi thấy kết quả làm con số mất giá trị; phần lớn công sức nằm ở dữ liệu và feature.

Câu hỏi thường gặp

Các bước xây dựng mô hình machine learning có bắt buộc theo đúng thứ tự không?

Thứ tự lần đầu thì nên giữ, nhất là metric trước và chia tập trước khi chọn model. Sau đó dự án thường quay vòng: kết quả bước 5 kém thì quay lại làm feature, metric tụt ở bước 6 thì quay lại lấy dữ liệu mới.

Bài toán nhỏ như đặt sữa có cần học máy không?

Không nhất thiết. Luật "tuần trước cộng 2" ở trên do người nghĩ ra, và nó đủ tốt. Quy trình vẫn có ích, vì nó cho biết luật đó tốt đến đâu trên những ngày chưa thấy. Khi cửa hàng có thêm thời tiết, ngày lễ, khuyến mãi, một model học từ dữ liệu bắt đầu có lợi.

Metric khác hàm loss của model ở đâu?

Metric là thước đo theo ngôn ngữ của người dùng, như số ngày thiếu sữa. Hàm loss là thứ model tối ưu lúc fit, thường là bình phương sai số. Hai thứ không nhất thiết trùng nhau, và người ta chọn model theo metric.

Chủ đề

quy trình machine learning

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập