Thread pool trong Python: ThreadPoolExecutor
Bài 3/9 · Chương 21
Đa luồng, đa tiến trình và asyncio
- 7 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 11
Nhóm luồng (thread pool) trong Python là một số luồng cố định được tạo sẵn để nhận việc, và ThreadPoolExecutor của module concurrent.futures dựng nhóm đó giúp bạn. Bạn dùng nó khi có hàng trăm trang cần tải: thay vì tạo một luồng cho mỗi trang, bạn giao cả danh sách cho bốn luồng và nhận lại kết quả.
Cần biết trước: đa luồng với threading, context manager và map() và filter().
Giao việc cho nhóm luồng bằng map()
Bài trước tự dựng, start() và join() từng luồng. Pool làm phần đó thay bạn: bạn chỉ đưa hàm và danh sách việc. Pool giống một quầy có ba nhân viên: khách xếp một hàng, ai rảnh thì gọi khách kế tiếp.
Pool cần luồng thật nên không chạy được trong trình duyệt. Các khối code của bài không có nút Chạy, và mỗi kết quả là của một lần chạy bằng Python 3.14 trên máy tính.
import time
from concurrent.futures import ThreadPoolExecutor
def tai_trang(trang):
time.sleep(0.3)
return len(trang) * 1000
cac_trang = ["bang-gia", "lich-hoc", "tin-tuc"]
bat_dau = time.monotonic()
with ThreadPoolExecutor(max_workers=3) as ex:
so_byte = list(ex.map(tai_trang, cac_trang))
print(so_byte)
print(f"Xong sau {time.monotonic() - bat_dau:.1f} giây")KẾT QUẢ
[8000, 8000, 7000]
Xong sau 0.3 giâyChạy trên máy của bạn · Đoạn này cần Python cài trên máy, trang không chạy được.
ex.map(tai_trang, cac_trang) giống hàm map() có sẵn: gọi tai_trang cho từng trang và trả kết quả theo đúng thứ tự của cac_trang, dù trang nào xong trước. Khác ở chỗ các lời gọi chạy trong ba luồng của pool nên ba lượt chờ chồng lên nhau. max_workers là số luồng tối đa của pool. Khối with gọi shutdown() khi ra khỏi thân: nó chờ mọi việc đã giao chạy xong rồi mới cho dòng print() chạy.
Chép đoạn code về máy. Đổi max_workers=3 thành max_workers=1 rồi chạy lại: dòng cuối in Xong sau 0.9 giây.
Một nhóm luồng cố định cho hàng trăm việc
Pool không tạo quá max_workers luồng, dù có thêm bao nhiêu việc. Một trăm trang vẫn chỉ đi qua tối đa bốn luồng, mỗi luồng làm xong việc này thì lấy việc kế tiếp:
import threading
from concurrent.futures import ThreadPoolExecutor
def tai_trang(trang):
return threading.current_thread().name
cac_trang = [f"trang-{i}" for i in range(100)]
with ThreadPoolExecutor(max_workers=4) as ex:
ten_luong = list(ex.map(tai_trang, cac_trang))
print(len(ten_luong), "việc")
print("Số luồng đã dùng không quá 4:", len(set(ten_luong)) <= 4)KẾT QUẢ
100 việc
Số luồng đã dùng không quá 4: TrueChạy trên máy của bạn · Đoạn này cần Python cài trên máy, trang không chạy được.
Tên luồng của pool có dạng ThreadPoolExecutor-0_0, và cùng một tên lặp lại ở nhiều việc. Bỏ trống max_workers thì Python tự chọn số nhân CPU của máy cộng 4, tối đa 32. Giữ số luồng cố định để không mở cùng lúc một trăm kết nối tới máy chủ.
Nhận từng việc bằng submit() và Future
ex.submit(ham, doi_so) giao một việc và trả về ngay một Future: tấm phiếu hẹn cho kết quả chưa có. done() cho biết việc đã xong chưa, result() chờ việc xong rồi trả về giá trị của hàm. as_completed() đưa lại các Future theo thứ tự xong, không theo thứ tự giao:
import time
from concurrent.futures import ThreadPoolExecutor, as_completed
viec = {"bang-gia": 0.3, "lich-hoc": 0.1, "tin-tuc": 0.2}
def tai(trang):
time.sleep(viec[trang])
return trang
with ThreadPoolExecutor(max_workers=3) as ex:
cac_future = [ex.submit(tai, t) for t in viec]
print("Đã xong ngay chưa:", cac_future[0].done())
for f in as_completed(cac_future):
print("Xong", f.result())KẾT QUẢ
Đã xong ngay chưa: False
Xong lich-hoc
Xong tin-tuc
Xong bang-giaChạy trên máy của bạn · Đoạn này cần Python cài trên máy, trang không chạy được.
Dùng map() khi cần kết quả theo thứ tự đầu vào, dùng submit() với as_completed() khi muốn xử lý việc nào xong trước thì trước. Như target của luồng, submit() nhận chính hàm rồi tới các đối số, viết riêng ra.
Lỗi trong một việc hiện ra ở result()
Một việc ném lỗi thì lỗi đó không dừng chương trình ngay. Future giữ lại lỗi, và result() ném lại đúng lỗi ấy ở chỗ bạn gọi. Bọc mỗi lời gọi result() trong try thì một trang lỗi không làm mất kết quả của các trang khác:
from concurrent.futures import ThreadPoolExecutor
def tai(trang):
if trang == "lich-hoc":
raise TimeoutError("máy chủ không trả lời")
return len(trang) * 1000
cac_trang = ["bang-gia", "lich-hoc", "tin-tuc"]
with ThreadPoolExecutor(max_workers=3) as ex:
cac_future = [ex.submit(tai, t) for t in cac_trang]
for trang, f in zip(cac_trang, cac_future):
try:
print(trang, f.result())
except TimeoutError as e:
print(trang, "lỗi:", e)KẾT QUẢ
bang-gia 8000
lich-hoc lỗi: máy chủ không trả lời
tin-tuc 7000Chạy trên máy của bạn · Đoạn này cần Python cài trên máy, trang không chạy được.
Với map(), lỗi hiện ra khi vòng lặp đi tới kết quả của trang lỗi, và các kết quả sau nó không còn lấy được từ vòng lặp đó. Vì vậy việc nào có thể lỗi riêng thì hợp với submit() hơn.
Kiểm tra nhanh
Trong ví dụ as_completed(), nếu đổi thời gian của
"bang-gia"thành0.05thì dòng "Xong" đầu tiên in gì?Xong bang-giaXong lich-hocXong tin-tuc
Việc
taicó thể némTimeoutError. Những cách nào cho bạn bắt được lỗi đó ở luồng chính?- Gọi
f.result()của Future trong một khốitry - Chỉ gọi
ex.submit(tai, t)trong một khốitry - Đặt vòng lặp qua kết quả của
ex.map(tai, cac_trang)trong một khốitry - Kiểm
f.done()sau khi khốiwithkết thúc
- Gọi
Dòng
submit()nào giao cho pool việc tải trang"bang-gia"?ex.submit(tai("bang-gia"))ex.submit(tai, args=("bang-gia",))ex.submit(tai, "bang-gia")
Trong ví dụ map() đầu bài, nếu có bốn trang và
max_workers=2, mỗi trang chờ 0.3 giây, thì dòng cuối in khoảng bao nhiêu giây?- Khoảng 0.3 giây
- Khoảng 0.6 giây
- Khoảng 1.2 giây
Bài tập
Gom kết quả tải trang từ các Future
Chương trình tải trang giao mỗi trang cho pool bằng executor.submit() và giữ một dict cac_future (khóa là tên trang, giá trị là Future). Viết thân hàm gom_ket_qua(cac_future): lấy kết quả của từng Future bằng result() theo đúng thứ tự trong dict. Trang có lỗi mạng (OSError, gồm cả lớp con TimeoutError và ConnectionError) thì ghi None. Lỗi khác để lan ra ngoài hàm. Trình chấm đưa vào các object có result() và exception() như Future thật, vì trang không chạy được pool. Hàm không sửa dict cac_future.
Trả về: với mỗi tên trang, số byte hoặc None khi trang lỗi mạng, một dict.
def gom_ket_qua(cac_future):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
ThreadPoolExecutor(max_workers=n)giữ tối đanluồng; trăm việc vẫn chỉ đi qua chừng đó luồng.with ThreadPoolExecutor(...) as ex:chờ mọi việc đã giao xong rồi mới đi tiếp.ex.map(ham, ds)trả kết quả theo thứ tự củads, dù việc nào xong trước.ex.submit(ham, doi_so)trả về ngay một Future;as_completed()đưa Future theo thứ tự xong.Lỗi của một việc được Future giữ lại và ném ra khi gọi
result(); không gọi thì lỗi biến mất.
Câu hỏi thường gặp
Module concurrent.futures trong Python có những gì?
Module có hai lớp nhóm: ThreadPoolExecutor cho việc phải chờ như tải trang, và ProcessPoolExecutor cho việc tính toán nặng, dùng cùng submit(), map() và Future. Bài multiprocessing dạy nhóm tiến trình.
Nên đặt max_workers bằng bao nhiêu?
Với việc tải trang, số luồng là số yêu cầu bạn muốn gửi cùng lúc: bốn đến vài chục, tùy máy chủ chịu được bao nhiêu. Thêm luồng không giúp gì khi máy chủ giới hạn số kết nối. Bài đa luồng giải thích vì sao việc chờ hưởng lợi từ luồng.
ThreadPoolExecutor có tránh được việc hai luồng cùng sửa một biến không?
Không. Pool chỉ chia việc. Nếu các việc cùng ghi vào một list hay một bộ đếm chung, bạn vẫn cần khóa, bài Lock và race condition dạy cách làm. Cách an toàn hơn là cho mỗi việc trả về kết quả rồi gom ở luồng chính như bài này.
Chủ đề
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.