Bỏ qua đến nội dung chính
Mục lục

Thread pool trong Python: ThreadPoolExecutor

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 3/9 · Chương 21

Đa luồng, đa tiến trình và asyncio

  • 7 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Nhóm luồng (thread pool) trong Python là một số luồng cố định được tạo sẵn để nhận việc, và ThreadPoolExecutor của module concurrent.futures dựng nhóm đó giúp bạn. Bạn dùng nó khi có hàng trăm trang cần tải: thay vì tạo một luồng cho mỗi trang, bạn giao cả danh sách cho bốn luồng và nhận lại kết quả.

Cần biết trước: đa luồng với threading, context manager và map() và filter().

Giao việc cho nhóm luồng bằng map()

Bài trước tự dựng, start() và join() từng luồng. Pool làm phần đó thay bạn: bạn chỉ đưa hàm và danh sách việc. Pool giống một quầy có ba nhân viên: khách xếp một hàng, ai rảnh thì gọi khách kế tiếp.

Pool cần luồng thật nên không chạy được trong trình duyệt. Các khối code của bài không có nút Chạy, và mỗi kết quả là của một lần chạy bằng Python 3.14 trên máy tính.

python
import time
from concurrent.futures import ThreadPoolExecutor

def tai_trang(trang):
    time.sleep(0.3)
    return len(trang) * 1000

cac_trang = ["bang-gia", "lich-hoc", "tin-tuc"]
bat_dau = time.monotonic()
with ThreadPoolExecutor(max_workers=3) as ex:
    so_byte = list(ex.map(tai_trang, cac_trang))
print(so_byte)
print(f"Xong sau {time.monotonic() - bat_dau:.1f} giây")

KẾT QUẢ

[8000, 8000, 7000]
Xong sau 0.3 giây

Chạy trên máy của bạn · Đoạn này cần Python cài trên máy, trang không chạy được.

ex.map(tai_trang, cac_trang) giống hàm map() có sẵn: gọi tai_trang cho từng trang và trả kết quả theo đúng thứ tự của cac_trang, dù trang nào xong trước. Khác ở chỗ các lời gọi chạy trong ba luồng của pool nên ba lượt chờ chồng lên nhau. max_workers là số luồng tối đa của pool. Khối with gọi shutdown() khi ra khỏi thân: nó chờ mọi việc đã giao chạy xong rồi mới cho dòng print() chạy.

Chép đoạn code về máy. Đổi max_workers=3 thành max_workers=1 rồi chạy lại: dòng cuối in Xong sau 0.9 giây.

Một nhóm luồng cố định cho hàng trăm việc

Pool không tạo quá max_workers luồng, dù có thêm bao nhiêu việc. Một trăm trang vẫn chỉ đi qua tối đa bốn luồng, mỗi luồng làm xong việc này thì lấy việc kế tiếp:

python
import threading
from concurrent.futures import ThreadPoolExecutor

def tai_trang(trang):
    return threading.current_thread().name

cac_trang = [f"trang-{i}" for i in range(100)]
with ThreadPoolExecutor(max_workers=4) as ex:
    ten_luong = list(ex.map(tai_trang, cac_trang))
print(len(ten_luong), "việc")
print("Số luồng đã dùng không quá 4:", len(set(ten_luong)) <= 4)

KẾT QUẢ

100 việc
Số luồng đã dùng không quá 4: True

Chạy trên máy của bạn · Đoạn này cần Python cài trên máy, trang không chạy được.

Tên luồng của pool có dạng ThreadPoolExecutor-0_0, và cùng một tên lặp lại ở nhiều việc. Bỏ trống max_workers thì Python tự chọn số nhân CPU của máy cộng 4, tối đa 32. Giữ số luồng cố định để không mở cùng lúc một trăm kết nối tới máy chủ.

Nhận từng việc bằng submit() và Future

ex.submit(ham, doi_so) giao một việc và trả về ngay một Future: tấm phiếu hẹn cho kết quả chưa có. done() cho biết việc đã xong chưa, result() chờ việc xong rồi trả về giá trị của hàm. as_completed() đưa lại các Future theo thứ tự xong, không theo thứ tự giao:

python
import time
from concurrent.futures import ThreadPoolExecutor, as_completed

viec = {"bang-gia": 0.3, "lich-hoc": 0.1, "tin-tuc": 0.2}

def tai(trang):
    time.sleep(viec[trang])
    return trang

with ThreadPoolExecutor(max_workers=3) as ex:
    cac_future = [ex.submit(tai, t) for t in viec]
    print("Đã xong ngay chưa:", cac_future[0].done())
    for f in as_completed(cac_future):
        print("Xong", f.result())

KẾT QUẢ

Đã xong ngay chưa: False
Xong lich-hoc
Xong tin-tuc
Xong bang-gia

Chạy trên máy của bạn · Đoạn này cần Python cài trên máy, trang không chạy được.

Dùng map() khi cần kết quả theo thứ tự đầu vào, dùng submit() với as_completed() khi muốn xử lý việc nào xong trước thì trước. Như target của luồng, submit() nhận chính hàm rồi tới các đối số, viết riêng ra.

Lỗi trong một việc hiện ra ở result()

Một việc ném lỗi thì lỗi đó không dừng chương trình ngay. Future giữ lại lỗi, và result() ném lại đúng lỗi ấy ở chỗ bạn gọi. Bọc mỗi lời gọi result() trong try thì một trang lỗi không làm mất kết quả của các trang khác:

python
from concurrent.futures import ThreadPoolExecutor

def tai(trang):
    if trang == "lich-hoc":
        raise TimeoutError("máy chủ không trả lời")
    return len(trang) * 1000

cac_trang = ["bang-gia", "lich-hoc", "tin-tuc"]
with ThreadPoolExecutor(max_workers=3) as ex:
    cac_future = [ex.submit(tai, t) for t in cac_trang]
for trang, f in zip(cac_trang, cac_future):
    try:
        print(trang, f.result())
    except TimeoutError as e:
        print(trang, "lỗi:", e)

KẾT QUẢ

bang-gia 8000
lich-hoc lỗi: máy chủ không trả lời
tin-tuc 7000

Chạy trên máy của bạn · Đoạn này cần Python cài trên máy, trang không chạy được.

Với map(), lỗi hiện ra khi vòng lặp đi tới kết quả của trang lỗi, và các kết quả sau nó không còn lấy được từ vòng lặp đó. Vì vậy việc nào có thể lỗi riêng thì hợp với submit() hơn.

Kiểm tra nhanh

  1. Trong ví dụ as_completed(), nếu đổi thời gian của "bang-gia" thành 0.05 thì dòng "Xong" đầu tiên in gì?

    • Xong bang-gia
    • Xong lich-hoc
    • Xong tin-tuc
  2. Việc tai có thể ném TimeoutError. Những cách nào cho bạn bắt được lỗi đó ở luồng chính?

    • Gọi f.result() của Future trong một khối try
    • Chỉ gọi ex.submit(tai, t) trong một khối try
    • Đặt vòng lặp qua kết quả của ex.map(tai, cac_trang) trong một khối try
    • Kiểm f.done() sau khi khối with kết thúc
  3. Dòng submit() nào giao cho pool việc tải trang "bang-gia"?

    • ex.submit(tai("bang-gia"))
    • ex.submit(tai, args=("bang-gia",))
    • ex.submit(tai, "bang-gia")
  4. Trong ví dụ map() đầu bài, nếu có bốn trang và max_workers=2, mỗi trang chờ 0.3 giây, thì dòng cuối in khoảng bao nhiêu giây?

    • Khoảng 0.3 giây
    • Khoảng 0.6 giây
    • Khoảng 1.2 giây
Đúng hết lần đầu +15 XP

Bài tập

Gom kết quả tải trang từ các Future

Chương trình tải trang giao mỗi trang cho pool bằng executor.submit() và giữ một dict cac_future (khóa là tên trang, giá trị là Future). Viết thân hàm gom_ket_qua(cac_future): lấy kết quả của từng Future bằng result() theo đúng thứ tự trong dict. Trang có lỗi mạng (OSError, gồm cả lớp con TimeoutError và ConnectionError) thì ghi None. Lỗi khác để lan ra ngoài hàm. Trình chấm đưa vào các object có result() và exception() như Future thật, vì trang không chạy được pool. Hàm không sửa dict cac_future.

Trả về: với mỗi tên trang, số byte hoặc None khi trang lỗi mạng, một dict.

python
def gom_ket_qua(cac_future):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • ThreadPoolExecutor(max_workers=n) giữ tối đa n luồng; trăm việc vẫn chỉ đi qua chừng đó luồng.

  • with ThreadPoolExecutor(...) as ex: chờ mọi việc đã giao xong rồi mới đi tiếp.

  • ex.map(ham, ds) trả kết quả theo thứ tự của ds, dù việc nào xong trước.

  • ex.submit(ham, doi_so) trả về ngay một Future; as_completed() đưa Future theo thứ tự xong.

  • Lỗi của một việc được Future giữ lại và ném ra khi gọi result(); không gọi thì lỗi biến mất.

Câu hỏi thường gặp

Module concurrent.futures trong Python có những gì?

Module có hai lớp nhóm: ThreadPoolExecutor cho việc phải chờ như tải trang, và ProcessPoolExecutor cho việc tính toán nặng, dùng cùng submit(), map() và Future. Bài multiprocessing dạy nhóm tiến trình.

Nên đặt max_workers bằng bao nhiêu?

Với việc tải trang, số luồng là số yêu cầu bạn muốn gửi cùng lúc: bốn đến vài chục, tùy máy chủ chịu được bao nhiêu. Thêm luồng không giúp gì khi máy chủ giới hạn số kết nối. Bài đa luồng giải thích vì sao việc chờ hưởng lợi từ luồng.

ThreadPoolExecutor có tránh được việc hai luồng cùng sửa một biến không?

Không. Pool chỉ chia việc. Nếu các việc cùng ghi vào một list hay một bộ đếm chung, bạn vẫn cần khóa, bài Lock và race condition dạy cách làm. Cách an toàn hơn là cho mỗi việc trả về kết quả rồi gom ở luồng chính như bài này.

Chủ đề

thread pool

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập