Bỏ qua đến nội dung chính
Mục lục

Generator và yield trong Python

AIDev Team · duyệt: Nguyễn Việt Chung

Bài 4/6 · Chương 14

Decorator, iterator và generator

  • 8 phút
  • Trung cấp
  • Python 3.14
  • Cập nhật

Generator trong Python là một iterator sinh ra từng giá trị khi được hỏi, viết bằng một hàm có từ khóa yield: mỗi yield đưa ra một giá trị rồi tạm dừng hàm. Bạn dùng generator khi dữ liệu quá lớn để giữ hết trong bộ nhớ, như đọc từng dòng của một file nhật ký vài gigabyte, hoặc khi dãy giá trị không có điểm cuối.

Cần biết trước: iterator và next(), return và đọc file.

Hàm có yield là hàm generator

Chỉ cần một dòng yield trong thân, hàm trở thành hàm generator. Gọi nó không chạy thân hàm ngay: bạn nhận về một generator, và thân hàm chỉ chạy khi có ai hỏi giá trị bằng next():

python
def dem_nguoc(n):
    print("Bắt đầu đếm")
    while n > 0:
        yield n
        n -= 1
    print("Đếm xong")

g = dem_nguoc(3)
print(type(g))
print(next(g))
print(next(g))

KẾT QUẢ

<class 'generator'>
Bắt đầu đếm
3
2

Dòng g = dem_nguoc(3) không in gì: dòng Bắt đầu đếm chỉ hiện ra ở lần next() đầu tiên. Lần đó thân hàm chạy tới yield n, đưa 3 ra rồi đứng yên, nhớ cả n lẫn dòng đang đứng. Lần next() thứ hai chạy tiếp từ ngay sau yield: giảm n, quay lại đầu while, rồi dừng ở yield với 2. yield giống nút tạm dừng của một đoạn phim, còn return là nút tắt hẳn. Dòng Đếm xong chưa in vì chưa ai hỏi tới giá trị thứ tư. Đổi dem_nguoc(3) thành dem_nguoc(1) rồi chạy lại: lần next() thứ hai đi hết thân hàm, in Đếm xong rồi báo StopIteration.

Generator là một iterator

Generator có sẵn __iter__ và __next__, nên mọi thứ làm được với iterator đều làm được với nó: for, list(), sum(), next() kèm giá trị mặc định. Hàm chạy hết thân, hoặc gặp return, thì generator báo StopIteration:

python
def dem_nguoc(n):
    while n > 0:
        yield n
        n -= 1

for so in dem_nguoc(3):
    print(so)
print(list(dem_nguoc(5)))
g = dem_nguoc(1)
print(next(g))
print(next(g, "hết"))

KẾT QUẢ

3
2
1
[5, 4, 3, 2, 1]
1
hết

Bốn dòng của dem_nguoc làm đúng việc của class DemNguoc hơn mười dòng ở bài iterator: Python tự lo __iter__, __next__, việc nhớ vị trí và việc báo StopIteration. Mỗi lời gọi dem_nguoc(...) tạo một generator mới, chạy từ đầu thân hàm.

Đọc file lớn theo từng dòng

for dong in f: vốn đã đọc file từng dòng một. Đặt vòng lặp đó vào một hàm generator, bạn có một nguồn dòng đã làm sạch mà chỗ dùng không cần biết file được mở và đóng ở đâu:

python
with open("nhat_ky.txt", "w", encoding="utf-8") as f:
    f.write("08:00 mở quầy\n08:05 LỖI máy in\n08:20 bán trà đào\n")

def doc_tung_dong(ten_file):
    with open(ten_file, encoding="utf-8") as f:
        for dong in f:
            yield dong.rstrip("\n")

for dong in doc_tung_dong("nhat_ky.txt"):
    print(dong)
print(sum(1 for dong in doc_tung_dong("nhat_ky.txt")))

KẾT QUẢ

08:00 mở quầy
08:05 LỖI máy in
08:20 bán trà đào
3

Ở mỗi thời điểm, bộ nhớ chỉ giữ một dòng, nên file ba dòng hay ba triệu dòng cũng tốn chừng ấy chỗ. Đó là nghĩa của chữ lười (lazy): việc chỉ được làm khi có người cần kết quả. Dòng cuối đếm số dòng bằng một generator expression, thứ cũng là generator nhưng viết trên một dòng. File được đóng khi vòng for đi hết các dòng.

Generator vô hạn

Thân hàm generator được chứa một vòng while True không bao giờ thoát, vì nó chỉ chạy tới yield kế tiếp mỗi khi có người hỏi. Quầy cần cấp mã đơn mới liên tục, mỗi mã lớn hơn mã trước một:

python
def ma_don_moi(bat_dau):
    so = bat_dau
    while True:
        yield f"DH{so}"
        so += 1

ma = ma_don_moi(1024)
print(next(ma), next(ma), next(ma))
for m in ma:
    print("Cấp mã", m)
    if m == "DH1028":
        break

KẾT QUẢ

DH1024 DH1025 DH1026
Cấp mã DH1027
Cấp mã DH1028

Vòng for cũng đi tiếp từ chỗ ba lần next() đã dừng, và phải tự break, vì generator này không bao giờ báo StopIteration. Gọi list(ma_don_moi(1024)) thì chương trình chạy mãi và đầy dần bộ nhớ, cho tới khi bạn bấm Ctrl+C gây KeyboardInterrupt như vòng while vô hạn nếu chạy trên máy. Trên trang, trình chạy tự dừng sau vài giây. Đổi "DH1028" thành "DH1030" rồi chạy lại: dòng cuối in Cấp mã DH1030.

Kiểm tra nhanh

  1. Sau def ly(): yield 29000; yield 32000 và it = ly(), list(it) + list(it) trả về gì?

    • [29000, 32000, 29000, 32000]
    • [29000, 32000]
    • []
  2. Trong một chương trình có hàm def mo_quay(): print("Mở quầy"); yield 1, riêng dòng g = mo_quay() in ra gì?

    • In ra Mở quầy
    • Không in gì
    • Báo lỗi TypeError
  3. Những câu nào đúng về hàm generator?

    • Mỗi lần next(), thân hàm chạy tiếp từ ngay sau yield vừa dừng
    • list() trên một generator vô hạn tự dừng khi bộ nhớ đầy
    • Thay yield trong vòng lặp bằng return thì hàm chỉ đưa ra giá trị khớp đầu tiên
    • Hàm chạy hết thân thì generator báo StopIteration
  4. Sau def dem(): yield 1, lệnh next(dem) báo lỗi gì?

    • Dừng ở StopIteration vì dem chưa đưa ra giá trị nào
    • Báo lỗi NameError
    • Báo lỗi TypeError
Đúng hết lần đầu +15 XP

Bài tập

Lọc dòng nhật ký bằng generator

Nhật ký của quầy có thể dài hàng triệu dòng, nên không được đọc hết một lần. Dùng yield để viết hàm generator loc_dong(cac_dong, tu_khoa):

  • cac_dong: một list các dòng hoặc một file đang mở, mỗi dòng có thể kết thúc bằng "\n".

  • Đưa ra lần lượt từng dòng có chứa tu_khoa, đã bỏ đúng ký tự "\n" ở cuối (giữ nguyên dấu cách).

  • Chỉ đọc tới dòng cần khi được hỏi, không sửa cac_dong.

Ví dụ: với ["08:00 mở quầy\n", "08:05 LỖI máy in\n"] và "LỖI", list(loc_dong(...)) là ["08:05 LỖI máy in"].

Trả về: một generator; mỗi lần next() nó đưa ra một dòng, một str.

python
def loc_dong(cac_dong, tu_khoa):
    pass  # Viết thân hàm thay cho dòng này

Tóm tắt

  • Hàm có yield trong thân là hàm generator; gọi nó trả về một generator, chưa chạy thân hàm.

  • Mỗi next() chạy thân hàm tới yield kế tiếp rồi tạm dừng; hết thân hàm thì báo StopIteration.

  • Generator là iterator nên dùng được với for, list(), sum(); nó chỉ đi được một lượt.

  • Hàm generator đọc file theo dòng chỉ giữ một dòng trong bộ nhớ ở mỗi thời điểm.

  • Generator vô hạn dùng while True an toàn vì chỉ chạy khi được hỏi; vòng for trên nó phải tự break.

  • return trong vòng lặp kết thúc hàm ở giá trị đầu. next() trên tên hàm chưa gọi báo TypeError.

Câu hỏi thường gặp

Yield trong Python là gì, khác return ở đâu?

yield đưa một giá trị ra cho nơi đang hỏi rồi tạm dừng hàm, giữ nguyên các biến, để lần hỏi sau chạy tiếp. return đưa giá trị ra và kết thúc hàm hẳn. Một hàm có yield luôn trả về generator, kể cả khi dòng yield không bao giờ được chạy tới. Cách return kết thúc hàm có ở bài return.

Khi nào nên dùng generator thay cho list?

Khi dữ liệu lớn hơn bộ nhớ, khi dãy không có điểm cuối, hoặc khi bạn chỉ cần đi qua một lần như đếm, cộng, lọc dòng. List hợp hơn khi cần đi lại nhiều lần, đánh chỉ số hay biết độ dài, vì generator không có len() và không quay lại được. Cách đọc file từng dòng không qua generator nằm ở bài đọc file.

Generator trong Python có nhận được dữ liệu từ ngoài vào không?

Có. Ngoài next(), generator có phương thức send() để gửi một giá trị vào đúng chỗ yield đang dừng, và yield from để nối một generator khác vào. Hai công cụ đó biến generator thành coroutine, ở bài coroutine bằng generator.

Chủ đề

generator python

Bài này có hữu ích?

Hỏi đáp

Đang tải câu hỏi…

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập