Generator và yield trong Python
Bài 4/6 · Chương 14
Decorator, iterator và generator
- 8 phút
- Trung cấp
- Python 3.14
- Cập nhật
Trong bài này · 11
Generator trong Python là một iterator sinh ra từng giá trị khi được hỏi, viết bằng một hàm có từ khóa yield: mỗi yield đưa ra một giá trị rồi tạm dừng hàm. Bạn dùng generator khi dữ liệu quá lớn để giữ hết trong bộ nhớ, như đọc từng dòng của một file nhật ký vài gigabyte, hoặc khi dãy giá trị không có điểm cuối.
Cần biết trước: iterator và next(), return và đọc file.
Hàm có yield là hàm generator
Chỉ cần một dòng yield trong thân, hàm trở thành hàm generator. Gọi nó không chạy thân hàm ngay: bạn nhận về một generator, và thân hàm chỉ chạy khi có ai hỏi giá trị bằng next():
def dem_nguoc(n):
print("Bắt đầu đếm")
while n > 0:
yield n
n -= 1
print("Đếm xong")
g = dem_nguoc(3)
print(type(g))
print(next(g))
print(next(g))KẾT QUẢ
<class 'generator'>
Bắt đầu đếm
3
2Dòng g = dem_nguoc(3) không in gì: dòng Bắt đầu đếm chỉ hiện ra ở lần next() đầu tiên. Lần đó thân hàm chạy tới yield n, đưa 3 ra rồi đứng yên, nhớ cả n lẫn dòng đang đứng. Lần next() thứ hai chạy tiếp từ ngay sau yield: giảm n, quay lại đầu while, rồi dừng ở yield với 2. yield giống nút tạm dừng của một đoạn phim, còn return là nút tắt hẳn. Dòng Đếm xong chưa in vì chưa ai hỏi tới giá trị thứ tư. Đổi dem_nguoc(3) thành dem_nguoc(1) rồi chạy lại: lần next() thứ hai đi hết thân hàm, in Đếm xong rồi báo StopIteration.
Generator là một iterator
Generator có sẵn __iter__ và __next__, nên mọi thứ làm được với iterator đều làm được với nó: for, list(), sum(), next() kèm giá trị mặc định. Hàm chạy hết thân, hoặc gặp return, thì generator báo StopIteration:
def dem_nguoc(n):
while n > 0:
yield n
n -= 1
for so in dem_nguoc(3):
print(so)
print(list(dem_nguoc(5)))
g = dem_nguoc(1)
print(next(g))
print(next(g, "hết"))KẾT QUẢ
3
2
1
[5, 4, 3, 2, 1]
1
hếtBốn dòng của dem_nguoc làm đúng việc của class DemNguoc hơn mười dòng ở bài iterator: Python tự lo __iter__, __next__, việc nhớ vị trí và việc báo StopIteration. Mỗi lời gọi dem_nguoc(...) tạo một generator mới, chạy từ đầu thân hàm.
Đọc file lớn theo từng dòng
for dong in f: vốn đã đọc file từng dòng một. Đặt vòng lặp đó vào một hàm generator, bạn có một nguồn dòng đã làm sạch mà chỗ dùng không cần biết file được mở và đóng ở đâu:
with open("nhat_ky.txt", "w", encoding="utf-8") as f:
f.write("08:00 mở quầy\n08:05 LỖI máy in\n08:20 bán trà đào\n")
def doc_tung_dong(ten_file):
with open(ten_file, encoding="utf-8") as f:
for dong in f:
yield dong.rstrip("\n")
for dong in doc_tung_dong("nhat_ky.txt"):
print(dong)
print(sum(1 for dong in doc_tung_dong("nhat_ky.txt")))KẾT QUẢ
08:00 mở quầy
08:05 LỖI máy in
08:20 bán trà đào
3Ở mỗi thời điểm, bộ nhớ chỉ giữ một dòng, nên file ba dòng hay ba triệu dòng cũng tốn chừng ấy chỗ. Đó là nghĩa của chữ lười (lazy): việc chỉ được làm khi có người cần kết quả. Dòng cuối đếm số dòng bằng một generator expression, thứ cũng là generator nhưng viết trên một dòng. File được đóng khi vòng for đi hết các dòng.
Generator vô hạn
Thân hàm generator được chứa một vòng while True không bao giờ thoát, vì nó chỉ chạy tới yield kế tiếp mỗi khi có người hỏi. Quầy cần cấp mã đơn mới liên tục, mỗi mã lớn hơn mã trước một:
def ma_don_moi(bat_dau):
so = bat_dau
while True:
yield f"DH{so}"
so += 1
ma = ma_don_moi(1024)
print(next(ma), next(ma), next(ma))
for m in ma:
print("Cấp mã", m)
if m == "DH1028":
breakKẾT QUẢ
DH1024 DH1025 DH1026
Cấp mã DH1027
Cấp mã DH1028Vòng for cũng đi tiếp từ chỗ ba lần next() đã dừng, và phải tự break, vì generator này không bao giờ báo StopIteration. Gọi list(ma_don_moi(1024)) thì chương trình chạy mãi và đầy dần bộ nhớ, cho tới khi bạn bấm Ctrl+C gây KeyboardInterrupt như vòng while vô hạn nếu chạy trên máy. Trên trang, trình chạy tự dừng sau vài giây. Đổi "DH1028" thành "DH1030" rồi chạy lại: dòng cuối in Cấp mã DH1030.
Kiểm tra nhanh
Sau
def ly(): yield 29000; yield 32000vàit = ly(),list(it) + list(it)trả về gì?[29000, 32000, 29000, 32000][29000, 32000][]
Trong một chương trình có hàm
def mo_quay(): print("Mở quầy"); yield 1, riêng dòngg = mo_quay()in ra gì?- In ra
Mở quầy - Không in gì
- Báo lỗi
TypeError
- In ra
Những câu nào đúng về hàm generator?
- Mỗi lần
next(), thân hàm chạy tiếp từ ngay sauyieldvừa dừng list()trên một generator vô hạn tự dừng khi bộ nhớ đầy- Thay
yieldtrong vòng lặp bằngreturnthì hàm chỉ đưa ra giá trị khớp đầu tiên - Hàm chạy hết thân thì generator báo
StopIteration
- Mỗi lần
Sau
def dem(): yield 1, lệnhnext(dem)báo lỗi gì?- Dừng ở
StopIterationvìdemchưa đưa ra giá trị nào - Báo lỗi
NameError - Báo lỗi
TypeError
- Dừng ở
Bài tập
Lọc dòng nhật ký bằng generator
Nhật ký của quầy có thể dài hàng triệu dòng, nên không được đọc hết một lần. Dùng yield để viết hàm generator loc_dong(cac_dong, tu_khoa):
cac_dong: một list các dòng hoặc một file đang mở, mỗi dòng có thể kết thúc bằng"\n".Đưa ra lần lượt từng dòng có chứa
tu_khoa, đã bỏ đúng ký tự"\n"ở cuối (giữ nguyên dấu cách).Chỉ đọc tới dòng cần khi được hỏi, không sửa
cac_dong.
Ví dụ: với ["08:00 mở quầy\n", "08:05 LỖI máy in\n"] và "LỖI", list(loc_dong(...)) là ["08:05 LỖI máy in"].
Trả về: một generator; mỗi lần next() nó đưa ra một dòng, một str.
def loc_dong(cac_dong, tu_khoa):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Hàm có
yieldtrong thân là hàm generator; gọi nó trả về một generator, chưa chạy thân hàm.Mỗi
next()chạy thân hàm tớiyieldkế tiếp rồi tạm dừng; hết thân hàm thì báoStopIteration.Generator là iterator nên dùng được với
for,list(),sum(); nó chỉ đi được một lượt.Hàm generator đọc file theo dòng chỉ giữ một dòng trong bộ nhớ ở mỗi thời điểm.
Generator vô hạn dùng
while Truean toàn vì chỉ chạy khi được hỏi; vòngfortrên nó phải tựbreak.returntrong vòng lặp kết thúc hàm ở giá trị đầu.next()trên tên hàm chưa gọi báoTypeError.
Câu hỏi thường gặp
Yield trong Python là gì, khác return ở đâu?
yield đưa một giá trị ra cho nơi đang hỏi rồi tạm dừng hàm, giữ nguyên các biến, để lần hỏi sau chạy tiếp. return đưa giá trị ra và kết thúc hàm hẳn. Một hàm có yield luôn trả về generator, kể cả khi dòng yield không bao giờ được chạy tới. Cách return kết thúc hàm có ở bài return.
Khi nào nên dùng generator thay cho list?
Khi dữ liệu lớn hơn bộ nhớ, khi dãy không có điểm cuối, hoặc khi bạn chỉ cần đi qua một lần như đếm, cộng, lọc dòng. List hợp hơn khi cần đi lại nhiều lần, đánh chỉ số hay biết độ dài, vì generator không có len() và không quay lại được. Cách đọc file từng dòng không qua generator nằm ở bài đọc file.
Generator trong Python có nhận được dữ liệu từ ngoài vào không?
Có. Ngoài next(), generator có phương thức send() để gửi một giá trị vào đúng chỗ yield đang dừng, và yield from để nối một generator khác vào. Hai công cụ đó biến generator thành coroutine, ở bài coroutine bằng generator.
Chủ đề
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.