Memory leak trong Python: tìm bằng tracemalloc, weakref
Bài 17/17 · Chương 15
OOP nâng cao
- 7 phút
- Nâng cao
- Python 3.14
- Cập nhật
Trong bài này · 10
Memory leak trong Python (rò rỉ bộ nhớ) là khi chương trình cứ giữ những object không còn dùng tới, nên bộ nhớ tăng mãi theo thời gian chạy. Python tự thu hồi object hết tham chiếu, nên rò rỉ thường đến từ một tham chiếu bạn quên: một dict làm bộ nhớ đệm không bao giờ xóa, một closure giữ dữ liệu cũ. Bài này dùng tracemalloc để tìm dòng code ngốn bộ nhớ và weakref để giữ tham chiếu mà không cản việc thu hồi.
Cần biết trước: quản lý bộ nhớ và garbage collector, dictionary và closure và nonlocal.
Rò rỉ bộ nhớ Python trông như thế nào
Trang sản phẩm dưới đây lưu sẵn nội dung đã dựng cho mỗi cặp sản phẩm và khách, để lần sau trả về nhanh. Dict da_xem nằm trong closure nên sống cùng hàm xem:
def tao_trang_san_pham():
da_xem = {}
def xem(ma, khach):
da_xem[(ma, khach)] = f"Trang {ma} cho khách {khach}"
return len(da_xem)
return xem
xem = tao_trang_san_pham()
for khach in range(3000):
so_muc = xem("SP01", khach)
print(so_muc)KẾT QUẢ
3000Mỗi khách mới thêm một mục và không mục nào bị xóa, nên 3000 khách là 3000 chuỗi nằm lại trong bộ nhớ. Một máy chủ chạy nhiều ngày với hàng triệu khách sẽ đầy dần. Không có lỗi nào được báo, garbage collector cũng không giúp được, vì dict vẫn trỏ tới từng chuỗi. Ba nguồn rò rỉ hay gặp: dict hay list dùng chung chỉ thêm mà không bớt, closure giữ dữ liệu lớn lâu hơn cần, và danh sách "người nghe" giữ object đã hết vai trò. Đổi range(3000) thành range(500) rồi chạy lại: dòng cuối in 500.
Dùng tracemalloc trong Python tìm dòng ngốn bộ nhớ
Module tracemalloc của thư viện chuẩn ghi lại bộ nhớ được cấp ở dòng code nào. Bạn chụp hai ảnh, trước và sau đoạn đáng ngờ, rồi so chúng:
import tracemalloc
tracemalloc.start()
truoc = tracemalloc.take_snapshot()
nhat_ky = {}
for i in range(10000):
nhat_ky[i] = f"Đơn DH{i} đã xem lúc {i % 24} giờ, đã giao"
sau = tracemalloc.take_snapshot()
tracemalloc.stop()
lon_nhat = sau.compare_to(truoc, "lineno")[0]
print("Dòng", lon_nhat.traceback[0].lineno)
print("Tăng hơn 900 KB:", lon_nhat.size_diff > 900_000)KẾT QUẢ
Dòng 7
Tăng hơn 900 KB: Truetake_snapshot() chụp ảnh bộ nhớ đang được cấp, chia theo dòng code. compare_to(truoc, "lineno") trả về list các thay đổi xếp từ lớn tới nhỏ, nên phần tử đầu là dòng tăng nhiều nhất: dòng 7, nơi mỗi vòng lặp thêm một chuỗi vào nhat_ky. size_diff là số byte tăng thêm. Số byte chính xác khác nhau giữa các bản Python, nên ví dụ chỉ so với một ngưỡng. tracemalloc làm chương trình chậm đi khi đang bật, nên chỉ bật lúc tìm lỗi rồi stop(). Đổi range(10000) thành range(100) rồi chạy lại: dòng cuối in Tăng hơn 900 KB: False.
Tham chiếu yếu với weakref trong Python
Một tham chiếu yếu trỏ tới object mà không được tính vào số đếm, nên không giữ object sống. weakref.ref(x) tạo nó, và gọi tham chiếu đó như hàm sẽ trả về object, hoặc None khi object đã bị thu hồi:
import weakref
class SanPham:
def __init__(self, ma):
self.ma = ma
sp = SanPham("SP01")
r = weakref.ref(sp)
print(r() is sp, r().ma)
del sp
print(r())KẾT QUẢ
True SP01
Nonedel sp xóa tham chiếu mạnh cuối cùng, Python thu hồi sản phẩm, và r() trả về None. Với bộ nhớ đệm, weakref.WeakValueDictionary là dict mà giá trị là tham chiếu yếu: một mục tự biến mất khi object của nó bị thu hồi.
import weakref
class SanPham:
def __init__(self, ma):
self.ma = ma
dang_mo = weakref.WeakValueDictionary()
tra = SanPham("SP01")
banh = SanPham("SP02")
dang_mo["SP01"], dang_mo["SP02"] = tra, banh
print(len(dang_mo), "SP02" in dang_mo)
del banh
print(len(dang_mo), "SP02" in dang_mo)KẾT QUẢ
2 True
1 FalseDict thường ở vị trí dang_mo sẽ giữ cả hai sản phẩm mãi, đúng kiểu rò rỉ ở mục đầu. Dict yếu chỉ nhớ sản phẩm khi chỗ khác còn dùng nó. Object trong tham chiếu vòng thì vẫn chờ garbage collector như bài trước, kể cả khi bạn chỉ còn tham chiếu yếu tới nó. Đổi del banh thành del tra rồi chạy lại: dòng cuối in 1 True.
Lỗi kế tiếp thì Python báo ngay.
Kiểm tra nhanh
Trong ví dụ trang sản phẩm, gọi
xem()cho 3000 khách khác nhau thì dictda_xemgiữ bao nhiêu mục?1, vì cùng một mã sản phẩm0, vì garbage collector dọn các mục cũ3000, vì mỗi khách thêm một mục và không mục nào bị xóa
Trong ví dụ
tracemalloc,lon_nhat.traceback[0].linenochỉ ra điều gì?- Dòng code làm bộ nhớ tăng nhiều nhất giữa hai lần chụp
- Số object đang có trong
nhat_ky - Dòng cuối cùng chương trình chạy tới
Trong khung bẫy object tạm, dòng
print(r())saur = weakref.ref(SanPham("SP01"))cho kết quả gì?- Object
SanPhamvừa tạo None- Báo lỗi TypeError
- Object
Những câu nào đúng về weakref?
weakref.ref(["trà đào"])tạo được tham chiếu yếu tới list- Tham chiếu yếu không được tính vào số tham chiếu của object
- Một mục của
WeakValueDictionarytự biến mất khi object của nó bị thu hồi - Gọi tham chiếu yếu tới object đã thu hồi sẽ báo lỗi
Bài tập
Theo dõi object mà không giữ chúng sống
Viết theo_doi(cac_doi_tuong): nhận một list các object và trả về một hàm không nhận đối số. Mỗi lần gọi, hàm đó cho biết bao nhiêu object trong nhóm ban đầu còn sống. Hàm đếm không được giữ các object sống: một object hết tham chiếu ở nơi khác thì phải được thu hồi và không còn được đếm. Dùng weakref.ref() cho từng object. Không sửa list đầu vào.
Trả về: một hàm; gọi hàm đó cho một int.
import weakref
def theo_doi(cac_doi_tuong):
pass # Viết thân hàm thay cho dòng nàyTóm tắt
Memory leak trong Python là giữ tham chiếu tới object không còn dùng, thường trong dict, list dùng chung hay closure.
Garbage collector không cứu được rò rỉ, vì object vẫn còn tham chiếu thật.
tracemalloc.start(), hai lầntake_snapshot()vàcompare_to(…, "lineno")chỉ ra dòng code làm bộ nhớ tăng nhiều nhất.weakref.ref(x)tạo tham chiếu yếu: không giữ object sống, gọi nó trả về object hoặcNone.WeakValueDictionarylà dict tự bỏ mục khi object bị thu hồi.Tham chiếu yếu tới object tạm trả về
Nonengay; list, dict, chuỗi, số không nhận tham chiếu yếu.
Câu hỏi thường gặp
Làm sao biết chương trình Python đang rò rỉ bộ nhớ?
Dấu hiệu là bộ nhớ của tiến trình tăng đều theo thời gian chạy dù khối lượng việc không đổi. Bạn dùng tracemalloc chụp ảnh ở hai thời điểm cách nhau một lúc chạy, so chúng và xem các dòng đầu danh sách. Dòng nào tăng mãi giữa các lần chụp là nơi cần xem kỹ.
Rò rỉ bộ nhớ Python có tự hết khi chương trình kết thúc không?
Có, hệ điều hành lấy lại toàn bộ bộ nhớ khi tiến trình thoát. Vì vậy script chạy vài giây hiếm khi gặp vấn đề. Rò rỉ đáng lo với chương trình chạy lâu như máy chủ web, bot hay tác vụ nền, nơi bộ nhớ dồn dần qua nhiều giờ.
Bộ nhớ đệm có giới hạn khác weakref thế nào?
Bộ nhớ đệm có giới hạn giữ tham chiếu mạnh tới tối đa một số mục và bỏ mục lâu nhất chưa được dùng khi đầy, nên luôn có sẵn dữ liệu gần đây. WeakValueDictionary không giới hạn số mục nhưng chỉ giữ object khi chỗ khác còn dùng. Bài functools có cách dựng sẵn cho loại thứ nhất.
Chủ đề
Bài này có hữu ích?
Hỏi đáp
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.