
VRAM là gì? Bao nhiêu VRAM là đủ để chạy AI
AIDev TeamTham vấn chuyên môn: Nguyễn Việt Chung
Đăng 14 phút đọc1 lượt xem
Mục lục · 21
VRAM là gì? Đó là bộ nhớ riêng gắn trên card đồ họa, nơi model AI phải nằm trọn thì GPU mới chạy nhanh. Mình đo VRAM của ba model Qwen và SDXL trên RTX 3090, Tesla P40: trọng số, KV cache chiếm bao nhiêu, và chuyện gì xảy ra khi chạy hai việc AI cùng lúc trên một card.
VRAM là bộ nhớ riêng gắn trên card đồ họa, tách khỏi RAM của máy. Khi chạy AI bằng GPU, model phải được nạp vào VRAM, nên dung lượng VRAM quyết định model lớn cỡ nào chạy được và chạy nhanh hay chậm. Ngày 08/11/2026, mình đo trên hai máy AIDev Cloud có card 24GB. Trên RTX 3090, Qwen3.5 9B chiếm 6,6GB, Qwen3.8 27B chiếm 18,2GB, SDXL (model tạo ảnh Stable Diffusion XL) tạo một ảnh 1024×1024 chiếm 14,4GB. Chạy chồng hai việc lớn trên cùng card thì việc thứ hai báo lỗi hết VRAM.
Những điều cần nắm trước khi đọc số đo:
VRAM của một model LLM (mô hình ngôn ngữ lớn) gồm nhiều phần: trọng số (phần lớn nhất), KV cache cho context (phần nhớ các token đã đọc), bộ đệm tính toán và vài trăm MB cho CUDA. Với Qwen3.8 27B, trọng số chiếm 15,0GB trong tổng 18,2GB.
Card ghi 24GB không cho bạn dùng đủ 24GB. RTX 3090 cho chương trình dùng 24.123MiB, Tesla P40 chỉ báo 23.040MiB vì bật ECC.
Cùng một việc có thể cần lượng VRAM khác nhau trên hai card. SDXL trên RTX 3090 chạy fp16 (số thực 16 bit) và đỉnh 14,4GB, trên P40 phải chạy fp32 (32 bit, mỗi số tốn gấp đôi chỗ) và đỉnh 19,3GB.
Ollama giữ model trong VRAM 5 phút sau câu trả lời cuối. Trong 5 phút đó, chương trình khác trên cùng card có ít VRAM hơn bạn nghĩ.
Thiếu VRAM thì có hai kết cục: Ollama tự đẩy một phần model sang CPU và chạy chậm hẳn, còn PyTorch (thư viện mà SDXL chạy trên đó) báo
CUDA out of memoryrồi dừng.
VRAM là gì, khác RAM của máy thế nào?
VRAM (video RAM) là các chip nhớ hàn ngay trên card đồ họa, nối thẳng với GPU. RAM là bộ nhớ của cả máy, nối với CPU. Cùng một máy thuê có cả hai loại:
VRAM trên RTX 3090 | VRAM trên Tesla P40 | RAM của máy thuê | |
|---|---|---|---|
Dung lượng ghi trên hộp | 24GB GDDR6X | 24GB GDDR5 | 53GB |
nvidia-smi hoặc | 24.576MiB | 23.040MiB | 55.158MiB |
Ai dùng | GPU | GPU | CPU |
Băng thông (số đo ở bài GPU là gì) | 837GB/s | 242GB/s | 24GB/s |
GPU chỉ tính nhanh khi dữ liệu nằm sẵn trong VRAM. Mỗi token LLM sinh ra, GPU phải đọc gần như toàn bộ trọng số một lần, nên VRAM vừa phải đủ chứa, vừa phải đọc nhanh. Đó là lý do cùng model qwen3.5:9b, RTX 3090 sinh 76,3 token/giây còn P40 chỉ 31,0 token/giây.
Thông số chính thức của hai card: RTX 3090 dùng 24GB GDDR6X bus 384-bit, Tesla P40 dùng 24GB GDDR5 theo bản mô tả sản phẩm của NVIDIA.
Xem VRAM đang dùng bằng lệnh gì?
Trên máy có GPU NVIDIA (Linux hoặc Windows đã cài driver), mở terminal và gõ nvidia-smi. Cột Memory-Usage là VRAM đã dùng trên tổng, bảng Processes bên dưới cho biết chương trình nào đang giữ VRAM.
Đây là nvidia-smi trên RTX 3090 ngay sau khi mình hỏi qwen3.5:9b một câu bằng ollama run:

Ba chỗ cần đọc trong ảnh: dòng 7604MiB / 24576MiB là tổng VRAM đang dùng, bảng Processes cho biết llama-server của Ollama giữ 7.594MiB, còn ollama ps ghi model chạy 100% GPU với context 32.768 token. Số này cao hơn mức 6,6GB trong các bảng đo của bài vì ollama run tự chọn context 32.768, còn khi đo mình đặt context 8.192.
Muốn theo dõi liên tục, ví dụ trong lúc model đang chạy, dùng dạng truy vấn gọn và lặp mỗi giây:
nvidia-smi --query-gpu=memory.used,memory.total --format=csv -l 1
Mọi số VRAM trong bài là mức cao nhất mà truy vấn này báo trong lúc chạy; script đo của mình gọi nó mỗi 0,3 giây thay cho -l 1, rồi đổi ra GB nhị phân (1GB = 1.024MiB). Trên Windows, bạn xem nhanh ở Task Manager, tab Performance, mục GPU, dòng Dedicated GPU memory.
Vì sao card 24GB không dùng được đủ 24GB?
Hai card trong bài đều ghi 24GB, nhưng phần chương trình dùng được ít hơn:
RTX 3090:
nvidia-smibáo tổng 24.576MiB. Khi Ollama nạp model, log của nó ghiTotal VRAM: 24123 MiB, nghĩa là driver giữ lại khoảng 450MiB.Tesla P40:
nvidia-smibáo tổng 23.040MiB, PyTorch báo22.37 GiB. Cột ECC của P40 ghi0(đang bật, chưa có lỗi), còn RTX 3090 ghiN/A. Theo hướng dẫn CUDA của NVIDIA, card dùng bộ nhớ GDDR có bật ECC mất 6,25% VRAM cho phần kiểm lỗi. 24.576 × 93,75% đúng bằng 23.040MiB.
Ngoài ra, chỉ cần một chương trình khởi động CUDA là mất thêm một phần nhỏ. Mình mở một tiến trình PyTorch chỉ để khởi tạo GPU rồi đứng yên: RTX 3090 tăng 312MiB, P40 tăng 169MiB. Phần này gọi là CUDA context, mỗi chương trình dùng GPU giữ một bản riêng.
Một model AI chiếm VRAM vào những phần nào?
Khi Ollama nạp model, log của nó ghi từng phần VRAM. Đây là các dòng lúc nạp qwen3.8:27b với context 8.192 token trên RTX 3090:

Trên Linux cài Ollama bằng script chính thức, bạn xem được các dòng này bằng:
journalctl -u ollama --no-pager | grep -E "memory_breakdown|buffer size"
Cộng các dòng trong log và so với mức đỉnh của nvidia-smi (18.672MiB), mình được biểu đồ sau:

Trọng số model chiếm 15.339MiB. Đây là các con số model đã học, ở bản nén 4 bit Q4_K_M. Phần này cố định theo file model, không đổi theo câu hỏi.
KV cache và trạng thái chiếm 1.260MiB. Đây là phần model nhớ lại các token đã đọc trong cuộc hội thoại. Qwen3.8 có hai loại layer. Layer attention giữ KV cache, tăng theo độ dài context (512MiB ở 8K). Các layer còn lại là kiểu recurrent (file model ghi trong khóa
recurrent_layers), giữ một trạng thái cố định (dòngRS buffer, 748MiB) dù context dài bao nhiêu.Bộ đệm tính toán chiếm 300MiB, là chỗ GPU lưu kết quả tạm khi tính.
Đầu MTP chiếm 292MiB. Ollama bật MTP (multi-token prediction), tức một phần nhỏ của model đoán trước vài token để sinh chữ nhanh hơn. Phần này có KV cache và bộ đệm riêng. Tốc độ đổi thế nào khi bật MTP, mình đo ở bài cài đặt llama.cpp với Qwen3.8-27B.
Phần đọc ảnh và phần còn lại chiếm 1.481MiB. Qwen3.8 nhận được ảnh nên Ollama nạp kèm bộ mã hóa ảnh (vision encoder), cộng thêm CUDA context. Log không ghi riêng trọng số của bộ mã hóa ảnh, nên mình gộp nó với CUDA context.
Dòng Qwen3.5 cũng có loại layer giữ trạng thái cố định, nên VRAM tăng chậm khi context dài. Mình đổi context của qwen3.5:9b từ 2.048 lên 131.072 token:
Context (token) | VRAM trên RTX 3090 | VRAM trên Tesla P40 | Token/giây trên RTX 3090 |
|---|---|---|---|
2.048 | 6,3GB | 6,2GB | 75,8 |
8.192 | 6,6GB | 6,5GB | 76,2 |
32.768 | 7,4GB | 7,3GB | 76,9 |
131.072 | 10,4GB | 10,2GB | 76,2 |
Context tăng 64 lần, VRAM chỉ tăng thêm 4,1GB. Model kiểu cũ giữ KV cache ở mọi layer thì tăng nhanh hơn nhiều: bài Model Ollama nào vừa card của bạn có số đo Llama 3.2 3B tăng từ 3,2GB lên 16,6GB khi context tăng từ 8K lên 128K, trong khi qwen3.5:9b ở cùng khoảng đó chỉ tăng từ 6,6GB lên 10,4GB.
Mỗi việc AI cần bao nhiêu VRAM?
Mình đo ba model Qwen trên Ollama 0.40.15 (bản nén mặc định Q4_K_M, context 8.192 token, mỗi model một câu hỏi tiếng Việt, sinh 128 token) và SDXL tạo một ảnh 1024×1024 qua thư viện diffusers. Mỗi việc chạy riêng, lúc card đang trống:
Việc | RTX 3090: VRAM | RTX 3090: tốc độ | Tesla P40: VRAM | Tesla P40: tốc độ |
|---|---|---|---|---|
qwen3.5:9b (9 tỷ tham số) | 6,6GB | 76,3 token/giây | 6,5GB | 31,0 token/giây |
qwen3.8:27b (27 tỷ) | 18,2GB | 54,8 token/giây | 17,8GB | 16,7 token/giây |
qwen3.6:35b (MoE 35 tỷ) | 21,9GB | 100,4 token/giây | 21,8GB, 1% nằm ở RAM | 24,4 token/giây |
SDXL 1024×1024, 20 bước | 14,4GB (fp16) | 7,0 giây/ảnh | 19,3GB (fp32) | 51,2 giây/ảnh |

Hai điểm trong bảng hay làm người mới nhầm. Một là model nhiều tham số hơn chưa chắc chậm hơn: qwen3.6:35b là kiểu MoE (mỗi token chỉ dùng khoảng 3 tỷ tham số) nên nhanh gần gấp đôi qwen3.8:27b dù chiếm nhiều VRAM hơn. Hai là SDXL trên P40 cần thêm gần 5GB vì card đời Pascal tính fp16 rất chậm. Mình thử fp16 5 bước trên P40 mất 45,8 giây, tức khoảng 9 giây mỗi bước, trong khi fp32 chỉ khoảng 2,6 giây mỗi bước. Muốn có tốc độ chấp nhận được trên P40 thì phải chạy fp32 và trả thêm VRAM. Riêng tốc độ của qwen3.8:27b dao động mạnh theo câu hỏi, từ 52,6 đến 95,0 token/giây trong năm câu mình thử trên cùng card, vì Ollama bật MTP và có câu đoán trúng nhiều, có câu đoán trúng ít; bảng ghi lần đo một câu.
Với qwen3.6:35b trên P40, API /api/ps của Ollama báo 21,79GB trên GPU trong tổng 22,06GB của model (Ollama tính GB thập phân), phần còn lại nằm ở RAM. Model vẫn chạy được nhưng card không còn chỗ cho việc gì khác. Các bản Qwen trong bảng trả lời tiếng Việt ra sao thì bài Qwen là gì hỏi thử năm câu trên RTX 3090 để xem.
Chạy hai việc AI cùng lúc trên một card thì sao?
Đây là tình huống hay gặp khi tự chạy AI ở nhà: vừa để Ollama giữ model để chat, vừa mở công cụ tạo ảnh. Mình nạp một model Qwen bằng Ollama, giữ nó trong VRAM, rồi chạy SDXL trên cùng card:
Chạy chồng | RTX 3090 (fp16) | Tesla P40 (fp32) |
|---|---|---|
qwen3.5:9b đang giữ 6,6GB, thêm SDXL | chạy được, đỉnh 21,1GB, 7,1 giây/ảnh | báo hết VRAM giữa lúc tạo ảnh |
qwen3.8:27b đang giữ 18,2GB, thêm SDXL | báo hết VRAM ngay lúc nạp SDXL | báo hết VRAM ngay lúc nạp SDXL |
qwen3.5:9b đang chạy, gọi thêm qwen3.8:27b | Ollama tự bỏ 9B khỏi VRAM, 27B chạy 53,8 token/giây | như RTX 3090, 27B chạy 16,7 token/giây |
Trên RTX 3090, model 9B và SDXL vừa khít nhau. Cộng 6,6GB và 14,4GB được 21,0GB, đo thực tế 21,1GB, còn dư khoảng 3GB. Trên P40, SDXL phải chạy fp32 nên cần thêm gần 5GB so với RTX 3090, tổng vượt 22,5GB mà card cho dùng.
Với model 27B thì không card 24GB nào gánh thêm SDXL. PyTorch báo lỗi ngay ở bước chép trọng số SDXL lên GPU:

Dòng cuối của bảng cho thấy Ollama xử lý khác PyTorch. Khi model mới không vừa chỗ trống, Ollama tự gỡ model cũ ra khỏi VRAM rồi mới nạp model mới, nên không báo lỗi. PyTorch thì không biết gỡ chương trình khác ra, nó chỉ báo hết VRAM rồi dừng.
Vì sao hỏi xong rồi mà model vẫn chiếm VRAM?
Ollama không trả VRAM ngay khi trả lời xong. Mình hỏi qwen3.5:9b một câu rồi đọc nvidia-smi ở giây 0, 30 và 60: cả ba lần đều 6.790MiB trên RTX 3090 (6.647MiB trên P40). Chỉ sau ollama stop qwen3.5:9b, VRAM mới về 1MiB.
Muốn giải phóng VRAM ngay, có hai cách:
ollama stop qwen3.5:9b # gỡ model khỏi VRAM ngay
ollama ps # kiểm tra: không còn model nào
Hoặc đặt keep_alive trong request, tính bằng giây hoặc chuỗi có đơn vị như "10m". Số 0 là gỡ ngay sau khi trả lời, số -1 là giữ mãi:
curl -s localhost:11434/api/generate -d '{"model": "qwen3.5:9b", "keep_alive": 0}'
Mặc định này nằm trong tài liệu FAQ của Ollama: model được giữ 5 phút để câu hỏi sau khỏi phải nạp lại. Nếu bạn định chạy SDXL hoặc một model khác ngay sau khi chat, hãy ollama stop trước, hoặc gửi "keep_alive": 0 trong request cuối.
Bao nhiêu VRAM là đủ cho việc của bạn?
Biết VRAM là gì và mỗi phần chiếm bao nhiêu rồi, câu hỏi tiếp theo là card của bạn cần bao nhiêu. Mình gom các số đo ở trên thành bảng theo việc. Cột "card tối thiểu" là suy ra từ VRAM đo được, cộng khoảng 1GB cho driver và CUDA context. Mình không đo trên card 8, 12, 16GB.
Việc bạn muốn làm | VRAM đo được | Card tối thiểu |
|---|---|---|
Chat với model 9B, context ngắn | 6,6GB | 8GB |
Model 9B đọc tài liệu dài (context 128K) | 10,4GB | 12GB |
Tạo ảnh SDXL 1024×1024 trên card đời mới (fp16) | 14,4GB | 16GB |
Model 27B đến 35B nén 4 bit | 18,2 đến 21,9GB | 24GB |
Tạo ảnh SDXL trên card đời Pascal như P40 (fp32) | 19,3GB | 24GB |
Chat model 9B và tạo ảnh SDXL cùng lúc (fp16) | 21,1GB | 24GB |
Model 27B và SDXL cùng lúc | không vừa 24GB | hai card, hoặc chạy lần lượt |
Card 24GB là mức thoải mái cho một việc lớn tại một thời điểm. Nếu bạn cần chạy hai việc lớn cùng lúc, hoặc model 70B, thì 24GB không đủ. Bài RTX 3090 cũ chạy AI bàn chuyện nên mua card 24GB hay không, bài Tesla P40 24GB chạy LLM nói về card 24GB rẻ hơn mà chậm hơn.
Chưa chắc việc của bạn cần bao nhiêu? Bạn có thể thuê một máy RTX 3090 hoặc P40 theo giờ trên AIDev Cloud, chạy đúng model của mình với nvidia-smi -l 1 mở bên cạnh, rồi trả máy.
Lỗi mình đã gặp khi đo VRAM
PyTorch báo CUDA out of memory khi Ollama đang giữ model
Trên P40, Ollama còn giữ qwen3.5:9b (6,5GB) từ câu hỏi trước. Mình chạy SDXL fp32 ngay sau đó và nhận lỗi giữa chừng:

torch.OutOfMemoryError: CUDA out of memory. Tried to allocate 1024.00 MiB. GPU 0 has a total capacity of 22.37 GiB of which 349.81 MiB is free. Process 18608 has 6.49 GiB memory in use.
Dòng Process 18608 has 6.49 GiB memory in use chỉ ra thủ phạm: tiến trình llama-server của Ollama. Cách sửa là ollama stop trước khi tạo ảnh. Biến PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True mà thông báo gợi ý chỉ giúp khi VRAM bị phân mảnh, không cứu được trường hợp thiếu hẳn 1GB như ở đây.
Gửi keep_alive dạng chuỗi "-1" bị Ollama trả lỗi
Muốn Ollama giữ model mãi, mình gửi "keep_alive": "-1" (số âm viết trong dấu nháy) và nhận lỗi. Gửi số -1 không có dấu nháy thì chạy:

{"error":"time: missing unit in duration \"-1\""}
Ollama đọc chuỗi như một khoảng thời gian, nên chuỗi phải có đơn vị như "5m", "1h". Lỗi này làm script đo chạy chồng của mình dừng giữa chừng ở lần đầu, phải chạy lại phần đó.
Khi nào không cần bận tâm nhiều về VRAM?
Bạn dùng AI qua web hoặc API (ChatGPT, Claude, Gemini). Model chạy trên server của hãng, máy bạn không cần GPU.
Bạn chạy model nhỏ dưới 4 tỷ tham số hoặc Whisper để chuyển giọng nói thành chữ. Các model này chạy được cả trên CPU, chậm hơn nhưng dùng được.
Bạn dùng Mac Apple Silicon. Mac dùng chung một vùng nhớ cho CPU và GPU, không có VRAM riêng, nên số trong bài không áp dụng.
Câu hỏi thường gặp
VRAM và RAM cái nào quan trọng hơn khi chạy AI?
Với AI chạy bằng GPU, VRAM quan trọng hơn: model phải nằm trong VRAM thì GPU mới chạy nhanh. RAM cần đủ để nạp file model trước khi đẩy lên GPU, thường bằng hoặc lớn hơn VRAM là được.
8GB VRAM chạy được AI không?
Được, với model cỡ 9 tỷ tham số nén 4 bit và context ngắn: qwen3.5:9b dùng 6,6GB trên RTX 3090. Tạo ảnh SDXL 1024×1024 thì 8GB không đủ theo số đo trong bài, bạn cần giảm độ phân giải hoặc dùng công cụ có chế độ tiết kiệm VRAM.
Có tăng VRAM bằng phần mềm được không?
Không. VRAM là chip nhớ hàn trên card. Windows có mục Shared GPU memory, đó là RAM của máy cho GPU mượn khi thiếu, chậm hơn VRAM nhiều. Cách thực tế là dùng model nén nhỏ hơn, giảm context, hoặc dùng card nhiều VRAM hơn.
Tesla P40 24GB có dùng được đủ 24GB không?
Không, P40 bật ECC nên chỉ còn 23.040MiB, PyTorch báo 22,37GiB. qwen3.6:35b đã phải để khoảng 1% model ở RAM trên P40.
Vì sao nvidia-smi báo nhiều hơn số PyTorch báo?
PyTorch chỉ đếm phần nó cấp cho tensor. Khi SDXL chạy trên RTX 3090, PyTorch báo đỉnh 10,48GiB đang dùng và giữ sẵn 14,11GiB, còn nvidia-smi báo 14,4GB vì cộng thêm CUDA context. Muốn biết card còn chỗ hay không, hãy tin nvidia-smi.
Đọc tiếp
AI Local: chạy LLM và AI tạo ảnh trên máy bạn: bài tổng quan của chuyên mục.
GPU là gì, vì sao AI cần GPU: GPU khác CPU thế nào, băng thông bộ nhớ đo thật.
Model Ollama nào vừa card của bạn: bảng VRAM của 13 model Ollama trên ba card.
Giá thuê GPU theo giờ: giá từng gói P40, RTX 3090, V100.
Đo ngày 08/11/2026 trên hai máy AIDev Cloud gói Standard (25 vCPU Xeon E5-2680 v4, 53GB RAM, Ubuntu 24.04.4): RTX 3090 24GB (driver 610.43.02, CUDA 13.3) và Tesla P40 24GB (driver 580.173.02, CUDA 13.0). Ollama 0.40.15 với qwen3.5:9b, qwen3.8:27b, qwen3.6:35b; SDXL base 1.0 qua diffusers 0.42.1, PyTorch 2.14.1+cu126.
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.


