Model Ollama nào vừa card của bạn? Gemma 4, Qwen3 theo VRAM

Với context 8.192 token, Gemma 4 E4B dùng khoảng 5GB VRAM, Qwen3.5 9B khoảng 6,6GB, gpt-oss:20b 12,5GB, Gemma 4 26B gần 19GB và Qwen3.6 35B khoảng 22GB. Vì vậy card 8GB chạy tốt model 4B đến 9B, còn RTX 3090 24GB chạy được cả Gemma 4 31B lẫn Qwen3.6 35B. Llama 3.3 70B thì không vừa card 24GB hay 32GB: Ollama phải đẩy một phần model sang CPU và tốc độ chỉ còn 1 đến 4 token/giây. Mình đo 13 model ngày 18/10/2026 trên ba máy AIDev Cloud: RTX 3090 24GB, Tesla V100 32GB và Tesla P40 24GB.

Những điều cần nắm trước khi đọc bảng:

• VRAM mà một model cần gồm hai phần: phần chứa file model và phần bộ nhớ cho context (KV cache). Phần thứ hai chênh lệch rất nhiều giữa các model.

• Từ context 8K lên 128K, VRAM của Llama 3.2 3B tăng từ 3,2GB lên 16,6GB, còn Gemma 4 26B chỉ tăng từ 18,9GB lên 21,2GB.

• Ollama tự chọn context theo VRAM. Trên P40 (máy báo 22,4 GiB), Ollama chọn 4.096 token. Trên RTX 3090 và V100, nó chọn 32.768 token.

• Lệnh ollama ps có lúc ghi 100% GPU trong khi model đã bị đẩy một phần sang CPU. Với Gemma 4, mình thấy cột SIZE của lệnh này cũng sai.

• Mình không đo trực tiếp trên card 8GB, 12GB và 16GB. Số cho các card này là suy ra từ VRAM đo được trên ba card kia.

Mình đo trên máy nào, phiên bản Ollama nào?#

Mình thuê ba máy cùng lúc ngày 18/10/2026. Cả ba dùng chung image Ubuntu 24.04 AI, 25 vCPU Xeon E5-2600 v4 và 53GB RAM (gói ghi 55GB), chỉ khác card đồ họa:

Mình dùng Ollama 0.40.6, bản mới nhất trên GitHub releases của Ollama vào ngày đo (phát hành 16/10/2026). Với mỗi tag, mình tải bản quantization mặc định trên thư viện Ollama, đa số là 4-bit (Q4).

Với mỗi model và mỗi mức context, script làm như sau:

1. Gỡ hết model khỏi VRAM để nvidia-smi về gần 0MiB.

2. Gọi API /api/generate hai lần với cùng một đề bài tiếng Việt yêu cầu viết khoảng 200 chữ, đặt num_predict 256, temperature 0 và think: false. Lấy tốc độ token/giây của lần thứ hai, lúc model đã nạp xong.

3. Trong lúc chạy, đọc nvidia-smi mỗi nửa giây và ghi mức VRAM cao nhất.

4. Sau mỗi lần gọi, ghi lại kết quả ollama ps (cột PROCESSOR và CONTEXT).

opt = {"num_predict": 256, "temperature": 0, "seed": 1}
if ctx: opt["num_ctx"] = ctx   # None = để Ollama tự chọn theo VRAM
r = goi("/api/generate", {"model": model, "prompt": P, "stream": False, "think": False, "options": opt})
tok_s = r["eval_count"] / (r["eval_duration"] / 1e9)

Cột VRAM trong bài là mức cao nhất mà nvidia-smi báo, đổi ra GB nhị phân (1GB = 1.024MiB). Mình dùng nvidia-smi thay cho ollama ps vì ollama ps báo sai với Gemma 4 (xem mục "Lỗi mình đã gặp khi đo VRAM bằng Ollama" bên dưới).

Model Ollama nào đang được dùng nhiều?#

Ngày 18/10/2026, mình mở thư viện Ollama và xếp theo Popular. Từ đó mình chọn các dòng model đang được tải nhiều và vẫn còn được cập nhật, sao cho đủ các cỡ từ 3B đến 70B:

Llama 3.1 8B vẫn đứng đầu lượt tải, nhưng mình bỏ qua vì đã đo ở bài Ollama là gì và thấy nó trả lời tiếng Việt kém. Các model gắn nhãn cloud chạy trên server của Ollama và không tải về máy được, nên cũng không có trong bảng.

Gemma 4 trên Ollama: bản nào vừa card của bạn?#

Gemma 4 có 5 cỡ trên Ollama. Theo trang gemma4, chữ "E" trong E2B và E4B nghĩa là số tham số "hiệu dụng" (effective). Hai bản này dành cho máy nhỏ: E2B có 2,3B tham số hiệu dụng, E4B có 4,5B. Cả hai nhận đầu vào là ảnh lẫn âm thanh, context tối đa 128K. Ba bản lớn hơn (12B, 26B, 31B) nhận đầu vào là ảnh, context tối đa 256K.

Muốn chạy bản nào thì gõ đúng tag của bản đó:

ollama run gemma4:e4b      # tag mặc định, gõ gemma4 cũng ra bản này
ollama run gemma4:26b      # MoE, nhanh nhất trong các bản cần card 24GB
ollama run gemma4:31b      # dense, chậm hơn 26b nhiều

Số đo ở context 8.192 token (VRAM đo trên RTX 3090):

Gemma 4 26B nhanh gần gấp ba bản 31B dù file chỉ nhỏ hơn chút ít. Theo trang model, bản 26B là MoE (mixture of experts): tổng cộng 25,2B tham số nhưng mỗi token chỉ dùng 3,8B. Bản 31B là dense, nên token nào cũng phải tính qua đủ 30,7B tham số. Ở bài Ollama là gì mình cũng thấy đúng hiện tượng này: tốc độ phụ thuộc vào số tham số hoạt động chứ không phụ thuộc vào dung lượng file.

Với card 24GB, mình chọn gemma4:26b. Bản 31B chỉ đáng dùng khi bạn có card 32GB, vì trên card 24GB nó đã chiếm 23,1GB với context mặc định 32K.

Qwen3.5 và Qwen3.6 cần bao nhiêu VRAM?#

Qwen có hai dòng đang được cập nhật trên Ollama: Qwen3.5 có đủ cỡ (0.8b đến 122b), còn Qwen3.6 hiện chỉ có 27b và 35b. Tag mặc định qwen3.6 là bản 35b (tên đầy đủ 35b-a3b), file nặng 23 đến 24GB.

Qwen3.6 35B chạy được trên RTX 3090 nhưng sát trần: 22,0GB ở context 8K, 22,5GB ở 32K. Trên P40 thì không vừa. Card này chỉ có 22,5GB nên ollama ps báo 2%/98% CPU/GPU ngay ở context 4.096, và tốc độ tụt còn khoảng 15 token/giây.

Với card 8GB và cần tiếng Việt, mình vẫn chọn Qwen3.5 9B. Bản 4B nhanh hơn một chút, nhưng mình không muốn đổi chất lượng tiếng Việt lấy chút tốc độ đó.

gpt-oss, DeepSeek-R1 và Llama chạy trên card nào?#

gpt-oss:20b là model nặng 14GB, và trang Ollama ghi nó chạy được trên máy có "as little as 16GB memory". Mình đo được 12,5GB ở context 8K và 15,5GB ở 128K, nên card 16GB là vừa. Tốc độ của nó gần bằng Gemma 4 26B vì cũng là MoE.

DeepSeek-R1 14B chỉ dùng 10GB ở context ngắn nhưng tốn VRAM rất nhanh khi tăng context (xem mục ngay dưới). Các bản DeepSeek khác, từ 1.5b đến 32b, có số đo VRAM và tốc độ riêng ở bài chạy DeepSeek local cần GPU gì. Llama 3.3 70B thì không card nào trong ba card này chứa nổi. File model nặng 43GB và ollama ps báo SIZE 45GB ở context 8K, nên muốn chạy toàn bộ trên GPU thì cần khoảng 48GB VRAM.

Context dài tốn thêm bao nhiêu VRAM?#

Đây là phần làm mình bất ngờ nhất. Bảng dưới là VRAM trên cùng một card RTX 3090 khi tăng context từ 8.192 lên 131.072 token:

Model nhỏ chưa chắc tốn ít VRAM khi context dài. Llama 3.2 3B và DeepSeek-R1 14B giữ KV cache cho mọi token ở mọi layer, nên context càng dài thì càng nặng. Gemma 4 thì khác, và log của Ollama cho thấy rõ lý do. Với gemma4:26b ở context 131.072, chỉ có 5 layer giữ KV cache cho đủ 131.072 token (tốn 2.560MiB). 25 layer còn lại dùng SWA (sliding window attention, cửa sổ trượt): mỗi layer chỉ giữ 1.536 token gần nhất, cả 25 layer tốn 300MiB:

llama_kv_cache: size = 2560.00 MiB (131072 cells,   5 layers,  1/1 seqs), K (f16): 1280.00 MiB, V (f16): 1280.00 MiB
llama_kv_cache: size =  300.00 MiB (  1536 cells,  25 layers,  1/1 seqs), K (f16):  150.00 MiB, V (f16):  150.00 MiB

Vì vậy khi lên context 128K, Gemma 4 26B chỉ tốn thêm 2,3GB. Qwen3.5 9B cũng tăng ít (thêm 3,8GB), nhưng mình chưa đọc log của nó kỹ như Gemma 4 nên không giải thích ở đây.

V100 32GB thì dư chỗ hơn. Ở context 128K, Qwen3.6 27B dùng 26,0GB, Gemma 4 31B dùng 31,2GB, và cả hai vẫn chạy 100% trên GPU, lần lượt 43 và 46 token/giây. Nếu bạn cần đưa cả tài liệu dài vào prompt với model cỡ 27B đến 31B, card 32GB đáng tiền hơn card 24GB.

Card 8GB đến 48GB chạy được model Ollama nào?#

Mình lập bảng dưới từ VRAM đo được trên ba card ở context 8K, có chừa thêm khoảng 1GB cho driver và màn hình. Mình không đo trực tiếp trên card 8, 12, 16 và 48GB, nên bạn hãy coi số ở các dòng đó là điểm bắt đầu rồi tự thử lại.

Nếu card của bạn nằm giữa hai mức, hãy xem dòng của mức thấp hơn. Còn nếu card chưa đủ cho model bạn cần, bạn có thể thuê GPU theo giờ trên AIDev Cloud để chạy thử đúng model đó trước khi quyết định mua card. Ba máy trong bài thuộc gói Standard: P40 24GB, RTX 3090 24GB và V100 32GB. Ngoài ra còn có gói 2×RTX 3090 48GB.

Ollama tự chọn context bao nhiêu trên card của bạn?#

Nếu bạn không đặt num_ctx, Ollama 0.40 tự chọn context theo VRAM và ghi con số đó vào log của service:

journalctl -u ollama | grep default_num_ctx

Tài liệu về context length ghi: dưới 24 GiB thì 4k, từ 24 đến 48 GiB thì 32k, từ 48 GiB trở lên thì 256k. Thực tế hơi khác. RTX 3090 báo 23,6 GiB mà vẫn được 32.768; P40 báo 22,4 GiB thì chỉ được 4.096. Vì vậy khi để context mặc định, P40 chạy ở 4K, và cùng một model sẽ dùng ít VRAM hơn so với trên hai card kia.

Context 4K chỉ đủ cho vài lượt hỏi đáp ngắn. Nếu bạn dùng card dưới 24GB và hay dán tài liệu dài vào chat, hãy đặt context lớn hơn, ví dụ OLLAMA_CONTEXT_LENGTH=16384 cho service hoặc "num_ctx": 16384 trong lời gọi API. Sau đó kiểm tra lại bằng ollama ps.

Lỗi mình đã gặp khi đo VRAM bằng Ollama#

ollama ps báo SIZE 1,3GB cho model 19GB#

Trên máy V100, khi gemma4:26b đang chạy:

NAME          ID              SIZE      PROCESSOR    CONTEXT    RUNNER      UNTIL
gemma4:26b    001e5dafc3c7    1.3 GB    100% GPU     8192       llamacpp    4 minutes from now

Cùng lúc đó nvidia-smi báo 19.394MiB đã dùng.

Mình gặp chuyện này với cả 5 bản Gemma 4 trên cả ba card (e2b báo 330MB, 31b báo 2,8GB). Các model khác thì SIZE khớp với nvidia-smi. Mình chưa tìm ra nguyên nhân, nên với Gemma 4 mình chỉ tin số của nvidia-smi:

nvidia-smi --query-gpu=memory.used,memory.total --format=csv

ollama ps ghi 100% GPU nhưng model đã tràn sang CPU#

Gemma 4 31B ở context 131.072 trên RTX 3090 chỉ còn 8 token/giây, chậm hơn 7 lần so với ở 8K. Vậy mà ollama ps vẫn ghi 100% GPU. Mở log của service ra mới thấy chỉ 41 trên 61 layer nằm trên GPU, và một phần KV cache nằm ở RAM:

load_tensors: offloaded 41/61 layers to GPU
llama_kv_cache:        CPU KV buffer size =  3072.00 MiB
llama_kv_cache:      CUDA0 KV buffer size =  7168.00 MiB

Từ lần đó, hễ thấy model chạy chậm bất thường là mình xem cả ollama ps lẫn dòng offloaded trong journalctl -u ollama. Với các model khác Gemma 4, cột PROCESSOR báo đúng. Ví dụ với deepseek-r1:14b ở 128K, cột này ghi 33%/67% CPU/GPU.

DeepSeek-R1 vẫn "suy nghĩ" dù đã tắt thinking#

Mọi lần gọi trong bài đều có "think": false. Gemma 4, Qwen và gpt-oss trả lời thẳng. Riêng deepseek-r1:14b vẫn mở đầu câu trả lời bằng thẻ <think> và một đoạn suy nghĩ bằng tiếng Anh:

<think>
Okay, so I need to write a 200-word explanation in Vietnamese for why a convenience store owner should use inventory management software. Hmm, where do

Vì vậy phần lớn 256 token đầu ra của DeepSeek-R1 là đoạn suy nghĩ. Số token/giây của nó vẫn so sánh được với các model khác, nhưng nếu bạn cần câu trả lời ngắn và nhanh thì DeepSeek-R1 14B không phải lựa chọn tốt.

Khi nào không nên chọn model theo bảng này?#

• Bạn cần biết model nào trả lời tốt cho một việc cụ thể (viết, code, trích thông tin). Bảng này chỉ đo VRAM và tốc độ, không chấm độ đúng.

• Bạn chạy trên máy Mac. Mac dùng chung RAM cho CPU và GPU, còn Ollama trên Mac chạy qua MLX hoặc Metal, nên số VRAM trong bài không áp dụng cho Mac.

• Bạn phục vụ nhiều người cùng lúc. Mỗi phiên chạy song song cần thêm KV cache riêng, trong khi mình chỉ đo một phiên.

• Bạn dùng card 8 đến 16GB. Số cho các card này là suy ra, nên hãy chạy nvidia-smi trên máy của bạn để kiểm tra.

Câu hỏi thường gặp#

Gemma 4 trên Ollama cần bao nhiêu VRAM?#

Ở context 8K: E2B 3,4GB, E4B 5,0GB, 12B 9,1GB, 26B 18,9GB, 31B 21,5GB (đo trên RTX 3090, Ollama 0.40.6). Context dài hơn thì tốn thêm VRAM, nhưng Gemma 4 tăng ít: bản 26B ở context 128K chỉ dùng 21,2GB.

Card 8GB nên chạy model Ollama nào?#

Mình chọn qwen3.5:9b (6,6GB ở context 8K) hoặc gemma4:e4b (5,0GB). Cả hai đều trả lời được tiếng Việt. Các bản 3B, 4B nhẹ hơn nhưng trả lời tiếng Việt kém hơn.

Card 24GB chạy được model lớn nhất nào?#

Qwen3.6 35B (22,0GB) và Gemma 4 31B (21,5GB) vừa với RTX 3090 ở context 8K. Trong các model cần card 24GB, nhanh nhất là Gemma 4 26B với 158 token/giây. Llama 3.3 70B thì không vừa và chỉ chạy được khoảng 1 token/giây.

Vì sao cùng model mà P40 dùng ít VRAM hơn RTX 3090?#

Vì Ollama tự chọn context 4.096 trên P40 (22,4 GiB) và 32.768 trên RTX 3090. Khi đặt cùng một mức context, VRAM dùng trên ba card gần như bằng nhau.

Có nên mua card 32GB thay vì 24GB?#

Chỉ nên mua khi bạn cần chạy model 27B đến 31B với context dài. Ở 128K, Gemma 4 31B dùng 31,2GB trên V100 và vẫn chạy 46 token/giây. Nếu chỉ chạy model từ 26B trở xuống ở context thường, card 24GB là đủ.

Đọc tiếp#

• AI Local: chạy LLM và AI tạo ảnh trên máy bạn: bài tổng quan của chuyên mục, bàn chuyện chọn card nào, nên mua hay thuê.

• Ollama là gì: cách cài Ollama, chạy model đầu tiên và gọi model từ code.

• Cài Ollama trên Linux và Docker: cài native hoặc bằng Docker, mở cổng để máy khác gọi vào.

• GPU là gì, vì sao AI cần GPU: VRAM là gì và GPU nhanh hơn CPU bao nhiêu.

• Giá thuê GPU theo giờ: bảng giá từng gói P40, RTX 3090, V100 và chi phí ước tính cho từng việc.

• RTX 3090 cũ chạy AI: card 24GB VRAM này còn đáng mua không, nên mua hay thuê.

Muốn đo lại bảng này trên một card bạn chưa có? Bạn có thể thuê GPU theo giờ trên AIDev Cloud, cài Ollama bằng một lệnh rồi kéo model cần thử về. Đo xong thì trả máy.

Đo ngày 18/10/2026 trên ba máy AIDev Cloud gói Standard (25 vCPU Xeon E5-2600 v4, 53GB RAM, Ubuntu 24.04): RTX 3090 24GB (driver 610.43.02, CUDA 13.3), Tesla V100-PCIE-32GB và Tesla P40 24GB (driver 580.173.02, CUDA 13.0). Ollama 0.40.6.