
Cài đặt llama.cpp: build CUDA, chạy file GGUF trên GPU
AIDev TeamTham vấn chuyên môn: Nguyễn Việt Chung
Đăng 13 phút đọc
Mục lục · 22
Build llama.cpp với CUDA trên máy Ubuntu có GPU NVIDIA mất chưa tới 8 phút, sau đó bạn chạy được file GGUF bằng llama-server. Mình build bản v0.9.0 trên RTX 3090, chạy Qwen3.8-27B bản Q4_K_M và Q8_0, đổi số layer đưa lên GPU và bật MTP để xem tốc độ đổi thế nào.
Cài đặt llama.cpp với GPU NVIDIA gồm bốn bước: tải mã nguồn, chạy cmake với -DGGML_CUDA=ON, build, rồi trỏ llama-server vào một file GGUF. Ngày 08/11/2026, mình làm cả bốn bước trên máy RTX 3090 thuê ở AIDev Cloud với bản v0.9.0 (bản ổn định mới nhất trên GitHub, ra ngày 04/11/2026). Phần build mất 446 giây. Sau đó mình chạy Qwen3.8-27B, bản Qwen 27 tỷ tham số mới nhất có trọng số tải về được, ở hai mức nén Q4_K_M và Q8_0.
Những điều cần nắm trước khi làm:
llama.cpp là chương trình chạy LLM (mô hình ngôn ngữ lớn) viết bằng C/C++, giấy phép MIT. Ollama và LM Studio đều dùng llama.cpp làm lõi bên trong.
GGUF là định dạng file model của llama.cpp: một file chứa cả trọng số đã nén, tokenizer (bộ tách chữ thành token) và chat template.
-ngllà số layer (lớp mạng nơ-ron) của model được đưa lên GPU. Với Qwen3.8-27B bản Q4_K_M, đưa đủ 64 layer lên GPU thì sinh 38,7 token/giây, còn để 48 layer thì chỉ còn 5,0 token/giây.Bản Q8_0 (28,6GB) không vừa VRAM (bộ nhớ trên card đồ họa) 24GB của RTX 3090. Ép
-ngl 99thì server báocudaMalloc failed: out of memoryvà thoát.Ở bản v0.9.0, llama-server mặc định
-ngl autovà--fit on: nó tự tính số layer vừa VRAM, nên lần đầu chạy bạn không cần đặt-ngl.
llama.cpp là gì, khác Ollama ở chỗ nào?
llama.cpp là dự án mã nguồn mở của nhóm ggml, có 133.710 sao trên GitHub ngày 08/11/2026. Nó gồm nhiều chương trình dòng lệnh: llama-server mở API tương thích OpenAI kèm giao diện chat trên web, llama-cli để chat trong terminal, llama-bench để đo tốc độ, llama-quantize để tự nén model.
Ollama gói sẵn một bản llama.cpp, thêm kho model và lệnh ollama run. Bạn tự cài llama.cpp khi cần bản mới hơn bản Ollama đang kèm, cần chỉnh từng flag như -ngl, hoặc muốn chạy file GGUF bất kỳ trên Hugging Face mà không phải đóng gói lại. Bài Ollama, llama.cpp, vLLM, LM Studio: chọn cái nào so bốn công cụ khi nhiều người hỏi cùng lúc. Bài này chỉ nói chuyện cài llama.cpp và chạy một model lớn trên một card.
Nên tải bản dựng sẵn hay tự build llama.cpp?
Trang Releases của llama.cpp có hai loại bản:
Loại | Tên | Ngày 08/11/2026 | Hợp với |
|---|---|---|---|
Bản ổn định | v0.9.0 | ra 04/11/2026, gắn nhãn Latest, ứng với bản build b12110 | dùng lâu dài, ít thay đổi |
Bản build hằng ngày | b12202 | ra sáng 08/11/2026, gắn nhãn Pre-release; một ngày có thể có vài bản | cần model hoặc tính năng vừa thêm |
Trang của v0.9.0 chỉ có mã nguồn và ghi bản build hằng ngày tương ứng là b12110. Các file dựng sẵn nằm ở trang của từng bản build hằng ngày. Ví dụ b12202 có bản Ubuntu CUDA 12.8, CUDA 13.5, Vulkan và bản Windows CUDA 12.4, CUDA 13.5: tải về giải nén là chạy. Mình chọn tự build vì ba lý do. Một là build theo đúng đời GPU của máy (RTX 3090 là compute capability 8.6, tức mã đời kiến trúc GPU của NVIDIA). Hai là dùng được CUDA toolkit có sẵn trên máy. Ba là bản dựng sẵn CUDA 13 không chạy trên card đời cũ như Tesla P40, chuyện này bài Tesla P40 24GB chạy LLM đã gặp.
Cài đặt llama.cpp với CUDA trên Ubuntu thế nào?
Máy mình thuê là gói RTX 3090 Standard: Ubuntu 24.04.4, 25 vCPU Xeon E5-2680 v4, 53GB RAM, driver NVIDIA 610.43.02. Image của máy đã có CUDA toolkit 12.9 ở /usr/local/cuda. Mình chỉ cài thêm công cụ build:
sudo apt-get update
sudo apt-get install -y cmake build-essential git
nvcc --version # phải in ra bản CUDA, ở đây là 12.9.86
Nếu nvcc báo command not found, bạn thêm /usr/local/cuda/bin vào PATH hoặc cài CUDA toolkit theo tài liệu build của llama.cpp trước khi đi tiếp.
Tải đúng tag v0.9.0 rồi build. -DCMAKE_CUDA_ARCHITECTURES=86 báo cho trình biên dịch chỉ dựng mã cho đời Ampere (RTX 30). Card khác thì thay số khác, ví dụ 89 cho RTX 40. Bỏ hẳn tham số này thì cmake tự dò card đang gắn trên máy.
git clone --depth 1 --branch v0.9.0 https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=86
cmake --build build --config Release -j 25

Trên máy này, bước cmake mất 6 giây, bước build mất 446 giây với 25 luồng. Riêng backend CUDA có 147 file .cu phải biên dịch, nên máy ít nhân sẽ chờ lâu hơn. Thư mục build/bin nặng 103MB, có llama-server, llama-cli, llama-bench, llama-quantize cùng vài chục công cụ khác. Bước cài cmake, build-essential bằng apt cộng với git clone mất 229 giây.
Lệnh llama-cli --version in ra 0.9.0-dev (build 1, commit cd959ba). Chữ -dev có trong cả bản build từ tag v0.9.0, nên bạn kiểm commit cd959ba để chắc mình đang ở đúng bản.
File GGUF là gì, chọn Q4_K_M hay Q8_0?
Một model 27 tỷ tham số lưu ở 16 bit nặng khoảng 54GB. GGUF cho phép nén trọng số xuống ít bit hơn (quantization). Con số sau chữ Q cho biết mỗi tham số được lưu bằng khoảng bao nhiêu bit. Q8_0 giữ gần nguyên chất lượng nhưng nặng gấp rưỡi Q4_K_M. Mình tải ba file của Qwen3.8-27B từ repo ggml-org/Qwen3.8-27B-GGUF (repo do chính nhóm llama.cpp chuyển đổi):
File | Dung lượng | Thời gian tải (8 kết nối) | Vừa VRAM RTX 3090 24GB? |
|---|---|---|---|
Qwen3.8-27B-BF16.gguf | 53,8GB | không tải | không |
Qwen3.8-27B-Q8_0.gguf | 28,6GB | 486 giây | không, phải để một phần ở CPU |
Qwen3.8-27B-Q4_K_M.gguf | 19,4GB | 235 giây | có, dư khoảng 5GB cho context (đoạn hội thoại model đang giữ) |
Mình tải bằng curl, chia mỗi file thành 8 đoạn tải song song rồi ghép lại, vì một kết nối tới Hugging Face chậm hơn nhiều. Cách đơn giản hơn là để llama-server tự tải bằng -hf, theo README của repo:
./build/bin/llama-server -hf ggml-org/Qwen3.8-27B-GGUF
Muốn biết card của bạn cần bao nhiêu VRAM cho một file GGUF, bài VRAM là gì, bao nhiêu là đủ tách VRAM thành từng phần: trọng số, KV cache, bộ đệm tính toán.
Chạy file GGUF đầu tiên bằng llama-server
Lệnh dưới đây mở server ở cổng 8080 với context 8.192 token. --jinja dùng chat template có sẵn trong file GGUF (mẫu ghép tin nhắn đúng định dạng model đã học):
./build/bin/llama-server -m /root/models/Qwen3.8-27B-Q4_K_M.gguf -ngl 99 -c 8192 --port 8080 --jinja
Lần chạy đầu, server mất 21,5 giây mới sẵn sàng nhận request, vì phải đọc 19,4GB từ ổ đĩa lên GPU. Lần chạy sau cùng file, hệ điều hành đã giữ file trong RAM nên chỉ còn 6,0 giây. nvidia-smi báo server dùng 19.396MiB VRAM. Khi log in dòng server_on_li: listening on http://127.0.0.1:8080, bạn gọi API được.
Qwen3.8 bật chế độ thinking (suy nghĩ trước khi trả lời) theo mặc định. Muốn có câu trả lời ngay, bạn tắt nó trong từng request bằng chat_template_kwargs, đúng như model card của Qwen hướng dẫn:
curl -s localhost:8080/v1/chat/completions -H 'Content-Type: application/json' -d '{
"messages": [{"role": "user", "content": "Giải thích file GGUF là gì cho người mới, trong 3 câu."}],
"max_tokens": 300, "temperature": 0,
"chat_template_kwargs": {"enable_thinking": false}
}'

Câu trả lời đúng ý, tiếng Việt có dấu đầy đủ. Trường timings cuối JSON cho biết server đọc 28 token câu hỏi ở 128 token/giây và sinh 108 token ở 37,8 token/giây. Mở http://localhost:8080 trên trình duyệt thì có giao diện chat của llama-server. Nếu máy ở xa, bạn dùng SSH tunnel để mở cổng 8080 về máy mình.
-ngl là gì, đưa bao nhiêu layer lên GPU?
Qwen3.8-27B có 64 layer. -ngl N đưa N layer lên GPU, phần còn lại chạy trên CPU bằng RAM. Mình chạy llama-bench với file Q4_K_M ở năm mức -ngl, mỗi mức đọc prompt 512 token và sinh 64 token, lặp 2 lần. Cột VRAM trong bảng là mức nvidia-smi báo trong lúc bench, thấp hơn 19.396MiB của server ở trên vì context của bench ngắn hơn 8.192:
./build/bin/llama-bench -m /root/models/Qwen3.8-27B-Q4_K_M.gguf -ngl 0,16,32,48,99 -p 512 -n 64 -r 2

-ngl | Q4_K_M: VRAM | Q4_K_M: sinh chữ | Q8_0: VRAM | Q8_0: sinh chữ |
|---|---|---|---|---|
0 | 2,2GB | 1,4 token/giây | 2,2GB | 0,6 token/giây |
16 | 6,0GB | 1,9 | 7,8GB | 0,9 |
32 | 10,0GB | 2,7 | 13,9GB | 1,7 |
48 | 14,1GB | 5,0 | 19,9GB | 3,2 |
99 (cả 64) | 18,4GB | 38,7 | báo lỗi hết VRAM |
Bảng này cho thấy tốc độ không tăng đều theo số layer. Chỉ cần còn vài layer nằm trên CPU, mỗi token sinh ra vẫn phải chờ CPU tính xong phần của nó, và CPU đọc RAM chậm hơn GPU đọc VRAM nhiều lần. Đi từ 48 lên 64 layer, tốc độ tăng gần 8 lần. Cột Q4_K_M mình đo lại lúc máy rảnh. Cột Q8_0 đo trong lúc máy đang tải model khác nên CPU bận, số sinh chữ thấp hơn lúc máy rảnh, có mức chưa bằng một nửa; ví dụ Q4_K_M ở -ngl 0 lần đó chỉ được 0,6 token/giây so với 1,4 lúc máy rảnh. Xu hướng thì giống nhau: Q8_0 ở -ngl 40 và -ngl 44 cũng chỉ 1,7 và 1,3 token/giây.
Cột VRAM ở -ngl 0 vẫn là 2,2GB vì bản build CUDA vẫn dùng GPU để đọc prompt. Nhờ vậy tốc độ đọc prompt ở -ngl 0 vẫn được 173 token/giây trong khi sinh chữ chỉ 1,4 token/giây.
Không biết đặt -ngl bao nhiêu thì làm sao?
Bỏ trống -ngl. Ở bản v0.9.0, llama-server --help ghi mặc định là auto và --fit on: server đọc VRAM còn trống, chừa 1.024MiB, rồi tự chọn số layer và context cho vừa.
-ngl, --gpu-layers, --n-gpu-layers N max. number of layers to store in VRAM, either an exact number,
'auto', or 'all' (default: auto)
-fit, --fit [on|off] whether to adjust unset arguments to fit in device memory ('on' or
'off', default: 'on')
Mình chạy file Q8_0 không đặt -ngl. Server tính ra cả model cần 27.232MiB trong khi card còn trống 23.858MiB, nên tự đưa 53 trên 65 layer lên GPU (64 layer của model cộng layer output) và chừa 1.413MiB:

Kết quả qua API là 4,8 token/giây. Cùng câu hỏi đó, khi mình tự đặt -ngl 40 thì chỉ được 2,5 token/giây. Với file Q4_K_M, server tự đưa hết lên GPU và cho 37,8 token/giây, bằng với khi đặt -ngl 99. Vậy khi chưa rõ card của mình chứa được bao nhiêu layer, cứ để server tự chọn.
Bản build còn có công cụ llama-fit-params để xem trước số layer sẽ chọn mà không cần mở server:
./build/bin/llama-fit-params -m /root/models/Qwen3.8-27B-Q8_0.gguf -c 8192 # in ra: -c 8192 -ngl 54
Công cụ gợi ý 54. Server cũng thử 54 layer nhưng khi đó card chỉ còn trống 1.005MiB, dưới mức chừa 1.024MiB, nên lùi về 53. Chênh một layer không đổi tốc độ đáng kể.
Bật MTP để Qwen3.8 sinh chữ nhanh hơn
Khi đo cho bài VRAM là gì, bao nhiêu là đủ trên cùng loại card, mình thấy qwen3.8:27b trên Ollama sinh 54,8 token/giây, nhanh hơn hẳn mức 38,7 của llama.cpp với bản Q4_K_M. Log của Ollama cho thấy nó bật MTP (multi-token prediction): một phần nhỏ đi kèm model đoán trước tối đa 4 token, model chính chỉ kiểm lại một lượt. Token đoán đúng được giữ, token đoán sai bị bỏ.
Repo GGUF của ggml-org có sẵn file MTP riêng, nặng 1,7GB. Mình tải về rồi bật bằng --spec-type draft-mtp:
./build/bin/llama-server -m /root/models/Qwen3.8-27B-Q4_K_M.gguf -ngl 99 -c 8192 --port 8080 --jinja \
--spec-type draft-mtp -md /root/models/mtp-Qwen3.8-27B-Q4_0.gguf --spec-draft-n-max 4

Cùng một câu hỏi, cùng 156 token trả lời, tốc độ tăng từ 37,8 lên 55,8 token/giây, ngang với Ollama. Log ghi draft acceptance = 0.36508 (92 accepted / 252 generated): chỉ hơn một phần ba số token đoán trước được giữ, vậy mà vẫn nhanh thêm 48%. Cái giá là thêm 3,4GB VRAM, từ 19.396MiB lên 22.876MiB. Với card 24GB, bật MTP thì còn ít chỗ cho context dài.
Lỗi mình đã gặp khi cài đặt llama.cpp
Q8_0 với -ngl 99 báo hết VRAM
Ép toàn bộ file Q8_0 lên card 24GB, server cố cấp 25.972MiB trên GPU rồi dừng:

common_fit_params: failed to fit params to free device memory: n_gpu_layers already set by user to 99, abort
ggml_backend_cuda_buffer_type_alloc_buffer: allocating 25972.29 MiB on device 0: cudaMalloc failed: out of memory
llama_model_load: error loading model: unable to allocate CUDA0 buffer
Dòng đầu cho biết nguyên nhân: khi bạn đã tự đặt -ngl, chế độ --fit không chỉnh lại nữa. Cách sửa là bỏ -ngl 99 để server tự chọn, hoặc hạ -ngl xuống mức vừa VRAM (với Q8_0 trên card 24GB, mức 48 chạy được), hoặc dùng file Q4_K_M.
llama-bench báo cùng lỗi với Q8_0
llama-bench không có chế độ tự chọn như server. Với -ngl 99 và file Q8_0, nó dừng sau 3,6 giây:
ggml_backend_buft_alloc_buffer_n_default: failed to allocate CUDA0 buffer of size 27233914880
llama_model_load: error loading model: unable to allocate CUDA0 buffer
llama_bench: error: failed to load model '/root/models/Qwen3.8-27B-Q8_0.gguf'
Muốn đo bản Q8_0 trên card 24GB, bạn truyền danh sách mức nhỏ hơn như -ngl 0,16,32,48.
git clone llama.cpp đứng rất lâu
Cài gói apt cộng git clone --depth 1 mất 229 giây. Cùng lúc đó, script cài Ollama tải file 1,5GB từ GitHub trên cùng máy chỉ được khoảng 1% sau ba phút. Đường mạng từ máy tới GitHub hôm đó chậm, llama.cpp không có lỗi gì. Tải từ Hugging Face bằng 8 kết nối trên cùng máy vẫn đạt 82MB/giây.
Khi nào không nên tự cài llama.cpp?
Bạn chỉ cần chat với vài model phổ biến.
ollama rungọn hơn, và Ollama cũng tự bật MTP cho Qwen3.8 (xem mục MTP ở trên).Máy không có GPU NVIDIA. Bản build CUDA không có ích, bạn dùng bản dựng sẵn cho CPU, Vulkan hoặc Metal (Mac) trên trang Releases.
Bạn phục vụ nhiều người dùng cùng lúc trên GPU Linux. vLLM gộp request tốt hơn, bài vLLM là gì có số đo.
Model bạn cần lớn hơn VRAM nhiều lần. Như bảng
-nglở trên, để một phần model trên CPU thì tốc độ còn vài token/giây, đủ để thử chứ không đủ để dùng hằng ngày.
Câu hỏi thường gặp
llama.cpp có chạy trên Windows không?
Có. Các bản build hằng ngày trên trang Releases có file dựng sẵn cho Windows: CPU, CUDA 12.4, CUDA 13.5, Vulkan. Mình chỉ cài và đo trên Ubuntu nên không có số cho Windows.
Build llama.cpp mất bao lâu?
Trên máy 25 vCPU Xeon E5-2680 v4, bản v0.9.0 với CUDA 12.9 mất 446 giây, cộng 6 giây cấu hình. Máy ít nhân hơn sẽ lâu hơn, phần lâu nhất là các file CUDA.
-ngl 99 nghĩa là gì?
Là đưa tối đa 99 layer lên GPU. Model nào có ít hơn 99 layer (Qwen3.8-27B có 64) thì cả model nằm trên GPU. Nếu model không vừa VRAM, server báo lỗi hết VRAM thay vì tự giảm.
File GGUF tải ở đâu?
Trên Hugging Face, tìm tên model kèm chữ GGUF. Mình ưu tiên repo của chính hãng hoặc của ggml-org. File GGUF của llama.cpp dùng được cho Ollama (qua Modelfile) và LM Studio.
Card 24GB chạy được Qwen3.8-27B bản nào?
Bản Q4_K_M (19,4GB) vừa trọn, sinh 37,8 đến 38,7 token/giây trên RTX 3090. Bản Q8_0 (28,6GB) phải để một phần ở CPU, chỉ còn khoảng 3 đến 5 token/giây.
Đọc tiếp
AI Local: chạy LLM và AI tạo ảnh trên máy bạn: bài tổng quan của chuyên mục.
Ollama, llama.cpp, vLLM, LM Studio: chọn cái nào: so tốc độ khi 1, 4, 16 người hỏi cùng lúc.
Qwen là gì, chạy local thế nào: các bản Qwen trên Ollama, VRAM và câu trả lời tiếng Việt.
Tesla P40 24GB chạy LLM: bản llama.cpp nào chạy trên card đời Pascal.
Chưa có card 24GB để thử Qwen3.8-27B? Bạn có thể thuê RTX 3090 theo giờ trên AIDev Cloud, image Ubuntu có sẵn CUDA toolkit, chạy đúng các lệnh trong bài rồi trả máy khi xong.
Cài và đo ngày 08/11/2026 trên máy AIDev Cloud RTX 3090 24GB gói Standard (25 vCPU Xeon E5-2680 v4, 53GB RAM, Ubuntu 24.04.4, driver 610.43.02, CUDA toolkit 12.9.86, cmake 3.28.3, GCC 13.3.0). llama.cpp v0.9.0 (commit cd959ba) tự build với -DGGML_CUDA=ON, model ggml-org/Qwen3.8-27B-GGUF bản Q4_K_M và Q8_0.
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.


