llama.cpp

Tesla P40 đáng thuê để chạy LLM nếu bạn dùng Ollama hoặc llama.cpp bản CUDA 12, vì giá giờ chưa bằng nửa RTX 3090. Bản CUDA 13 của llama.cpp, runtime CUDA của LM Studio và vLLM thì báo lỗi trên card này. Mình đo hai card cạnh nhau để biết P40 chậm hơn bao nhiêu khi sinh chữ, khi đọc prompt dài, và khi nào vẫn rẻ hơn.

Ollama và LM Studio hợp khi bạn chạy LLM cho riêng mình. Giữa Ollama và llama.cpp, llama.cpp hợp hơn khi cần một server nhỏ dễ chỉnh, vLLM hợp khi nhiều người hỏi cùng lúc trên GPU Linux. Mình chạy cả bốn với Qwen3.5-9B trên RTX 3090: một người hỏi thì llama.cpp nhanh nhất, 16 người hỏi cùng lúc thì vLLM sinh hơn 1.000 token/giây.