LM Studio

Ollama và LM Studio hợp khi bạn chạy LLM cho riêng mình. Giữa Ollama và llama.cpp, llama.cpp hợp hơn khi cần một server nhỏ dễ chỉnh, vLLM hợp khi nhiều người hỏi cùng lúc trên GPU Linux. Mình chạy cả bốn với Qwen3.5-9B trên RTX 3090: một người hỏi thì llama.cpp nhanh nhất, 16 người hỏi cùng lúc thì vLLM sinh hơn 1.000 token/giây.