Qwen

Bài này trả lời vLLM là gì và khi nào nên dùng nó thay Ollama. vLLM là server mã nguồn mở chạy LLM trên GPU, trả lời nhiều người cùng lúc qua API tương thích OpenAI. Mình đo vLLM 0.32.0 và Ollama với Qwen3.5-9B trên RTX 3090: một người hỏi thì tốc độ không chênh nhiều, 16 người hỏi cùng lúc thì vLLM sinh 1.003 token/giây, Ollama bản 8 bit chỉ 61.