vLLM

Ollama và LM Studio hợp khi bạn chạy LLM cho riêng mình. Giữa Ollama và llama.cpp, llama.cpp hợp hơn khi cần một server nhỏ dễ chỉnh, vLLM hợp khi nhiều người hỏi cùng lúc trên GPU Linux. Mình chạy cả bốn với Qwen3.5-9B trên RTX 3090: một người hỏi thì llama.cpp nhanh nhất, 16 người hỏi cùng lúc thì vLLM sinh hơn 1.000 token/giây.

DeepSeek-OCR 2 đọc chứng từ tiếng Việt sai 2,5% ký tự trên ảnh scan và 4,9% trên ảnh chụp điện thoại, kém bản đầu một chút. Bài dành cho ai cần đọc chữ từ ảnh hóa đơn, công văn, bảng kê mà không gửi file ra ngoài: mình đo 6 model OCR trên RTX 3090 với 12 ảnh tự tạo, DeepSeek-OCR sai 3,1%, Tesseract 31%, mỗi model AI đọc một ảnh mất khoảng 1 giây.

Bài này trả lời vLLM là gì và khi nào nên dùng nó thay Ollama. vLLM là server mã nguồn mở chạy LLM trên GPU, trả lời nhiều người cùng lúc qua API tương thích OpenAI. Mình đo vLLM 0.32.0 và Ollama với Qwen3.5-9B trên RTX 3090: một người hỏi thì tốc độ không chênh nhiều, 16 người hỏi cùng lúc thì vLLM sinh 1.003 token/giây, Ollama bản 8 bit chỉ 61.