
LM Studio: chạy LLM có giao diện, khi nào hơn Ollama
AIDev TeamTham vấn chuyên môn: Nguyễn Việt Chung
Đăng 11 phút đọc
Mục lục · 21
LM Studio là ứng dụng desktop để tải và chạy LLM ngay trên máy bạn, có giao diện chat, kho model và server API kiểu OpenAI. Mình cài LM Studio 0.4.28 trên một máy RTX 3090 thuê theo giờ, chụp từng màn hình, đo ảnh hưởng của GPU Offload và Context Length, rồi so tốc độ với Ollama.
LM Studio là ứng dụng desktop để tải và chạy LLM (mô hình ngôn ngữ lớn) trên máy của bạn, có sẵn giao diện chat giống ChatGPT, kho tìm model và một server API tương thích OpenAI. Ngày 13/11/2026, mình cài bản 0.4.28 lên một máy RTX 3090 thuê trên AIDev Cloud, mở giao diện để chụp màn hình, rồi dùng bản dòng lệnh để đo tốc độ.
Kết quả chính:
Qwen3.5-9B chạy 79,0 token/giây (token là mẩu chữ model sinh ra, thường ngắn hơn một từ), ngang số giao diện tự hiện là 78,98 tok/sec. Cùng model, Ollama sinh 79,2 token/giây, coi như ngang nhau.
GPU Offload là nút ảnh hưởng tốc độ nhiều nhất. Qwen3.6-27B nạp hết lên GPU chạy 36,5 token/giây; để 25% số lớp ở CPU còn 8,4 token/giây, chậm gần 4,4 lần.
Tăng Context Length từ 8.192 lên 262.144 token tốn thêm khoảng 8GB VRAM (bộ nhớ của card đồ họa) nhưng tốc độ sinh chữ gần như không đổi.
Ứng dụng miễn phí cho cả việc cá nhân lẫn công việc. Điều khoản không cho đem nó đi bán thành dịch vụ cho người khác.
LM Studio là gì, khác Ollama ở đâu?
LM Studio là phần mềm của Element Labs, có bản cho Windows, macOS và Linux. Bên trong, app dùng llama.cpp để chạy model dạng GGUF (trên Mac có thêm MLX). Ollama cũng chạy trên llama.cpp, nên hai công cụ chạy cùng loại model. Bài so sánh Ollama, llama.cpp và vLLM đã kiểm phiên bản lõi của cả hai.
Khác biệt nằm ở cách bạn dùng:
LM Studio | Ollama | |
|---|---|---|
Cách dùng chính | Giao diện chat, chọn model bằng chuột | Dòng lệnh và API |
Tìm model | Tìm thẳng trên Hugging Face trong app | Thư viện riêng của Ollama, hoặc |
Chỉnh khi nạp model | Thanh kéo GPU Offload, Context Length | Tham số trong Modelfile hoặc API |
Server API | OpenAI, Anthropic và API riêng, cổng 1234 | API riêng và OpenAI, cổng 11434 |
Mã nguồn | Đóng, miễn phí | Mở (MIT) |
Nếu bạn mới làm quen với LLM chạy local, app có giao diện dễ hơn vì bạn nhìn thấy model chiếm bao nhiêu bộ nhớ trước khi nạp. Nếu bạn cần chạy nền trên server hoặc trong Docker, Ollama gọn hơn.
Cài đặt và tải model thế nào?
Tải bản cài ở lmstudio.ai. Theo yêu cầu hệ thống của hãng, máy Windows và Linux x64 cần CPU có AVX2, nên có từ 16GB RAM. Trên Mac, app chỉ chạy với chip Apple Silicon (M1 trở lên) và macOS 14 trở lên. Bản Linux là file AppImage cho Ubuntu 20.04 trở lên.
Máy mình thuê không có màn hình, nên mình mở app trên màn hình ảo Xvfb của Linux rồi điều khiển từ xa để chụp. Bạn dùng máy có màn hình thì chỉ cần mở app như bình thường.
Vào mục Model Search, gõ tên model. App tìm trên Hugging Face, hiện số lượt tải và cho biết model có vừa GPU của bạn không:

Nhãn Full GPU Offload Possible nghĩa là cả model nạp được vào VRAM. Nếu nhãn báo chỉ nạp được một phần, model sẽ chạy chậm hơn nhiều lần, mình đo cụ thể ở mục GPU Offload.
Nếu đã có sẵn file GGUF (ví dụ tải bằng hf hoặc dùng chung với llama.cpp), bạn nạp vào app bằng lệnh lms import. Tham số -L tạo hard link thay vì chép file, đỡ tốn ổ đĩa:
lms import -L -y --user-repo lmstudio-community/Qwen3.5-9B-GGUF ~/gguf/Qwen3.5-9B-Q4_K_M.gguf
lms ls
Model nạp xong hiện trong mục Library:

Chat với model đầu tiên
Vào Chat, bấm Ctrl+L để chọn model, rồi gõ câu hỏi. Mình hỏi Qwen3.5-9B: "Viết email ngắn xin nghỉ phép ngày thứ Sáu để đi khám răng, giọng lịch sự."

Model bật chế độ suy nghĩ (nút Think) mặc định, nghĩ 14,35 giây bằng tiếng Anh rồi mới viết email. Rê chuột vào biểu tượng đồng hồ dưới câu trả lời, app hiện tốc độ 78,98 token/giây, 1.312 token và thời gian chờ chữ đầu 0,13 giây. Câu trả lời đúng ý, đủ tiêu đề và lời chào. Muốn nhanh hơn với câu hỏi đơn giản, bạn tắt nút Think.
GPU Offload là gì, kéo xuống chậm bao nhiêu?
GPU Offload là số lớp (layer) của model được đặt lên GPU. Phần còn lại chạy trên CPU và RAM. Bật toggle Manually choose model load parameters trong hộp chọn model, app hiện bảng chỉnh trước khi nạp:

Qwen3.6-27B có 64 lớp, app ước tính cần 18,23GB VRAM. Mình nạp model này năm lần với năm mức --gpu bằng lệnh lms load, mỗi lần sinh 256 token ba lượt:
lms load qwen3.6-27b --gpu max -y
lms load qwen3.6-27b --gpu 0.75 -y
lms load qwen3.6-27b --gpu off -y
lms ps

Mức | Tốc độ sinh chữ | VRAM | Thời gian nạp |
|---|---|---|---|
max (64/64 lớp) | 36,5 token/giây | 16,3GB | 5,9 giây |
0.75 | 8,4 token/giây | 12,5GB | 6,1 giây |
0.5 | 4,8 token/giây | 8,9GB | 6,6 giây |
0.25 | 3,4 token/giây | 5,0GB | 7,1 giây |
off | 2,5 token/giây | 0,4GB | 7,3 giây |
Chỉ cần một phần tư số lớp nằm ở CPU, tốc độ đã rơi từ 36,5 xuống 8,4 token/giây. Lý do là mỗi token đều phải đi qua mọi lớp, và lớp nào nằm ở RAM thì CPU tính chậm hơn GPU hàng chục lần. Vì vậy hãy chọn model vừa VRAM của card (bản nén Q4 nhỏ hơn, hoặc model ít tham số hơn) thay vì kéo GPU Offload xuống. Bài chạy DeepSeek local có bảng chọn model theo VRAM.
Context Length tốn bao nhiêu VRAM?
Context Length là số token model nhớ được trong một cuộc hội thoại, gồm câu hỏi, tài liệu bạn dán vào và câu trả lời. App để mặc định 8.192 token dù Qwen3.5-9B hỗ trợ tới 262.144. Ngoài mức mặc định, mình nạp model với bốn mức context khác:
for c in 4096 32768 131072 262144; do
lms load qwen3.5-9b --context-length $c -y && nvidia-smi --query-gpu=memory.used --format=csv
lms unload --all
done

Mở context tối đa tốn thêm khoảng 8GB (8.188MiB) so với mặc định, tốc độ sinh chữ vẫn quanh 78 đến 80 token/giây khi câu hỏi ngắn. Phần VRAM thêm này là KV cache, chỗ model giữ các token đã đọc. Nếu bạn hay dán tài liệu dài, tăng lên 32.768 là đủ cho phần lớn việc mà chỉ tốn thêm chưa tới 1GB.
Dùng làm server API kiểu OpenAI thế nào?
Mục Model Server bật một server cục bộ ở cổng 1234. Server có ba kiểu API: API riêng, kiểu OpenAI và kiểu Anthropic, nên phần lớn thư viện và công cụ viết cho OpenAI dùng được ngay:

Trên máy không màn hình, bạn dùng bản không giao diện llmster và lệnh lms. Mình đo toàn bộ số trong bài theo cách này:
curl -fsSL https://lmstudio.ai/install.sh | bash
lms daemon up
lms load qwen3.5-9b -y
lms server start
Gọi thử bằng curl:
curl http://localhost:1234/v1/chat/completions -H "Content-Type: application/json" \
-d '{"model": "qwen3.5-9b", "messages": [{"role": "user", "content": "Thủ đô của Việt Nam là gì?"}]}'
Hoặc bằng thư viện openai của Python, chỉ đổi base_url. Server không kiểm tra API key nên bạn điền chữ bất kỳ:
from openai import OpenAI
client = OpenAI(base_url="http://localhost:1234/v1", api_key="lm-studio")
r = client.chat.completions.create(model="qwen3.5-9b",
messages=[{"role": "user", "content": "Tóm tắt Luật Lao động về nghỉ phép năm trong 3 ý."}])
print(r.choices[0].message.content)
Mặc định app cho tối đa 4 câu hỏi chạy song song trên một model (cột Parallel). Khi nhiều người cùng gọi, cách này xử lý tốt hơn Ollama, số đo khi 4 và 16 người hỏi cùng lúc nằm ở bài so sánh Ollama, llama.cpp, vLLM.
LM Studio hay Ollama nhanh hơn?
Mình chạy cùng hai model trên cùng máy RTX 3090, cùng câu hỏi tiếng Việt, sinh 256 token, context 8.192:
Model | llmster 0.0.27 | Ollama 0.40.16 |
|---|---|---|
Qwen3.5-9B Q4_K_M | 79,0 token/giây | 79,2 token/giây |
Qwen3.6-27B Q4_K_M | 36,5 token/giây | 42,2 token/giây |
Model 27B ở cả hai bên dùng chung một file GGUF, nên chênh lệch đến từ cấu hình và bản llama.cpp đi kèm. Bên LM Studio chạy runtime llama.cpp bản CUDA 2.73.0, Ollama tự chọn thư viện CUDA của nó. Với model 9B, hai bên ngang nhau. Với model 27B, Ollama nhanh hơn khoảng 16%. Một khác biệt mình thấy trong log là app nạp model với 4 slot song song (Parallel 4), Ollama mặc định 1 slot khi chỉ một người hỏi.
Khi bạn dùng một mình, app không nhanh hơn Ollama. Nó hơn ở chỗ dễ dùng và khi nhiều yêu cầu đến cùng lúc.
Chọn app có giao diện khi bạn muốn chat bằng chuột, xem trước model có vừa VRAM không, hay chỉnh GPU Offload bằng thanh kéo. Chọn Ollama khi bạn cần chạy nền như một service, trong Docker, hoặc dùng mã nguồn mở. Hai công cụ cài chung một máy được, chỉ cần không nạp cùng lúc hai model lớn vào cùng một card.
Lỗi mình đã gặp
Runtime CUDA không chạy trên card đời cũ
Trên máy Tesla V100 (compute capability 7.0), runtime CUDA 12 nhận card nhưng báo không hỗ trợ:
Compatibility: No supported GPUs - No GPU with compute capability >= 7.5 was found
Nạp model khi đã ép chọn runtime này thì tiến trình dừng với exited before becoming healthy. exitCode=null, signal=SIGABRT. Runtime CUDA mới nhất còn không hiện trong danh sách tải (No runtime extensions matched the query). App tự chọn runtime Vulkan cho card này, chạy được 57,3 token/giây với Qwen3.5-9B. Nếu bạn dùng card trước đời RTX 20 (GTX 10, Tesla P40, V100), để runtime Vulkan mặc định. Cùng card V100, llama.cpp bản CUDA chạy model này ở 94,9 token/giây, nên nếu cần tốc độ, bạn dùng llama.cpp thay cho giao diện.
Lệnh lms runtime select không nhận tên rỗng
Trong script cài, mình lấy tên runtime từ lệnh trước rồi truyền vào lms runtime select. Trên V100 lệnh trước không trả về gì, và lms báo:
Must specify at least one of [alias] or --latest
Xem danh sách runtime đã có bằng lms runtime ls, rồi truyền đúng tên kèm phiên bản, ví dụ lms runtime select llama.cpp-linux-x86_64-vulkan-avx2@2.66.0.
Khi nào không nên dùng app này?
Đây là phần mềm đóng. Theo điều khoản sử dụng cập nhật ngày 23/08/2026, bạn được dùng cho mục đích cá nhân và nội bộ doanh nghiệp, không được dùng để cung cấp dịch vụ cho bên thứ ba theo kiểu service bureau hay SaaS. Nếu bạn định dựng chatbot bán cho khách, hoặc cần sửa mã nguồn, dùng Ollama, llama.cpp hoặc vLLM. LM Studio cũng không hợp khi nhiều người dùng cùng lúc ở quy mô lớn, hoặc khi bạn chỉ có Mac chip Intel.
Câu hỏi thường gặp
LM Studio có miễn phí không?
Có. Từ ngày 08/07/2025, app miễn phí cho cả việc ở công ty, không cần xin giấy phép riêng. Điều khoản vẫn cấm đem app đi cung cấp dịch vụ cho người khác.
LM Studio là phần mềm gì?
Là ứng dụng desktop để tìm, tải và chạy LLM trên máy cá nhân, có giao diện chat và server API, chạy trên Windows, macOS (Apple Silicon) và Linux.
Có cần API key không?
Không. Server cục bộ ở cổng 1234 không kiểm tra key. Thư viện openai bắt buộc có tham số api_key thì bạn điền chữ bất kỳ.
GPU Offload là gì?
Là số lớp của model đặt lên GPU. Kéo hết lên GPU thì nhanh nhất. Trong phép đo của mình, để 25% số lớp ở CPU đã làm tốc độ giảm gần 4,4 lần.
Có chạy trên Mac Intel không?
Không. Bản macOS chỉ hỗ trợ chip Apple Silicon. Mac Intel dùng Ollama được.
Có dùng bản dòng lệnh, không cần giao diện được không?
Có. Bản llmster cài bằng một dòng lệnh, điều khiển bằng lms (lms daemon up, lms load, lms server start). Toàn bộ phép đo trong bài chạy theo cách này trên máy không màn hình.
Đọc tiếp
AI Local: chạy LLM và AI tạo ảnh trên máy bạn: bài tổng quan của chuyên mục.
So sánh Ollama, llama.cpp, vLLM: đo khi 1, 4 và 16 người hỏi cùng lúc.
Qwen là gì, chạy Qwen local: chọn bản Qwen theo VRAM.
GPU là gì, vì sao AI cần GPU: vì sao VRAM quyết định model chạy được.
Máy bạn không có GPU đủ VRAM? Bạn có thể thuê máy RTX 3090 trên AIDev Cloud theo giờ, cài llmster bằng một dòng lệnh như trong bài và thử model 27B trong vòng một giờ.
Đo ngày 13/11/2026 trên máy AIDev Cloud gói RTX 3090 Standard (25 vCPU Xeon E5-2696 v4, 55GB RAM, Ubuntu 24.04, driver 610.43.02). LM Studio 0.4.28 bản Linux AppImage (giao diện), llmster 0.0.27 với runtime llama.cpp CUDA 2.73.0, Ollama 0.40.16; model Qwen3.5-9B và Qwen3.6-27B nén Q4_K_M. Số trên Tesla V100 đo cùng ngày. Yêu cầu hệ thống, điều khoản sử dụng và bài thông báo miễn phí của LM Studio đọc ngày 13/11/2026.
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.


