Bỏ qua đến nội dung chính
AI Local
LM Studio: chạy LLM có giao diện, khi nào hơn Ollama

LM Studio: chạy LLM có giao diện, khi nào hơn Ollama

AIDev TeamTham vấn chuyên môn: Nguyễn Việt Chung

Đăng 11 phút đọc

Mục lục · 21

LM Studio là ứng dụng desktop để tải và chạy LLM ngay trên máy bạn, có giao diện chat, kho model và server API kiểu OpenAI. Mình cài LM Studio 0.4.28 trên một máy RTX 3090 thuê theo giờ, chụp từng màn hình, đo ảnh hưởng của GPU Offload và Context Length, rồi so tốc độ với Ollama.

LM Studio là ứng dụng desktop để tải và chạy LLM (mô hình ngôn ngữ lớn) trên máy của bạn, có sẵn giao diện chat giống ChatGPT, kho tìm model và một server API tương thích OpenAI. Ngày 13/11/2026, mình cài bản 0.4.28 lên một máy RTX 3090 thuê trên AIDev Cloud, mở giao diện để chụp màn hình, rồi dùng bản dòng lệnh để đo tốc độ.

Kết quả chính:

  • Qwen3.5-9B chạy 79,0 token/giây (token là mẩu chữ model sinh ra, thường ngắn hơn một từ), ngang số giao diện tự hiện là 78,98 tok/sec. Cùng model, Ollama sinh 79,2 token/giây, coi như ngang nhau.

  • GPU Offload là nút ảnh hưởng tốc độ nhiều nhất. Qwen3.6-27B nạp hết lên GPU chạy 36,5 token/giây; để 25% số lớp ở CPU còn 8,4 token/giây, chậm gần 4,4 lần.

  • Tăng Context Length từ 8.192 lên 262.144 token tốn thêm khoảng 8GB VRAM (bộ nhớ của card đồ họa) nhưng tốc độ sinh chữ gần như không đổi.

  • Ứng dụng miễn phí cho cả việc cá nhân lẫn công việc. Điều khoản không cho đem nó đi bán thành dịch vụ cho người khác.

LM Studio là gì, khác Ollama ở đâu?

LM Studio là phần mềm của Element Labs, có bản cho Windows, macOS và Linux. Bên trong, app dùng llama.cpp để chạy model dạng GGUF (trên Mac có thêm MLX). Ollama cũng chạy trên llama.cpp, nên hai công cụ chạy cùng loại model. Bài so sánh Ollama, llama.cpp và vLLM đã kiểm phiên bản lõi của cả hai.

Khác biệt nằm ở cách bạn dùng:

LM Studio

Ollama

Cách dùng chính

Giao diện chat, chọn model bằng chuột

Dòng lệnh và API

Tìm model

Tìm thẳng trên Hugging Face trong app

Thư viện riêng của Ollama, hoặc hf.co/...

Chỉnh khi nạp model

Thanh kéo GPU Offload, Context Length

Tham số trong Modelfile hoặc API

Server API

OpenAI, Anthropic và API riêng, cổng 1234

API riêng và OpenAI, cổng 11434

Mã nguồn

Đóng, miễn phí

Mở (MIT)

Nếu bạn mới làm quen với LLM chạy local, app có giao diện dễ hơn vì bạn nhìn thấy model chiếm bao nhiêu bộ nhớ trước khi nạp. Nếu bạn cần chạy nền trên server hoặc trong Docker, Ollama gọn hơn.

Cài đặt và tải model thế nào?

Tải bản cài ở lmstudio.ai. Theo yêu cầu hệ thống của hãng, máy Windows và Linux x64 cần CPU có AVX2, nên có từ 16GB RAM. Trên Mac, app chỉ chạy với chip Apple Silicon (M1 trở lên) và macOS 14 trở lên. Bản Linux là file AppImage cho Ubuntu 20.04 trở lên.

Máy mình thuê không có màn hình, nên mình mở app trên màn hình ảo Xvfb của Linux rồi điều khiển từ xa để chụp. Bạn dùng máy có màn hình thì chỉ cần mở app như bình thường.

Vào mục Model Search, gõ tên model. App tìm trên Hugging Face, hiện số lượt tải và cho biết model có vừa GPU của bạn không:

Màn hình Model Search: tìm qwen3.5 9b ra 501 model, chọn qwen/qwen3.5-9b 1.951.427 lượt tải, nhãn Staff Pick, bản Qwen3.5 9B 5.63 GB và nhãn xanh Full GPU Offload Possible

Nhãn Full GPU Offload Possible nghĩa là cả model nạp được vào VRAM. Nếu nhãn báo chỉ nạp được một phần, model sẽ chạy chậm hơn nhiều lần, mình đo cụ thể ở mục GPU Offload.

Nếu đã có sẵn file GGUF (ví dụ tải bằng hf hoặc dùng chung với llama.cpp), bạn nạp vào app bằng lệnh lms import. Tham số -L tạo hard link thay vì chép file, đỡ tốn ổ đĩa:

bash
lms import -L -y --user-repo lmstudio-community/Qwen3.5-9B-GGUF ~/gguf/Qwen3.5-9B-Q4_K_M.gguf
lms ls

Model nạp xong hiện trong mục Library:

Màn hình Library: 2 model qwen3.6-27b 16.5 GB và qwen3.5-9b 5.6 GB, tổng 22.17 GB, thư mục /root/.lmstudio/models

Chat với model đầu tiên

Vào Chat, bấm Ctrl+L để chọn model, rồi gõ câu hỏi. Mình hỏi Qwen3.5-9B: "Viết email ngắn xin nghỉ phép ngày thứ Sáu để đi khám răng, giọng lịch sự."

Qwen3.5-9B trả lời email xin nghỉ phép bằng tiếng Việt sau khi suy nghĩ 14.35 giây, thanh dưới hiện 78.98 tok/sec, 1312 tokens, 0.13s, Stop reason EOS Token Found

Model bật chế độ suy nghĩ (nút Think) mặc định, nghĩ 14,35 giây bằng tiếng Anh rồi mới viết email. Rê chuột vào biểu tượng đồng hồ dưới câu trả lời, app hiện tốc độ 78,98 token/giây, 1.312 token và thời gian chờ chữ đầu 0,13 giây. Câu trả lời đúng ý, đủ tiêu đề và lời chào. Muốn nhanh hơn với câu hỏi đơn giản, bạn tắt nút Think.

GPU Offload là gì, kéo xuống chậm bao nhiêu?

GPU Offload là số lớp (layer) của model được đặt lên GPU. Phần còn lại chạy trên CPU và RAM. Bật toggle Manually choose model load parameters trong hộp chọn model, app hiện bảng chỉnh trước khi nạp:

Hộp Load cho Qwen3.6 27B: Estimated Memory Usage GPU 18.23 GB, Context Length 8192, model hỗ trợ tới 262144 token, GPU Offload 64 trên thanh kéo tối đa

Qwen3.6-27B có 64 lớp, app ước tính cần 18,23GB VRAM. Mình nạp model này năm lần với năm mức --gpu bằng lệnh lms load, mỗi lần sinh 256 token ba lượt:

bash
lms load qwen3.6-27b --gpu max -y
lms load qwen3.6-27b --gpu 0.75 -y
lms load qwen3.6-27b --gpu off -y
lms ps
Biểu đồ GPU Offload và tốc độ Qwen3.6-27B trên RTX 3090: max 36,5 token/giây 16,3GB VRAM; 0.75 8,4; 0.5 4,8; 0.25 3,4; off 2,5 token/giây

Mức --gpu

Tốc độ sinh chữ

VRAM

Thời gian nạp

max (64/64 lớp)

36,5 token/giây

16,3GB

5,9 giây

0.75

8,4 token/giây

12,5GB

6,1 giây

0.5

4,8 token/giây

8,9GB

6,6 giây

0.25

3,4 token/giây

5,0GB

7,1 giây

off

2,5 token/giây

0,4GB

7,3 giây

Chỉ cần một phần tư số lớp nằm ở CPU, tốc độ đã rơi từ 36,5 xuống 8,4 token/giây. Lý do là mỗi token đều phải đi qua mọi lớp, và lớp nào nằm ở RAM thì CPU tính chậm hơn GPU hàng chục lần. Vì vậy hãy chọn model vừa VRAM của card (bản nén Q4 nhỏ hơn, hoặc model ít tham số hơn) thay vì kéo GPU Offload xuống. Bài chạy DeepSeek local có bảng chọn model theo VRAM.

Context Length tốn bao nhiêu VRAM?

Context Length là số token model nhớ được trong một cuộc hội thoại, gồm câu hỏi, tài liệu bạn dán vào và câu trả lời. App để mặc định 8.192 token dù Qwen3.5-9B hỗ trợ tới 262.144. Ngoài mức mặc định, mình nạp model với bốn mức context khác:

bash
for c in 4096 32768 131072 262144; do
  lms load qwen3.5-9b --context-length $c -y && nvidia-smi --query-gpu=memory.used --format=csv
  lms unload --all
done
Biểu đồ VRAM của Qwen3.5-9B theo Context Length: 4.096 token 5.560MiB, 8.192 token 5.692MiB, 32.768 token 6.484MiB, 131.072 token 9.654MiB, 262.144 token 13.880MiB; tốc độ đều khoảng 78 đến 80 token/giây

Mở context tối đa tốn thêm khoảng 8GB (8.188MiB) so với mặc định, tốc độ sinh chữ vẫn quanh 78 đến 80 token/giây khi câu hỏi ngắn. Phần VRAM thêm này là KV cache, chỗ model giữ các token đã đọc. Nếu bạn hay dán tài liệu dài, tăng lên 32.768 là đủ cho phần lớn việc mà chỉ tốn thêm chưa tới 1GB.

Dùng làm server API kiểu OpenAI thế nào?

Mục Model Server bật một server cục bộ ở cổng 1234. Server có ba kiểu API: API riêng, kiểu OpenAI và kiểu Anthropic, nên phần lớn thư viện và công cụ viết cho OpenAI dùng được ngay:

Màn hình Model Server: qwen3.5-9b READY, Size 5.63 GB, Parallel 4; danh sách endpoint REST API v1 GET /api/v1/models, POST /api/v1/chat, POST /api/v1/models/load; bên phải là thông tin model Q4_K_M, Tool use, Reasoning

Trên máy không màn hình, bạn dùng bản không giao diện llmster và lệnh lms. Mình đo toàn bộ số trong bài theo cách này:

bash
curl -fsSL https://lmstudio.ai/install.sh | bash
lms daemon up
lms load qwen3.5-9b -y
lms server start

Gọi thử bằng curl:

bash
curl http://localhost:1234/v1/chat/completions -H "Content-Type: application/json" \
  -d '{"model": "qwen3.5-9b", "messages": [{"role": "user", "content": "Thủ đô của Việt Nam là gì?"}]}'

Hoặc bằng thư viện openai của Python, chỉ đổi base_url. Server không kiểm tra API key nên bạn điền chữ bất kỳ:

python
from openai import OpenAI
client = OpenAI(base_url="http://localhost:1234/v1", api_key="lm-studio")
r = client.chat.completions.create(model="qwen3.5-9b",
    messages=[{"role": "user", "content": "Tóm tắt Luật Lao động về nghỉ phép năm trong 3 ý."}])
print(r.choices[0].message.content)

Mặc định app cho tối đa 4 câu hỏi chạy song song trên một model (cột Parallel). Khi nhiều người cùng gọi, cách này xử lý tốt hơn Ollama, số đo khi 4 và 16 người hỏi cùng lúc nằm ở bài so sánh Ollama, llama.cpp, vLLM.

LM Studio hay Ollama nhanh hơn?

Mình chạy cùng hai model trên cùng máy RTX 3090, cùng câu hỏi tiếng Việt, sinh 256 token, context 8.192:

Model

llmster 0.0.27

Ollama 0.40.16

Qwen3.5-9B Q4_K_M

79,0 token/giây

79,2 token/giây

Qwen3.6-27B Q4_K_M

36,5 token/giây

42,2 token/giây

Model 27B ở cả hai bên dùng chung một file GGUF, nên chênh lệch đến từ cấu hình và bản llama.cpp đi kèm. Bên LM Studio chạy runtime llama.cpp bản CUDA 2.73.0, Ollama tự chọn thư viện CUDA của nó. Với model 9B, hai bên ngang nhau. Với model 27B, Ollama nhanh hơn khoảng 16%. Một khác biệt mình thấy trong log là app nạp model với 4 slot song song (Parallel 4), Ollama mặc định 1 slot khi chỉ một người hỏi.

Khi bạn dùng một mình, app không nhanh hơn Ollama. Nó hơn ở chỗ dễ dùng và khi nhiều yêu cầu đến cùng lúc.

Chọn app có giao diện khi bạn muốn chat bằng chuột, xem trước model có vừa VRAM không, hay chỉnh GPU Offload bằng thanh kéo. Chọn Ollama khi bạn cần chạy nền như một service, trong Docker, hoặc dùng mã nguồn mở. Hai công cụ cài chung một máy được, chỉ cần không nạp cùng lúc hai model lớn vào cùng một card.

Lỗi mình đã gặp

Runtime CUDA không chạy trên card đời cũ

Trên máy Tesla V100 (compute capability 7.0), runtime CUDA 12 nhận card nhưng báo không hỗ trợ:

text
Compatibility: No supported GPUs - No GPU with compute capability >= 7.5 was found

Nạp model khi đã ép chọn runtime này thì tiến trình dừng với exited before becoming healthy. exitCode=null, signal=SIGABRT. Runtime CUDA mới nhất còn không hiện trong danh sách tải (No runtime extensions matched the query). App tự chọn runtime Vulkan cho card này, chạy được 57,3 token/giây với Qwen3.5-9B. Nếu bạn dùng card trước đời RTX 20 (GTX 10, Tesla P40, V100), để runtime Vulkan mặc định. Cùng card V100, llama.cpp bản CUDA chạy model này ở 94,9 token/giây, nên nếu cần tốc độ, bạn dùng llama.cpp thay cho giao diện.

Lệnh lms runtime select không nhận tên rỗng

Trong script cài, mình lấy tên runtime từ lệnh trước rồi truyền vào lms runtime select. Trên V100 lệnh trước không trả về gì, và lms báo:

text
Must specify at least one of [alias] or --latest

Xem danh sách runtime đã có bằng lms runtime ls, rồi truyền đúng tên kèm phiên bản, ví dụ lms runtime select llama.cpp-linux-x86_64-vulkan-avx2@2.66.0.

Khi nào không nên dùng app này?

Đây là phần mềm đóng. Theo điều khoản sử dụng cập nhật ngày 23/08/2026, bạn được dùng cho mục đích cá nhân và nội bộ doanh nghiệp, không được dùng để cung cấp dịch vụ cho bên thứ ba theo kiểu service bureau hay SaaS. Nếu bạn định dựng chatbot bán cho khách, hoặc cần sửa mã nguồn, dùng Ollama, llama.cpp hoặc vLLM. LM Studio cũng không hợp khi nhiều người dùng cùng lúc ở quy mô lớn, hoặc khi bạn chỉ có Mac chip Intel.

Câu hỏi thường gặp

LM Studio có miễn phí không?

Có. Từ ngày 08/07/2025, app miễn phí cho cả việc ở công ty, không cần xin giấy phép riêng. Điều khoản vẫn cấm đem app đi cung cấp dịch vụ cho người khác.

LM Studio là phần mềm gì?

Là ứng dụng desktop để tìm, tải và chạy LLM trên máy cá nhân, có giao diện chat và server API, chạy trên Windows, macOS (Apple Silicon) và Linux.

Có cần API key không?

Không. Server cục bộ ở cổng 1234 không kiểm tra key. Thư viện openai bắt buộc có tham số api_key thì bạn điền chữ bất kỳ.

GPU Offload là gì?

Là số lớp của model đặt lên GPU. Kéo hết lên GPU thì nhanh nhất. Trong phép đo của mình, để 25% số lớp ở CPU đã làm tốc độ giảm gần 4,4 lần.

Có chạy trên Mac Intel không?

Không. Bản macOS chỉ hỗ trợ chip Apple Silicon. Mac Intel dùng Ollama được.

Có dùng bản dòng lệnh, không cần giao diện được không?

Có. Bản llmster cài bằng một dòng lệnh, điều khiển bằng lms (lms daemon up, lms load, lms server start). Toàn bộ phép đo trong bài chạy theo cách này trên máy không màn hình.

Đọc tiếp

Máy bạn không có GPU đủ VRAM? Bạn có thể thuê máy RTX 3090 trên AIDev Cloud theo giờ, cài llmster bằng một dòng lệnh như trong bài và thử model 27B trong vòng một giờ.

Đo ngày 13/11/2026 trên máy AIDev Cloud gói RTX 3090 Standard (25 vCPU Xeon E5-2696 v4, 55GB RAM, Ubuntu 24.04, driver 610.43.02). LM Studio 0.4.28 bản Linux AppImage (giao diện), llmster 0.0.27 với runtime llama.cpp CUDA 2.73.0, Ollama 0.40.16; model Qwen3.5-9B và Qwen3.6-27B nén Q4_K_M. Số trên Tesla V100 đo cùng ngày. Yêu cầu hệ thống, điều khoản sử dụng và bài thông báo miễn phí của LM Studio đọc ngày 13/11/2026.

Tham vấn chuyên môn

Nguyễn Việt Chung

Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE

  • Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
  • Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
  • Xây hệ thống AI cho doanh nghiệp tại VietPlatform.
Biên soạn: AIDev Team · Rà soát · Quy trình biên tập