
Qwen là gì? Chạy Qwen local trên GPU, đo bằng tiếng Việt
AIDev TeamTham vấn chuyên môn: Nguyễn Việt Chung
Đăng 11 phút đọc4 lượt xem
Mục lục · 19
Qwen là gì? Đó là họ model AI mã nguồn mở của Alibaba, phần lớn các bản dùng giấy phép Apache 2.0 nên tải về chạy trên máy riêng được. Mình chạy bốn bản Qwen trên RTX 3090 bằng Ollama, đo VRAM, tốc độ, rồi hỏi năm câu tiếng Việt để xem bản nào trả lời đúng, bản nào sai.
Qwen là họ LLM (mô hình ngôn ngữ lớn) do nhóm Qwen của Alibaba phát triển. Nhiều bản Qwen công khai trọng số với giấy phép Apache 2.0, nên bạn tải về chạy trên máy có GPU mà không cần tài khoản hay API key. Ngày 08/11/2026, mình chạy bốn bản Qwen bằng Ollama trên máy RTX 3090 24GB của AIDev Cloud: qwen3.5:4b, qwen3.5:9b, qwen3.8:27b và qwen3.6:35b. Trong năm câu hỏi tiếng Việt, bản 9B và 27B trả lời đúng cả câu kiến thức lẫn câu tính tiền. Khi tắt chế độ suy nghĩ, bản 35B tính sai câu tính tiền, còn bản 4B ghi đáp án sai rồi mới tính lại ra số đúng.
Những điều cần nắm trước khi đọc số đo:
Đời Qwen mới nhất ngày 08/11/2026 là Qwen3.8, ra tháng 8/2026. Bản Qwen3.8 chạy được trên một card là Qwen3.8-27B, ra ngày 14/08/2026. Các bản nhỏ hơn (0,8B đến 9B) vẫn thuộc đời Qwen3.5.
Trên RTX 3090, qwen3.8:27b dùng 18,2GB VRAM và sinh trung bình 73 token/giây trong năm câu, câu chậm nhất 53, câu nhanh nhất 95. qwen3.5:9b dùng 6,6GB, sinh 77 token/giây.
Qwen3.8 bật chế độ thinking (suy nghĩ trước khi trả lời) theo mặc định. Với câu hỏi ngắn, tắt nó đi thì trả lời nhanh hơn. Với câu cần tính toán, bật lên thì bản 4B và 35B sửa được câu sai.
Trong 28 câu trả lời, mình không thấy chữ Hán nào lẫn vào tiếng Việt. Lỗi dễ gặp hơn là dịch sai thứ trong tuần và để lại chỗ trống kiểu
[Tên]trong email.
Qwen là gì, do ai làm?
Qwen (tên đầy đủ tiếng Trung là Tongyi Qianwen) là họ model của nhóm Qwen thuộc Alibaba Group. Nhóm vừa phát hành trọng số để ai cũng tải về được, vừa bán bản chạy sẵn qua API trên Alibaba Cloud. Bạn cũng có thể chat thử miễn phí trên web tại chat.qwen.ai.
Trên Hugging Face, trang Qwen/Qwen3.8-27B ghi giấy phép apache-2.0, 27 tỷ tham số, context mặc định 262.144 token và mở rộng được tới khoảng 1 triệu token. Model nhận cả chữ lẫn ảnh. Model card của đời Qwen3.5 ghi model hỗ trợ 201 ngôn ngữ và phương ngữ, trong đó có tiếng Việt.
Các đời Qwen: 3.5, 3.6, 3.8 khác nhau ra sao?
Qwen ra model theo đời, mỗi đời có vài cỡ. Đây là các đời gần nhất tính đến ngày 08/11/2026:
Đời | Ngày ra | Các cỡ đáng chú ý | Giấy phép | Có trên Ollama |
|---|---|---|---|---|
Qwen3.5 | 02/03/2026 | 0.8B, 2B, 4B, 9B và các bản lớn tới 122B | Apache 2.0 | qwen3.5:0.8b đến 122b |
Qwen3.6 | 16/04 và 22/04/2026 | 27B, 35B-A3B (MoE) | Apache 2.0 | qwen3.6:27b, 35b |
Qwen3.8 | 14/08/2026 | 27B | Apache 2.0 | qwen3.8:27b |
Qwen3.8 Flash-Next | cùng đời 3.8 | 125B MoE, 6B tham số chạy mỗi token | qwen-community-1.0 | không |
Chữ B là tỷ (billion) tham số. MoE (mixture of experts) là kiểu model chia thành nhiều "chuyên gia" nhỏ, mỗi token chỉ dùng vài chuyên gia. Ví dụ Qwen3.6-35B-A3B có 35 tỷ tham số nhưng mỗi token chỉ chạy khoảng 3 tỷ, nên nhanh như model nhỏ mà vẫn cần VRAM như model lớn.
Bản Flash-Next dùng giấy phép riêng của Qwen chứ không phải Apache 2.0. Nếu bạn định dùng trong sản phẩm bán cho khách, hãy đọc giấy phép của đúng bản đó trước.
Chạy Qwen local bằng Ollama thế nào?
Cách nhanh nhất là Ollama. Nếu chưa biết Ollama, bài Ollama là gì hướng dẫn cài từ đầu. Trên Linux:
curl -fsSL https://ollama.com/install.sh | sh
ollama --version # mình dùng 0.40.15
Trang qwen3.8 trên thư viện Ollama chỉ có một cỡ 27b, gắn nhãn vision, tools, thinking:

Tải và chạy bản bạn chọn. File mặc định của qwen3.8:27b là bản nén Q4_K_M, trang thư viện ghi 18GB, ollama list trên máy mình báo 17GB:
ollama pull qwen3.8:27b
ollama run qwen3.8:27b --think=false "Tác giả của Truyện Kiều là ai? Trả lời trong một câu."
Trên máy mình, tải qwen3.8:27b mất 420 giây, qwen3.5:9b mất 124 giây. Lần chạy đầu, Ollama nạp qwen3.8:27b vào VRAM mất 19,1 giây, các câu hỏi sau trả lời ngay.
Muốn gọi từ code, dùng API của Ollama ở cổng 11434. Tham số think bật hoặc tắt phần suy nghĩ:
curl -s localhost:11434/api/chat -d '{
"model": "qwen3.8:27b",
"messages": [{"role": "user", "content": "Dịch sang tiếng Việt tự nhiên: \"Please update your calendar.\""}],
"think": false, "stream": false,
"options": {"num_ctx": 8192, "temperature": 0, "seed": 1}
}'
Ollama không phải cách duy nhất. Trang GitHub của Qwen3.8 liệt kê llama.cpp, MLX (cho Mac chip Apple), Transformers, Unsloth, vLLM và SGLang là các công cụ chạy được model. Nhóm llama.cpp cũng đăng sẵn file GGUF (định dạng file model mà llama.cpp đọc) của Qwen3.8-27B trên Hugging Face. Cách build llama.cpp với CUDA rồi chạy file GGUF này có ở bài cài đặt llama.cpp. Mình chọn Ollama cho bài này vì cài một lệnh là xong và tự bật MTP cho Qwen3.8. Nếu bạn cần phục vụ nhiều người dùng cùng lúc, vLLM hợp hơn.
Mình chấm năm câu hỏi bằng đúng request này, đổi model và nội dung câu hỏi, đặt temperature 0 và seed 1 để hạn chế ngẫu nhiên giữa các lần chạy.
Bản Qwen nào chạy được trên card của bạn?
Mình đo VRAM bằng nvidia-smi (mức cao nhất trong lúc trả lời) và tốc độ từ trường eval_count, eval_duration mà Ollama trả về:

Bản | File tải ( | VRAM trên RTX 3090 | Token/giây (tắt thinking) | Card tối thiểu |
|---|---|---|---|---|
qwen3.5:4b | 3,3GB | 4,1GB | 96,4 | 6GB |
qwen3.5:9b | 6,6GB | 6,6GB | 76,8 | 8GB |
qwen3.8:27b | 17GB | 18,2GB | 73,3 | 24GB |
qwen3.6:35b | 22GB | 22,0GB | 100,9 | 24GB, sát trần |
Cột card tối thiểu là mình suy ra từ VRAM đo được, cộng khoảng 1GB cho driver. Bài VRAM là gì, bao nhiêu là đủ giải thích phần 18,2GB của qwen3.8:27b gồm những gì. Bài Model Ollama nào vừa card của bạn có thêm số đo ở context dài và trên card P40, V100.
Bảng này có hai chỗ cần giải thích. Bản 35B nhanh nhất vì là MoE, mỗi token chỉ chạy khoảng 3 tỷ tham số. Bản qwen3.8:27b là model dense (mọi tham số đều chạy), mà vẫn nhanh gần bằng bản 9B. Lý do nằm trong log của Ollama: nó tự bật MTP (multi-token prediction), một phần nhỏ của model đoán trước tối đa 4 token, phần chính chỉ việc kiểm lại. Tốc độ vì thế dao động theo câu, từ 52,6 đến 95,0 token/giây trên cùng card.
Qwen trả lời tiếng Việt có tốt không?
Mình hỏi cả bốn bản năm câu tiếng Việt: một câu kiến thức (tác giả Truyện Kiều), một câu tính tiền thối, viết email xin nghỉ phép, tóm tắt một đoạn thông báo của quán cà phê và dịch một câu tiếng Anh. Kết quả khi tắt thinking:
Câu | qwen3.5:4b | qwen3.5:9b | qwen3.8:27b | qwen3.6:35b |
|---|---|---|---|---|
Tác giả Truyện Kiều | đúng | đúng | đúng | đúng |
Tính tiền thối (đáp án 85.000đ) | ghi 150.000đ rồi tính ra 85.000đ | đúng | đúng | sai, 135.000đ |
Email xin nghỉ thứ Sáu 20/11 | đúng ý, giọng thân mật | đúng, để trống | đúng, gọn, không chỗ trống | đúng, để trống |
Tóm tắt một câu | đủ ý | đủ ý | đủ ý | thiếu mức giảm 3.000đ |
Dịch "next Tuesday" | sai thành thứ Hai | sai thành thứ Hai | đúng thứ Ba, nhưng dịch "meeting" là "hội nghị" | đúng, tự nhiên nhất |
Câu tính tiền cho thấy rõ nhất khác biệt giữa các bản:

Bản 4B viết đáp án 150.000 đồng ở dòng đầu, tính lại thì ra 85.000 đồng, rồi thêm một đoạn "lưu ý" rằng câu hỏi có mâu thuẫn. Bản 35B trả lời gọn một dòng nhưng sai. Bản 9B và 27B đều tính từng bước và ra đúng 85.000 đồng.
Câu dịch thì lỗi khác: hai bản nhỏ đổi "next Tuesday" thành thứ Hai. Đây là loại lỗi khó phát hiện vì câu văn vẫn trôi chảy:

Nhiều người lo Qwen trả lời lẫn chữ Hán. Mình đếm ký tự Hán trong cả 28 câu trả lời (gồm phần suy nghĩ khi bật thinking): con số là 0 ở mọi bản. Năm câu hỏi chỉ là một mẫu nhỏ. Trước khi chọn bản cho việc thật, bạn nên hỏi thử bằng chính câu hỏi trong công việc của mình.
Bật thinking có đáng không?
Mình hỏi lại câu kiến thức và câu tính tiền với "think": true. Cả bốn bản đều trả lời đúng cả hai câu, kể cả bản 4B và 35B vừa sai ở trên. Cái giá là thời gian:

Bản 9B suy nghĩ dài nhất: 1.256 token, mất 17 giây cho một phép cộng trừ. qwen3.8:27b suy nghĩ ngắn, chỉ thêm 1 giây. Theo tài liệu Ollama, model nào có nhiều mức suy nghĩ (ví dụ low, medium, high) thì API /api/show liệt kê các mức đó, bạn truyền tên mức vào think thay cho true.
Cách mình chọn sau lần đo này: với chat thông thường, dịch, tóm tắt thì tắt thinking. Với câu có số liệu cần tính hoặc suy luận nhiều bước thì bật, nhất là khi dùng bản 4B hay 35B.
Lỗi mình đã gặp khi chạy Qwen bằng Ollama
Hai lỗi dưới đây mình gặp ngay trên máy đo. Cả hai đều hay gặp với người mới chạy Qwen lần đầu:

Gõ tên bản Qwen không có trên Ollama
Quen với Qwen3.5 có bản 9b, mình gõ thử qwen3.8:9b và nhận:
pulling manifest
Error: pull model manifest: file does not exist
Thông báo này nghĩa là thư viện Ollama không có tag đó. Mạng vẫn bình thường. Qwen3.8 trên Ollama chỉ có 27b. Muốn bản nhỏ thì dùng qwen3.5:9b hoặc qwen3.5:4b. Trước khi pull, bạn mở tab Tags trên trang model của Ollama để xem tên đúng.
Ollama chưa chạy nền
Sau khi mình tắt dịch vụ Ollama để nhường GPU cho việc khác, lệnh ollama run báo:
Error: could not connect to ollama server, run 'ollama serve' to start it
Trên Linux cài bằng script chính thức, Ollama chạy như một dịch vụ systemd. Bật lại bằng:
sudo systemctl start ollama
ollama list # thấy danh sách model là dịch vụ đã chạy
Lệnh ollama serve trong thông báo cũng được, nhưng nó chạy ở cửa sổ terminal hiện tại và tắt khi bạn đóng cửa sổ.
Khi nào không nên chạy Qwen local?
Biết Qwen là gì và chạy được rồi, nhưng có những trường hợp chạy local không đáng công:
Máy bạn không có GPU hoặc card dưới 6GB VRAM. Bản 4B vẫn chạy được trên CPU nhưng chậm, và khi tắt thinking nó trả lời câu tính tiền lộn xộn như ở trên. Dùng bản web chat.qwen.ai sẽ đỡ mất công hơn.
Bạn cần context cả triệu token. Bản tải về hỗ trợ được, nhưng KV cache (phần VRAM model giữ cho context) với context dài như vậy cần nhiều VRAM hơn một card 24GB có.
Bạn cần bản lớn nhất của Qwen3.8. Các bản lớn hơn 27B cần nhiều card hoặc chỉ có qua API.
Dữ liệu không nhạy cảm và bạn chỉ hỏi vài câu mỗi ngày. Dựng máy, tải 18GB model rồi giữ máy chạy tốn công hơn một tài khoản chat.
Câu hỏi thường gặp
Qwen có miễn phí không?
Các bản tải về như Qwen3.5, Qwen3.6, Qwen3.8-27B dùng giấy phép Apache 2.0, miễn phí kể cả dùng thương mại. Bản chạy qua API của Alibaba Cloud thì trả phí theo token. Bản chat trên web ở chat.qwen.ai thì không cần cài gì.
Qwen có phải của Trung Quốc không?
Có, Qwen do nhóm Qwen của Alibaba Group phát triển. Khi chạy local bằng Ollama, model nằm trên máy bạn và không gửi dữ liệu đi đâu.
Nên chọn Qwen bản nào cho card 8GB?
qwen3.5:9b dùng 6,6GB VRAM ở context 8.192 token, trả lời đúng câu tính tiền và viết email tốt trong lần thử của mình. Đây là bản hợp nhất với card 8GB.
Qwen khác DeepSeek-R1 bản nhỏ thế nào?
Các bản DeepSeek-R1 từ 1.5B đến 32B trên Ollama được huấn luyện thêm từ Qwen, luôn suy nghĩ trước khi trả lời. Bài DeepSeek chạy local cần cấu hình gì có số đo các bản đó.
Qwen có xem được ảnh không?
qwen3.8:27b trên Ollama có nhãn vision, nghĩa là nhận được ảnh. Ollama nạp kèm bộ đọc ảnh, tốn thêm khoảng 1GB VRAM. Mình chỉ đo phần chữ trong bài này.
Đọc tiếp
AI Local: chạy LLM và AI tạo ảnh trên máy bạn: bài tổng quan của chuyên mục.
Ollama là gì: cài Ollama và chạy model đầu tiên.
VRAM là gì, bao nhiêu là đủ: VRAM của một model gồm những phần nào.
Model Ollama nào vừa card của bạn: 13 model Ollama trên P40, RTX 3090, V100.
Card của bạn chưa đủ 24GB để chạy qwen3.8:27b? Bạn có thể thuê RTX 3090 theo giờ trên AIDev Cloud, cài Ollama, chạy đúng các lệnh trong bài rồi trả máy khi xong.
Đo ngày 08/11/2026 trên máy AIDev Cloud RTX 3090 24GB gói Standard (25 vCPU Xeon E5-2680 v4, 53GB RAM, Ubuntu 24.04.4, driver 610.43.02). Ollama 0.40.15, các model qwen3.5:4b, qwen3.5:9b, qwen3.8:27b, qwen3.6:35b bản mặc định, context 8.192 token, temperature 0.
Tham vấn chuyên môn
Nhà sáng lập AIDev và VietPlatform · Thạc sĩ AI MSE
- Tốt nghiệp thủ khoa xuất sắc Thạc sĩ AI MSE.
- Đồng sáng lập, CTO E-University, SVOnline: số hóa 10+ đại học, 40.000+ sinh viên.
- Xây hệ thống AI cho doanh nghiệp tại VietPlatform.


