Chạy DeepSeek local: cần GPU gì, đo trên máy thật

Bản DeepSeek bạn chạy được trên máy của bạn là bản "chưng cất" (distill, model nhỏ được huấn luyện để bắt chước model lớn) cỡ 1,5B đến 70B, còn DeepSeek V4 đang chạy trên web và app là một model khác, lớn hơn nhiều. Với Ollama, deepseek-r1:8b cần khoảng 6GB VRAM (bộ nhớ của card đồ họa) ở context 8K (độ dài văn bản model giữ trong bộ nhớ khi trả lời, khoảng 8.000 token), deepseek-r1:14b cần 10GB, còn deepseek-r1:32b cần 20,6GB và chỉ chạy trọn trên card 24GB khi context từ 8K trở xuống. Ngày 23/10/2026, mình thuê ba máy AIDev Cloud (RTX 3090 24GB, Tesla P40 24GB, Tesla V100 32GB) để đo VRAM và tốc độ của 6 bản DeepSeek. Mình cũng hỏi chúng 3 câu tiếng Việt cố định.

Những điều cần nắm trước khi chọn bản để chạy DeepSeek local:

• Trên thư viện Ollama, DeepSeek V4 Flash và V4 Pro chỉ có tag cloud, tức là chạy trên server của Ollama chứ không tải về được. Bản tải về được là DeepSeek-R1 (1.5b đến 671b), DeepSeek-V3 (671b) và các bản Coder.

• Các bản R1 từ 1.5b đến 70b thật ra là Qwen hoặc Llama được DeepSeek huấn luyện thêm để suy luận giống R1. Bản R1 gốc 671b nặng 404GB, máy cá nhân không chạy nổi.

• Trên RTX 3090 và V100, Ollama tự đặt context 32.768 token. Ở mức đó, trên RTX 3090 bản 32b tràn sang CPU và tốc độ tụt từ 37 xuống còn 7 token/giây.

• Bản to hơn chưa chắc trả lời đúng hơn. Ở câu đố gia đình, bản 32b trả lời sai, còn bản 7b và 14b trả lời đúng.

• Bản 7b và 14b hay chen chữ Trung Quốc vào câu tiếng Việt. Trong lần thử của mình, bản 8b và 32b viết tiếng Việt sạch.

DeepSeek nào chạy local được trên Ollama?#

Mình mở trang tìm kiếm của Ollama với từ khóa deepseek ngày 23/10/2026. Bảng dưới gồm các model DeepSeek trên trang đó và cỡ file của từng bản tải về được. Cỡ file là của tag mặc định, đã nén trọng số xuống khoảng 4 bit (quantization Q4_K_M):

Theo trang deepseek-r1, bản 1.5b, 7b, 14b và 32b được chưng cất từ Qwen, bản 70b từ Llama. Bản 8b là DeepSeek-R1-0528-Qwen3-8B, cập nhật sau các bản kia. Mọi tag của deepseek-r1 đều ghi context tối đa 128K.

Mình đo 6 bản: năm bản R1 từ 1.5b đến 32b và deepseek-coder-v2:16b. Bản 70b nặng 43GB nên không vừa card nào trong ba card, mình không đo bản này. Ở bài model Ollama theo VRAM, Llama 3.3 70B (cũng là model Llama 70B, file cùng cỡ 43GB) chạy trên RTX 3090 chỉ đạt 0,99 token/giây.

Đo trên máy nào, đo thế nào?#

Ba máy đều là gói Standard trên AIDev Cloud, image Ubuntu 24.04, 25 vCPU Xeon E5-2600 v4 và 53GB RAM:

Mình cài Ollama 0.40.8, bản ổn định mới nhất trên GitHub releases của Ollama ngày đo (phát hành 21/10/2026). Mình đo giống hệt cách ở bài model Ollama theo VRAM để số liệu so được với nhau. Với mỗi model và mỗi mức context, script gỡ hết model khỏi VRAM rồi gọi /api/generate hai lần, mỗi lần sinh 256 token. Tốc độ ghi trong bài là của lần gọi thứ hai. Trong lúc đó script đọc nvidia-smi mỗi nửa giây và ghi mức VRAM cao nhất.

ollama pull deepseek-r1:8b
ollama run deepseek-r1:8b --verbose "Một chiếc áo giá 250.000 đồng, giảm 20% rồi cộng VAT 8% trên giá đã giảm. Khách trả bao nhiêu?"

Cờ --verbose in thêm số token và tốc độ sau mỗi câu trả lời, nên bạn tự đo được trên máy của bạn mà không cần script.

Chạy DeepSeek local cần bao nhiêu VRAM?#

Bảng dưới là VRAM đo trên RTX 3090 ở ba mức context. Riêng ô 32b ở 32K lấy từ máy V100, vì trên card 24GB bản này đã tràn sang CPU nên số VRAM không còn phản ánh nhu cầu thật.

Hai con số làm mình bất ngờ. File của bản 8b chỉ lớn hơn bản 7b 0,5GB, nhưng ở context 128K nó cần 22,3GB, gần gấp đôi bản 7b. Bản 8b xây trên Qwen3, khác nền với bản 7b, và theo số đo thì mỗi token trong context của nó chiếm nhiều bộ nhớ hơn hẳn. Bản coder-v2:16b cũng vậy: file chỉ 8,9GB mà ở 32K đã dùng 19,3GB.

Card nào chạy được bản DeepSeek nào?#

Mình lập bảng này từ VRAM đo được, chừa thêm khoảng 1GB cho driver và màn hình. Dòng 24GB và 32GB là đo trực tiếp. Các dòng từ 4 đến 16GB là suy ra từ số đo, mình không có card đó để thử.

Nếu card của bạn chưa đủ cho bản cần chạy, bạn có thể thuê GPU theo giờ trên AIDev Cloud để thử đúng bản đó trước khi mua card. Ba máy trong bài là gói P40 7.000đ/giờ, RTX 3090 15.000đ/giờ và V100 32GB 20.000đ/giờ.

DeepSeek R1 32B có chạy được trên RTX 3090 không?#

Chạy được, nhưng gõ lệnh mặc định thì rất chậm. Mình gõ ollama run deepseek-r1:32b trên RTX 3090 và hỏi một câu ngắn bằng tiếng Việt. Model trả lời bằng tiếng Anh, tốc độ 7,25 token/giây, cả câu mất 39 giây. Lệnh ollama ps cho thấy lý do: context 32.768 và 19%/81% CPU/GPU, tức là một phần model đã nằm trên RAM.

Cách sửa là tạo một bản 32b với context 8K bằng Modelfile:

printf "FROM deepseek-r1:32b\nPARAMETER num_ctx 8192\n" > Modelfile
ollama create deepseek-r1:32b-8k -f Modelfile
ollama run deepseek-r1:32b-8k --verbose

Cùng câu hỏi đó, bản deepseek-r1:32b-8k trả lời "Hà Nội là thủ đô của Việt Nam.", tốc độ 37,22 token/giây, cả câu 13,6 giây, và ollama ps báo 100% GPU.

Trên Tesla P40, Ollama tự chọn context 4.096 nên bản 32b chạy trọn trên GPU ngay từ đầu, nhưng chỉ đạt 10,5 token/giây. Đặt context 32K thì P40 cũng tràn: log ghi offloaded 52/65 layers to GPU và tốc độ còn 4,0 token/giây.

V100 32GB thì chứa trọn bản 32b ở context 32K: nvidia-smi báo 27.302MiB, ollama ps báo 100% GPU, tốc độ 30,4 token/giây. Nếu bạn cần bản 32b đọc tài liệu dài, card 32GB là mức tối thiểu.

Mỗi bản DeepSeek chạy nhanh bao nhiêu trên từng card?#

Tốc độ ở context 8K (token/giây, sinh 256 token):

Bản coder-v2:16b nhanh hơn cả bản 7b vì nó dùng kiến trúc MoE (Mixture of Experts): mỗi token chỉ chạy qua một phần tham số. Bản 14b trên RTX 3090 đạt 76,9 token/giây với Ollama 0.40.8, nhỉnh hơn mức 72,0 mình đo bằng Ollama 0.40.6 hôm 18/10.

Có điều tốc độ cao chưa chắc đã trả lời nhanh. Các bản R1 luôn "suy nghĩ" trước khi trả lời, và phần suy nghĩ cũng tính là token. Mình hỏi bản 8b câu tính giá áo bằng lệnh ollama run mặc định: nó viết 3.425 token suy nghĩ và tính đi tính lại ra 216.000 nhiều lần. Cả câu mất 31,9 giây, trong khi bài toán chỉ có hai phép nhân.

DeepSeek chạy local trả lời tiếng Việt có tốt không?#

Mình hỏi 3 câu cố định trên RTX 3090, mỗi model một lần, temperature 0, giới hạn 6.000 token đầu ra cho cả phần suy nghĩ lẫn câu trả lời:

1. Áo 250.000 đồng, giảm 20% rồi cộng VAT 8% trên giá đã giảm, khách trả bao nhiêu? (đáp án 216.000 đồng)

2. Lan có 3 anh trai, mỗi anh trai của Lan có 2 em gái, nhà Lan có bao nhiêu người con? (đáp án 5)

3. Giải thích khoảng 80 chữ cho chủ quán cà phê vì sao nên lưu sổ bán hàng trên Google Sheets.

Mọi bản đều tính đúng câu 1. Câu 2 thì chỉ bản 7b và 14b đúng. Bản 32b lập luận rằng "em gái này chung cho tất cả các anh trai, tức là Lan" rồi ra 4 người con. Bản 8b thì nghĩ ra đúng 5 trong phần suy nghĩ nhưng cứ tự kiểm lại mãi đến khi hết 6.000 token mà không đưa ra câu trả lời.

Câu 3 cho thấy rõ model nào viết tiếng Việt kém. Bản 7b viết "nhanh的速度", "tránh事故", "thuận tiện cho团队", tức là chen chữ Trung Quốc ngay giữa câu. Bản 14b ít hơn nhưng vẫn có. Bản 8b và 32b viết gọn và không lẫn chữ lạ.

Ba câu, mỗi câu một lần, chưa đủ để xếp hạng model. Đổi seed hay temperature thì kết quả có thể khác. Từ lần thử này, mình rút ra hai điều: bản 1.5b chỉ hợp để thử cho biết, và bản 8b cần giới hạn số token sinh ra (num_predict) để không suy nghĩ mãi, dù khi chạm giới hạn thì nó không đưa ra câu trả lời.

Tự chạy DeepSeek hay gọi DeepSeek API rẻ hơn?#

Theo bảng giá DeepSeek API ngày 23/10/2026, model deepseek-flash (DeepSeek-V4.1-Flash) tính 0,30 USD cho 1 triệu token đầu vào và 1,20 USD cho 1 triệu token đầu ra vào giờ cao điểm, ngoài giờ cao điểm giảm một nửa. Quy theo tỷ giá bán USD của Vietcombank ngày 22/10/2026 (26.040đ), 1.000 token đầu ra tốn khoảng 31đ giờ cao điểm và 16đ ngoài giờ.

Mình so giá API với chi phí tự chạy trên RTX 3090, tính theo tốc độ đã đo khi chỉ có một người dùng:

Tiền điện lấy từ số đo công suất trong bài RTX 3090 cũ chạy AI (316W khi chạy LLM, mô hình ngôn ngữ lớn). Bảng chỉ tính một phiên chat. Máy thuê phục vụ nhiều phiên song song thì tổng token mỗi giờ cao hơn, nhưng mình chưa đo trường hợp đó.

Nếu chỉ dùng cá nhân, API rẻ hơn thuê GPU theo giờ, và model trên API (V4.1 Flash, 763B tham số theo trang Ollama) lớn gấp hơn 20 lần bản distill 32b. Ở bài OpenClaw có miễn phí không, cả một ngày thử nghiệm dày đặc với DeepSeek Flash chỉ hết khoảng 0,04 USD. Tự chạy DeepSeek local đáng làm khi bạn có lý do khác ngoài giá:

• Dữ liệu không được rời khỏi máy (hồ sơ khách hàng, tài liệu nội bộ).

• Bạn đã có card và chạy nhiều giờ mỗi ngày: tiền điện khoảng 4đ cho 1.000 token, rẻ hơn API nhiều lần.

• Bạn cần chạy offline, hoặc cần một model cố định không đổi phiên bản theo nhà cung cấp.

• Bạn đang học cách triển khai LLM và muốn tự thấy VRAM, context, quantization ảnh hưởng thế nào.

Khi nào không nên chạy DeepSeek local?#

• Bạn cần chất lượng như DeepSeek trên web. Các bản chạy được trên một card là bản distill 1,5B đến 32B, nhỏ hơn rất nhiều so với model V4 mà web và app đang dùng.

• Bạn chỉ có card 4 đến 6GB. Bản vừa card là 1.5b, và trong lần thử của mình nó trả lời sai câu đố, viết tiếng Việt lủng củng.

• Bạn cần câu trả lời nhanh cho câu hỏi ngắn. Các bản R1 suy nghĩ hàng trăm đến hàng nghìn token trước khi trả lời, đặt "think": false cũng không tắt được phần suy nghĩ này (mình đã gặp điều này ở bài model Ollama theo VRAM). Với việc này, một model không suy luận như Qwen hoặc Gemma hợp hơn.

Nếu bạn dùng Mac thì lưu ý: Mac dùng chung RAM cho CPU và GPU, nên bảng chọn card ở trên không áp dụng trực tiếp. Mình chưa đo DeepSeek trên Mac.

Lỗi mình đã gặp khi chạy DeepSeek bằng Ollama#

Bản 32b chậm còn 7 token/giây trên card 24GB#

Mình đã kể lỗi này ở mục RTX 3090 phía trên. Dấu hiệu là cột PROCESSOR của ollama ps có chữ CPU:

NAME               ID              SIZE     PROCESSOR          CONTEXT    RUNNER      UNTIL
deepseek-r1:32b    edba8017331d    28 GB    19%/81% CPU/GPU    32768      llamacpp    4 minutes from now

Nguyên nhân là Ollama 0.40 tự đặt context theo VRAM: RTX 3090 báo 23,6 GiB và được 32.768 (log service ghi default_num_ctx=32768), còn P40 báo 22,4 GiB thì chỉ được 4.096. Muốn biết card của bạn được context bao nhiêu, đọc log của service:

journalctl -u ollama | grep default_num_ctx

level=INFO source=routes.go:2562 msg="vram-based default context" total_vram="23.6 GiB" default_num_ctx=32768

Cách sửa là tạo bản riêng với PARAMETER num_ctx 8192 như trên, hoặc đặt biến OLLAMA_CONTEXT_LENGTH=8192 cho service.

Bản 8b nghĩ mãi không trả lời#

Ở câu đố gia đình, bản deepseek-r1:8b dùng hết 6.000 token mình cho phép, và phần trả lời trống trơn. Đoạn cuối phần suy nghĩ vẫn đang tự kiểm:

Vậy, trong mọi trường hợp hợp lệ, tổng số người con là 5.

Có thể có nhiều em gái, nhưng nếu mỗi anh trai có 2 em gái, và giả sử không có ai khác, thì có 2 em gái.

Script thử của mình gọi API chat của Ollama như dưới đây. Phần suy nghĩ nằm ở message.thinking, phần trả lời ở message.content:

body = {"model": model, "messages": [{"role": "user", "content": c}], "stream": False, "think": True,
        "options": {"temperature": 0, "seed": 1, "num_ctx": 8192, "num_predict": 6000}}
r = goi(body)   # POST /api/chat
m = r["message"]  # m["thinking"], m["content"], cùng r["done_reason"], r["eval_count"]

Với bản 8b ở câu 2, done_reason là length và eval_count là 6000, nghĩa là model bị cắt giữa chừng. Khi đó hãy hỏi lại với câu ngắn gọn hơn, hoặc chuyển sang bản 14b.

Câu hỏi thường gặp#

Card 8GB chạy được DeepSeek bản nào?#

Bản deepseek-r1:7b (5,1GB) và deepseek-r1:8b (6,2GB) ở context 8K. Nếu cần tiếng Việt sạch, mình chọn bản 8b, nhưng nhớ giữ context dưới 16K vì ở 32K nó đã cần 9,6GB.

DeepSeek R1 14B cần bao nhiêu VRAM?#

Khoảng 10GB ở context 8K và 14,6GB ở 32K, đo trên RTX 3090 với Ollama 0.40.8. Card 12GB chạy được ở context ngắn, card 16GB chạy được ở 32K.

Có chạy được DeepSeek V3 hay V4 trên máy cá nhân không?#

Không với một card đồ họa thông thường. DeepSeek-V3 trên Ollama là bản 671B, còn DeepSeek V4.1 Flash và V4 Pro trên Ollama chỉ có tag cloud. Muốn dùng hai model V4 thì gọi qua DeepSeek API hoặc qua tag cloud của Ollama.

Chạy DeepSeek local có cần Internet không?#

Chỉ cần lúc tải model về bằng ollama pull. Sau đó model chạy hoàn toàn trên máy, kể cả khi rút mạng. Các tag cloud thì luôn cần Internet vì chạy trên server của Ollama.

Nên chọn deepseek-r1 hay deepseek-coder-v2 để viết code?#

deepseek-coder-v2:16b nhanh gấp 2,5 lần bản r1:14b trên RTX 3090 (196,8 so với 76,9 token/giây) và không suy nghĩ dài dòng. Nhưng nó trả lời sai câu đố logic trong lần thử của mình, nên mình chỉ dùng nó cho việc viết và giải thích code.

Đọc tiếp#

• AI Local: chạy LLM và AI tạo ảnh trên máy bạn: bài tổng quan của chuyên mục, bàn chuyện chọn card và nên mua hay thuê.

• Cài Ollama trên Windows, macOS, Linux, Docker: cài Ollama trước khi kéo model DeepSeek về.

• Model Ollama nào vừa card của bạn: bảng VRAM của Gemma 4, Qwen3.6, gpt-oss nếu bạn muốn so với DeepSeek.

• Giá thuê GPU theo giờ: bảng giá từng gói và chi phí cho từng việc.

• OCR tiếng Việt chạy local: DeepSeek-OCR, model đọc chữ từ ảnh của DeepSeek, đo trên RTX 3090 với hóa đơn và công văn tiếng Việt.

Muốn thử bản 32b hay 14b trước khi mua card? Bạn có thể thuê RTX 3090 hoặc V100 theo giờ trên AIDev Cloud, cài Ollama, kéo model về và hỏi bằng chính câu hỏi của bạn. Thử xong thì trả máy.

Đo ngày 23/10/2026 trên ba máy AIDev Cloud gói Standard (25 vCPU Xeon E5-2600 v4, 53GB RAM, Ubuntu 24.04): RTX 3090 24GB (driver 610.43.02, CUDA 13.3), Tesla V100-PCIE-32GB và Tesla P40 24GB (driver 580.173.02, CUDA 13.0). Ollama 0.40.8. Giá DeepSeek API theo trang chính thức ngày 23/10/2026.