AI Local: chạy LLM và AI tạo ảnh trên máy bạn

AI local là chạy model AI ngay trên máy của bạn, thay vì gửi câu hỏi hay ảnh lên một dịch vụ trên mạng như ChatGPT. Model nằm trên ổ cứng, chạy bằng GPU (hoặc CPU) của bạn, dữ liệu không rời khỏi máy và không mất phí theo lượt dùng. Đổi lại, bạn phải lo phần cứng.

Những điều cần nắm trước khi đọc tiếp:

• Thứ quyết định chạy được model nào là VRAM của GPU. Trên card 24GB, mình chạy thoải mái các model chat cỡ 20 đến 27 tỷ tham số và các model tạo ảnh mới nhất.

• Không có GPU vẫn chạy được, nhưng trên cùng một máy, CPU chậm hơn GPU khoảng 9 lần.

• Hai phần mềm phổ biến nhất là Ollama cho LLM (model chat) và ComfyUI cho tạo ảnh. AIDev có bài đo chi tiết cho từng cái.

• Tự mua một bộ máy RTX 3090 tốn khoảng 46,5 triệu trả ngay. Nếu bạn dùng dưới 20 giờ mỗi tuần, thuê GPU theo giờ phải hơn 3 năm mới tốn bằng số đó.

• Mọi số trong bài do AIDev đo ngày 08/10/2026 trên máy RTX 3090 24GB, Ubuntu 24.04, Ollama 0.40.0 và ComfyUI 0.39.0.

AI local là gì và khác gì ChatGPT trên web?#

Khi dùng ChatGPT, Gemini hay Claude, câu hỏi của bạn được gửi tới server của hãng, model chạy ở đó rồi trả kết quả về. Với AI local, toàn bộ quá trình này diễn ra trên máy bạn: bạn tải file model về một lần, sau đó hỏi bao nhiêu cũng được, mất mạng vẫn chạy.

Điểm yếu lớn nhất của AI local là bạn không chạy được những model khổng lồ như các dịch vụ trên web. Nhưng với nhiều việc thường ngày (hỏi đáp, tóm tắt tài liệu nội bộ, tạo ảnh minh họa), model cỡ vừa chạy trên một card 24GB đã đủ dùng, như các số đo bên dưới.

Tự chạy model thì dùng vào việc gì?#

Trong lúc đo cho loạt bài này, mình đã chạy thử những việc sau trên máy test, việc nào cũng chạy được:

• Hỏi đáp và viết bằng tiếng Việt. Model đời mới như gemma4:26b, qwen3.8:27b trả lời đúng và viết tự nhiên. Model cũ thì không chắc: llama3.1:8b trả lời sai ngay câu hỏi đầu tiên.

• Gọi từ code thay cho API trả phí. Ollama có API giống OpenAI ở đường dẫn /v1, code đang gọi OpenAI chỉ cần đổi địa chỉ server và tên model.

• Tạo ảnh minh họa, thumbnail. Trên RTX 3090 mất 7,5 đến 15 giây một ảnh 1024×1024, và model mới hiểu được prompt viết bằng tiếng Việt.

• Làm việc với dữ liệu không được gửi ra ngoài, như tài liệu nội bộ công ty, vì mọi thứ chạy trên máy.

Việc chưa nên giao cho AI local lúc này: viết chữ tiếng Việt có dấu lên ảnh. Chi tiết ở mục chọn model bên dưới.

Cần GPU bao nhiêu VRAM?#

Câu trả lời ngắn: một card NVIDIA càng nhiều VRAM càng tốt, cộng thêm ổ đĩa trống vài chục GB. Mình đo trên máy RTX 3090 24GB, chạy 5 model chat bằng Ollama và 4 model tạo ảnh bằng ComfyUI, rồi ghi lại VRAM thực tế:

Từ biểu đồ này có thể chia thành ba mức:

Hai lưu ý để đọc đúng bảng. Một là mình chỉ đo trên card 24GB, nên hai hàng đầu suy ra từ mức VRAM đo được, chưa chạy thật trên card 8GB hay 16GB. Hai là ComfyUI 0.39 bật sẵn DynamicVRAM, card còn trống bao nhiêu thì dùng bấy nhiêu, nên con số của model tạo ảnh là mức đỉnh chứ không phải mức tối thiểu.

Cần bao nhiêu ổ đĩa và thời gian tải?#

Ổ đĩa và đường truyền cũng cần chuẩn bị. Năm model chat chiếm 71GB, bốn model tạo ảnh kèm các file đi theo chiếm 69GB, chưa kể 6,9GB library Python của ComfyUI. Thời gian tải đo được trên máy test:

Tốc độ tải không đều: có lúc 57 MB/s, có lúc tụt dưới 2 MB/s, nhất là ở mấy phần trăm cuối. Nên tải sẵn model trước khi cần dùng, đừng đợi đến lúc gấp.

Thiếu VRAM thì sao?#

Không báo lỗi gì cả, chỉ chậm hẳn đi. Khi model cộng phần context (độ dài hội thoại model nhớ được) vượt VRAM, Ollama tự đẩy một phần sang CPU. Mình ép qwen3.8:27b dùng context 131.072 token, tốc độ tụt từ 63,8 xuống 19,9 token/giây, và lệnh ollama ps hiện 28%/72% CPU/GPU:

Nên khi thấy AI local chạy chậm bất thường, việc đầu tiên là xem nó có đang chạy một phần trên CPU không.

Không có GPU, chạy bằng CPU được không?#

Được, nhưng chậm. Cùng model qwen3.5:9b, cùng máy, mình chạy một lần trên GPU và một lần ép chạy trên CPU (Xeon 38 nhân):

8 token/giây nghĩa là chữ hiện ra từ từ như người gõ chậm. Đủ để thử cho biết, nhưng dùng hằng ngày thì sốt ruột. Máy tính văn phòng ít nhân hơn sẽ còn chậm hơn; mình chưa đo trên laptop nên không đưa con số. Với tạo ảnh, model hàng chục GB chạy CPU thì càng không nên kỳ vọng.

Dùng phần mềm nào để chạy model?#

Hai phần mềm mình đã cài và đo kỹ:

Ollama (giấy phép MIT) để chạy LLM. Cài bằng một dòng lệnh (31 giây trên máy test), tải model bằng ollama pull, chat bằng ollama run, và có sẵn API giống OpenAI để gọi từ code. Bài chi tiết: Ollama là gì? Chạy LLM trên máy bạn hoặc GPU thuê.

ComfyUI (giấy phép GPL-3.0) để tạo ảnh. Điều khiển bằng sơ đồ node, có sẵn workflow mẫu cho các model mới. Cài thủ công trên Ubuntu mới thì gặp vài lỗi thiếu package, bài chi tiết có đủ cách sửa: ComfyUI là gì? Tạo ảnh AI bằng workflow node.

Ngoài hai công cụ này còn LM Studio, llama.cpp, vLLM, Open WebUI, mỗi cái hợp một kiểu dùng khác nhau. AIDev sẽ đo và so sánh trong các bài riêng.

Bắt đầu trong 30 phút như thế nào?#

Đây là đúng thứ tự mình làm trên máy RTX 3090 mới tạo, chạy Ubuntu 24.04. Trên máy của bạn hay máy thuê đều giống nhau.

Bước 1, kiểm tra máy nhận GPU chưa. Lệnh này cho biết tên card, VRAM, driver và phiên bản CUDA:

nvidia-smi

Bước 2, cài Ollama và chạy thử một model chat. Cài mất 31 giây, tải qwen3.5:9b (6,6GB) mất 146 giây trên máy test:

curl -fsSL https://ollama.com/install.sh | sh
ollama pull qwen3.5:9b
ollama run qwen3.5:9b --think=false "Ollama là gì? Trả lời 3 câu ngắn bằng tiếng Việt."

Bước 3, kiểm tra model đang chạy trên GPU hay CPU. Cột PROCESSOR phải là 100% GPU:

ollama ps

Bước 4, nếu muốn tạo ảnh, cài ComfyUI. Hai package python3.12-venv và python3.12-dev là thứ README không nhắc nhưng Ubuntu tối giản bắt buộc phải có:

apt-get update && apt-get install -y python3.12-venv python3.12-dev
git clone https://github.com/Comfy-Org/ComfyUI.git && cd ComfyUI
python3 -m venv venv && source venv/bin/activate
pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu130
pip install -r requirements.txt
python main.py --listen 127.0.0.1 --port 8188

Phần cài ComfyUI mất khoảng 4 phút, chưa tính tải model. Sau đó mở giao diện, vào mục Templates, chọn một workflow mẫu và tải đủ model theo ghi chú trong workflow. Chi tiết từng bước có ở bài ComfyUI là gì.

Nên chạy model nào?#

Không phải cứ model nổi tiếng nhất là tốt nhất, nhất là với tiếng Việt. Một vài kết quả từ hai lần đo:

• Model chat: llama3.1:8b, model có lượt tải nhiều nhất trên Ollama, trả lời sai câu "Ollama là gì?" bằng tiếng Việt. Model đời mới trả lời đúng. Trên card 24GB, gemma4:26b vừa nhanh nhất (156,9 token/giây) vừa viết tiếng Việt tự nhiên. Card 8 đến 12GB thì qwen3.5:9b.

• Model tạo ảnh: Z-Image-Turbo nhanh nhất, 7,5 giây một ảnh 1024×1024. Krea-2 và Qwen-Image-2.1 hiểu prompt viết bằng tiếng Việt tốt nhất.

Có một giới hạn bạn nên biết trước: trong 9 lần thử, chưa model tạo ảnh nào viết đúng hoàn toàn chữ "PHỞ BÒ GIA TRUYỀN" lên biển hiệu. Hiểu tiếng Việt thì đã ổn, còn viết chữ có dấu lên ảnh thì chưa.

Nên mua card hay thuê GPU để chạy AI local?#

Với phần lớn người mới bắt đầu, thuê theo giờ rẻ hơn mua, và rẻ hơn khá xa. Lý do nằm ở số tiền phải bỏ ra ngay từ đầu.

Mua một bộ máy RTX 3090 tốn bao nhiêu?#

RTX 3090 đã ngừng sản xuất, gần như không còn hàng mới chính hãng ở Việt Nam, nên muốn mua thì chỉ còn card cũ. Mình lấy giá ở một cửa hàng máy tính có bảo hành (Tin học Anh Phát, ngày 08/10/2026): hầu hết các mẫu RTX 3090 cũ niêm yết 31,5 triệu, bảo hành 3 tháng. Mua card trôi nổi không bảo hành thì rẻ hơn, nhưng hỏng thì tự chịu.

Card chỉ là một phần. NVIDIA yêu cầu nguồn hệ thống tối thiểu 750W cho RTX 3090 (thông số chính thức), và một danh sách linh kiện build máy AI ở mức tối thiểu (CPU Ryzen 5, mainboard, 32GB RAM, SSD 1TB, nguồn 850W, vỏ) cộng lại 570 USD, tức khoảng 15 triệu đồng chưa tính card.

Tiền điện có đáng kể không?#

Riêng card RTX 3090 khi chạy LLM, mình đo được 270 đến 330W bằng nvidia-smi; lúc tạo ảnh có đỉnh 345W. Máy chạy nhiều giờ mỗi tháng sẽ đẩy hóa đơn lên bậc giá cao nhất, 3.460 đồng/kWh chưa VAT (biểu giá từ 10/5/2025). Cộng 10% VAT, riêng card tốn khoảng 1.250 đồng mỗi giờ chạy. Cả bộ máy còn có CPU, RAM, ổ, quạt nên thực tế cao hơn; phần đó mình chưa đo nên không ghi số.

Bao lâu thì mua mới hòa vốn so với thuê?#

Lấy 46,5 triệu tiền mua chia cho phần chênh giữa giá thuê và tiền điện tự chạy. Giá thuê dùng gói RTX 3090 Standard của AIDev Cloud, 15.000 đồng/giờ (cùng card RTX 3090 với gói Pro dùng trong bài, giá niêm yết ngày 08/10/2026). Kết quả: khoảng 3.380 giờ chạy thì tiền thuê mới bằng tiền mua.

Bảng này còn đang tính có lợi cho việc mua, vì chưa trừ những khoản sau:

• Card mất giá theo thời gian. RTX 3090 ra mắt từ 2020, càng để lâu càng khó bán lại.

• Bảo hành ngắn. Card cũ thường chỉ bảo hành 3 tháng; hỏng quạt, hỏng VRAM sau đó là tự chịu.

• Không đổi được cấu hình. Mua 3090 là gắn với 24GB. Thuê thì hôm nay học với P40 giá 7.000 đồng/giờ, mai cần 32GB thì sang V100, dự án lớn thì lấy máy 2×RTX 3090 48GB.

• Thời gian dựng máy, tiếng ồn, nhiệt trong phòng làm việc.

Tự mua chỉ thật sự hợp lý khi bạn chạy gần như cả ngày, nhiều năm liên tục, và có chỗ đặt máy. Còn lại, thuê theo giờ là lựa chọn đỡ tốn hơn.

Thuê GPU cần biết gì?#

Toàn bộ số đo trong bài chạy trên máy RTX 3090 của AIDev Cloud (24GB VRAM). Theo trang giá ngày 08/10/2026: tiền trừ theo giờ, giờ lẻ làm tròn lên một giờ; hủy máy là dừng tính tiền; khi hủy, dữ liệu trên máy bị xóa, nên sao lưu model, ảnh, code trước. Model tải lại mất vài phút đến hơn mười phút như bảng ở trên, nên dự án dài ngày thì cân nhắc giữ máy thay vì hủy rồi tạo lại. Cài theo hai bài Ollama và ComfyUI là có môi trường giống hệt bài đo.

Những lỗi hay gặp khi tự chạy model#

Gom lại từ hai lần cài trên máy Ubuntu 24.04 mới tạo, đây là những lỗi đáng nhớ nhất:

Hai lỗi khi cài ComfyUI trên Ubuntu mới, nguyên văn:

The virtual environment was not created successfully because ensurepip is not
available.  On Debian/Ubuntu systems, you need to install the python3-venv
package using the following command.

fatal error: Python.h: No such file or directory

Lỗi thứ hai khó nhận ra hơn: SDXL chạy bình thường, chỉ các model tạo ảnh đời mới mới gặp, vì chúng cần biên dịch kernel GPU ở lần chạy đầu.

Lỗi về mạng cần nói kỹ hơn: API của Ollama và ComfyUI mặc định không có mật khẩu. Nếu mở ra địa chỉ công khai (0.0.0.0), ai biết IP cũng dùng được GPU của bạn. Trên máy thuê, cách an toàn là mở SSH tunnel:

ssh -N -L 11434:127.0.0.1:11434 -L 8188:127.0.0.1:8188 root@IP_MAY_GPU

Sau lệnh này, Ollama ở http://127.0.0.1:11434 và ComfyUI ở http://127.0.0.1:8188 ngay trên máy của bạn.

Khi nào không nên tự chạy model?#

• Bạn cần model mạnh nhất cho việc khó, như viết code phức tạp hay phân tích dài. Các model lớn trên web thường vẫn mạnh hơn model vừa với một card 24GB.

• Bạn chỉ dùng AI vài lần một tuần. Thuê bao dịch vụ trên web hoặc thuê GPU theo giờ sẽ đỡ công cài đặt.

• Bạn cần phục vụ nhiều người dùng cùng lúc. Ollama hợp với một người hoặc nhóm nhỏ; phục vụ nhiều người cần công cụ khác như vLLM, AIDev sẽ có bài đo riêng.

Câu hỏi thường gặp#

Chạy AI local có cần Internet không?#

Chỉ cần lúc cài phần mềm và tải model. Sau đó Ollama và ComfyUI chạy hoàn toàn trên máy. Riêng Ollama có loại model gắn tag cloud, chạy trên server của Ollama; muốn tắt hẳn thì đặt biến môi trường OLLAMA_NO_CLOUD=1.

Laptop có chạy được không?#

Được nếu laptop có GPU rời đủ VRAM cho model bạn chọn, theo bảng ở mục phần cứng. Mình chưa đo trên laptop nên không đưa con số tốc độ; laptop không có GPU rời sẽ chạy bằng CPU, chậm như số đo ở trên.

AI local có an toàn cho dữ liệu công ty không?#

Dữ liệu không rời khỏi máy nếu bạn dùng model local và không mở API ra Internet. Hai việc cần làm: tránh model gắn tag cloud, và giữ Ollama, ComfyUI chỉ nghe ở 127.0.0.1.

Tải model ở đâu cho an toàn?#

Mình chỉ tải từ hai nơi: library chính thức của Ollama (lệnh ollama pull lấy từ ollama.com/library) và các repo đóng gói sẵn của Comfy-Org trên Hugging Face, đúng đường link mà workflow mẫu của ComfyUI ghi trong phần ghi chú. File model rất nặng và chạy thẳng trên máy bạn, nên tránh tải bản chia sẻ lại từ nguồn không rõ.

Nên chọn card nào?#

Card NVIDIA nhiều VRAM. Theo số đo của mình, 24GB chạy được tất cả model chat cỡ vừa và model tạo ảnh mới trong bài; với 8GB, theo mức VRAM đo được thì chỉ vừa LLM cỡ 9B. Bài so sánh RTX 3090, Tesla V100 và P40 đo thật sẽ có trong chuyên mục này.

Đọc tiếp#

Các bài đi sâu từ bài này, đều đo trên máy thật:

• Ollama là gì? Chạy LLM trên máy bạn hoặc GPU thuê: cài đặt, chọn model, VRAM, 6 lỗi thường gặp.

• ComfyUI là gì? Tạo ảnh AI bằng workflow node: cài đặt, 4 model tạo ảnh, chữ tiếng Việt trên ảnh, 4 lỗi khi cài.

• GPU là gì? Vì sao AI cần GPU: cùng một phép tính, cùng một chatbot chạy trên CPU, Tesla P40, RTX 3090 và Mac M4 Pro.

Muốn đi xa hơn chạy model có sẵn, tự xây ứng dụng AI bằng Python, RAG và agent, xem lộ trình AI Engineer từ số 0 của AIDev.

Mọi số đo trong bài chạy thật trên máy RTX 3090 của AIDev Cloud ngày 08/10/2026 (Ollama 0.40.0, ComfyUI 0.39.0, PyTorch 2.14.1+cu130, driver NVIDIA 610.43, Ubuntu 24.04). Giá thuê và giá điện ghi theo ngày viết bài.