AI Local
Chuyên mục này dành cho người muốn tự chạy model trên máy của mình hoặc trên máy GPU thuê, thay vì gửi dữ liệu lên dịch vụ bên ngoài: chạy LLM như Qwen, Gemma, gpt-oss bằng Ollama, tạo ảnh bằng ComfyUI với SDXL, Qwen-Image, Z-Image.
Mỗi bài đều cài và chạy thật trên GPU, ghi rõ ngày đo, phiên bản phần mềm và lỗi gặp phải. Bạn sẽ biết model nào cần bao nhiêu VRAM, chạy nhanh đến đâu, card nào đủ dùng, và khi nào nên mua card, khi nào thuê GPU theo giờ thì rẻ hơn.
Mới bắt đầu thì đọc bài tổng quan AI Local: chạy LLM và AI tạo ảnh trên máy bạn trước, rồi đến hướng dẫn từng công cụ: Ollama cho model chat và ComfyUI cho tạo ảnh.
Máy chưa đủ mạnh thì thuê máy GPU của AIDev Cloud theo giờ, toàn bộ số đo trong chuyên mục đều chạy trên các máy này.
Bài viết trụ cột
AI local có đáng tự làm không? Mình đo 9 model chat và tạo ảnh trên RTX 3090 để trả lời ba câu hỏi: cần GPU bao nhiêu VRAM, chạy bằng CPU chậm đến đâu, và nên tự mua máy hay thuê GPU theo giờ, kèm phép tính chi phí điện và tiền máy.
Danh sách bài viết
GPU là gì và vì sao AI cần nó? Cùng một phép nhân ma trận, cùng một chatbot AI chạy trên CPU Xeon, Tesla P40, RTX 3090 và Apple M4 Pro cho thấy GPU nhanh hơn CPU từ khoảng 6 đến hơn 30 lần, kèm cách xem máy bạn có GPU gì và cần bao nhiêu VRAM.
Stable Diffusion WebUI (Automatic1111, 165 nghìn sao GitHub) và bản fork Forge từng là cách tạo ảnh AI trên máy được nhiều người dùng, nhưng tới 10/2026 cả hai gần như không còn cập nhật. Bài này cài cả hai trên Ubuntu 24.04 với RTX 3090, ghi lại từng lỗi cài đặt, đo tốc độ SD 1.5 và SDXL, và so với ComfyUI.
Cài Ollama trên Linux, Windows và Docker, làm thật trên hai máy thuê ngày 10/10/2026: lệnh nào, mất bao lâu, chạy nhanh đến đâu, vì sao container mới nạp model mất gần một phút và cách sửa, cổng 11434 mở ra ngoài khi nào. macOS ghi theo tài liệu chính thức.
ComfyUI là gì khi dùng thật? Mình cài ComfyUI 0.39 trên RTX 3090 và đo 4 model tạo ảnh: mất bao lâu một ảnh, tốn bao nhiêu VRAM, hiểu prompt tiếng Việt đến đâu, viết chữ có dấu lên ảnh được không, kèm 4 lỗi khi cài và cách sửa.
Ollama là gì khi chạy thật trên GPU? Số đo của 5 model trên RTX 3090: tốc độ sinh chữ, VRAM cần, chuyện gì xảy ra khi thiếu VRAM, cách gọi API giống OpenAI và 6 lỗi mình gặp khi cài trên Ubuntu, kèm lệnh và output thật.
