Hướng dẫn cài đặt Ollama trên Windows và Mac chi tiết từng bước

Để cài Ollama trên Windows hoặc Mac, bạn tải bộ cài tại trang ollama.com/download, chạy file cài đặt rồi mở Terminal gõ lệnh ollama run gemma4:e2b để tải và chat với model đầu tiên. Theo tài liệu chính thức của Ollama, máy Windows cần Windows 10 bản 22H2 trở lên, máy Mac cần macOS Sonoma (14) trở lên; card NVIDIA cần driver 551.61 trở lên để Ollama dùng GPU.

Bài này hướng dẫn chi tiết từng bước cài Ollama trên Windows và macOS, cách tải model, các lệnh hay dùng, cách đổi thư mục lưu model, chia sẻ Ollama trong mạng LAN, gọi API và xử lý lỗi thường gặp. Tất cả câu lệnh và thông số trong bài lấy theo tài liệu chính thức tại docs.ollama.com.

Ảnh chụp thực tế bộ PC Core i5-14400F, RTX 5060 Ti 16GB tại Nguyễn Công PC

Ollama là gì?

Ollama là phần mềm miễn phí giúp tải và chạy các mô hình ngôn ngữ lớn (LLM) như Gemma, gpt-oss ngay trên máy tính của bạn, không cần gửi dữ liệu lên máy chủ bên ngoài khi dùng model local. Ollama có ứng dụng trên Windows và Mac, dùng được qua giao diện chat, qua dòng lệnh trong Terminal và qua API tại địa chỉ http://localhost:11434.

Nếu bạn muốn tìm hiểu thêm về lợi ích khi chạy AI offline, bài Ollama: giải pháp AI offline có phân tích riêng; còn nếu đang phân vân giữa hai phần mềm, xem bài so sánh Ollama và LM Studio.

Hình minh họa Ollama trên Windows (ảnh từ blog chính thức của Ollama)

Máy tính cần cấu hình gì để cài Ollama?

Tài liệu của Ollama đưa ra yêu cầu tối thiểu cho từng hệ điều hành như sau:

Nguồn: Ollama, tài liệu Windows và macOS tại docs.ollama.com.

Phần mềm Ollama khá nhẹ, nhưng tốc độ chạy model phụ thuộc chủ yếu vào card đồ họa và dung lượng VRAM. Model tải về càng lớn thì càng cần nhiều VRAM và RAM; cách tính chi tiết có trong bài VRAM bao nhiêu để chạy AI, còn gợi ý cấu hình theo nhu cầu có trong bài PC chạy Ollama cần cấu hình gì.

Hướng dẫn cài Ollama trên Windows

Bước 1: Tải bộ cài OllamaSetup.exe

Mở trình duyệt, vào trang ollama.com/download, chọn Windows và tải file OllamaSetup.exe. Nên tải từ trang chính thức của Ollama để tránh bộ cài bị chỉnh sửa. Trước khi cài, nếu máy dùng card NVIDIA, bạn nên cập nhật driver lên bản 551.61 trở lên theo yêu cầu của Ollama.

Bước 2: Chạy file cài đặt

Nháy đúp vào OllamaSetup.exe và làm theo hướng dẫn. Theo tài liệu Ollama, bộ cài mặc định cài vào thư mục người dùng nên không cần quyền Administrator. Nếu muốn cài sang ổ khác, ví dụ ổ D, bạn mở Command Prompt tại thư mục chứa file cài và chạy lệnh:

Bước 3: Mở Ollama và kiểm tra

Sau khi cài, Ollama chạy nền và có biểu tượng ở khay hệ thống. Bạn có thể mở ứng dụng Ollama để chat bằng giao diện, hoặc mở Command Prompt, PowerShell rồi gõ ollama ls để kiểm tra lệnh đã nhận. Nếu Windows báo không tìm thấy lệnh, hãy đóng và mở lại cửa sổ Terminal.

Sau khi cài, Windows hiện thông báo "Ollama is running" và biểu tượng Ollama ở khay hệ thống (ảnh từ blog chính thức của Ollama)

Ứng dụng Ollama trên Windows và macOS có khung chat riêng: bạn chọn model ngay ở góc ô nhập rồi gõ câu hỏi. Theo blog của Ollama, ứng dụng còn hỗ trợ kéo thả file văn bản, PDF vào khung chat và gửi hình ảnh cho các model hỗ trợ đầu vào hình ảnh.

Giao diện chat của ứng dụng Ollama trên macOS, ô chọn model nằm ở góc khung nhập (ảnh từ blog chính thức của Ollama)

Hướng dẫn cài Ollama trên macOS

Bước 1: Tải file ollama.dmg

Vào trang ollama.com/download, chọn macOS và tải file ollama.dmg. Máy cần chạy macOS Sonoma (14) trở lên; máy Mac chip Apple M series được dùng cả GPU, còn máy chip Intel chỉ chạy bằng CPU theo tài liệu Ollama.

Bước 2: Kéo Ollama vào thư mục Applications

Mở file ollama.dmg, kéo biểu tượng Ollama vào thư mục Applications. Lần đầu mở, Ollama kiểm tra lệnh ollama đã có trong PATH chưa; nếu chưa, ứng dụng sẽ hỏi quyền tạo liên kết tại /usr/local/bin. Bạn đồng ý để dùng được lệnh ollama trong Terminal.

Bước 3: Kiểm tra trong Terminal

Mở ứng dụng Terminal và gõ ollama ls. Nếu lệnh chạy và trả về danh sách (có thể đang trống), Ollama đã cài thành công. Model và cấu hình trên Mac được lưu tại thư mục ~/.ollama.

Ollama trên Windows và Mac khác nhau thế nào?

Cách dùng Ollama trên hai hệ điều hành gần như giống nhau, cùng câu lệnh và cùng API tại cổng 11434. Khác biệt chính nằm ở phần cứng được hỗ trợ và cách đặt biến môi trường:

Nguồn: Ollama, tài liệu Windows, macOS và FAQ tại docs.ollama.com.

Nếu bạn dùng PC Windows có card NVIDIA RTX, Ollama tận dụng được VRAM của card để chạy model nhanh; nếu dùng Mac, nên chọn máy chip Apple M series vì máy Mac chip Intel chỉ chạy được bằng CPU.

Tải và chạy model đầu tiên

Tài liệu khởi đầu nhanh của Ollama dùng model Gemma 4 E2B làm ví dụ. Bạn mở Terminal và chạy lệnh dưới đây; Ollama sẽ tự tải model rồi mở khung chat ngay trong Terminal:

Gõ câu hỏi rồi nhấn Enter để chat, gõ /bye để thoát. Nếu chỉ muốn tải model trước mà chưa chat, dùng lệnh ollama pull gemma4:e2b.

Minh họa các lệnh tải và chạy model theo tài liệu Ollama

Gemma 4 là họ model mở của Google DeepMind, nhận đầu vào chữ và hình ảnh. Dung lượng tải về của từng bản trên thư viện Ollama như sau:

Nguồn: thư viện model Ollama, trang Gemma 4.

Nên chọn bản Gemma 4 nào theo cấu hình máy?

Để model chạy hoàn toàn trên card đồ họa (hiển thị 100% GPU trong lệnh ollama ps), VRAM cần chứa được cả model lẫn phần bộ nhớ cho context. NVIDIA lấy ví dụ một model 4-bit nặng khoảng 13,5GB cần thêm khoảng 1 đến 5GB phần dư, tức khoảng 19GB VRAM để chạy hết trên GPU. Áp dụng cách tính này với dung lượng tải của từng bản Gemma 4, bạn có thể tham khảo bảng dưới đây:

Nguồn: dung lượng tải theo thư viện model Ollama; mức phần dư theo NVIDIA; cột card là gợi ý của Nguyễn Công PC, không phải số đo.

Sau khi chạy model, hãy kiểm tra lại bằng ollama ps: nếu cột PROCESSOR có phần CPU, model chưa nạp hết vào VRAM, nên chuyển xuống bản nhỏ hơn hoặc giảm context. Máy không có card rời vẫn chạy được bản e2b bằng CPU, chỉ chậm hơn.

Các lệnh Ollama hay dùng

Ngoài lệnh run và pull, bảng dưới đây là các lệnh được ghi trong tài liệu CLI của Ollama:

Nguồn: Ollama, tài liệu CLI Reference.

Minh họa các lệnh quản lý model theo tài liệu Ollama

Cấu hình Ollama sau khi cài

Đổi thư mục lưu model sang ổ khác

Model mặc định lưu tại C:\Users\%username%\.ollama\models trên Windows và ~/.ollama/models trên Mac. Model có thể nặng hàng chục GB, nên nếu ổ C nhỏ, bạn đổi thư mục bằng biến môi trường OLLAMA_MODELS. Trên Windows, tài liệu Ollama hướng dẫn:

1. Thoát Ollama bằng cách bấm vào biểu tượng ở thanh tác vụ và chọn Quit.
2. Mở Settings (Windows 11) hoặc Control Panel (Windows 10), tìm "environment variables".
3. Chọn Edit environment variables for your account.
4. Tạo biến mới tên OLLAMA_MODELS, giá trị là thư mục mới, ví dụ D:\OllamaModels.
5. Bấm OK hoặc Apply để lưu, sau đó mở lại Ollama từ menu Start.

Trên Mac, khi chạy Ollama dạng ứng dụng, tài liệu hướng dẫn đặt biến bằng lệnh launchctl setenv rồi khởi động lại ứng dụng Ollama.

Chia sẻ Ollama cho máy khác trong mạng LAN

Mặc định Ollama chỉ nhận kết nối từ chính máy đó tại 127.0.0.1:11434. Muốn máy khác trong mạng LAN dùng chung, bạn đổi biến OLLAMA_HOST. Ví dụ trên Mac theo tài liệu Ollama:

Trên Windows, bạn tạo biến OLLAMA_HOST với giá trị 0.0.0.0:11434 theo các bước như phần đổi thư mục model. Chỉ nên mở Ollama ra mạng nội bộ tin cậy, không mở ra Internet khi chưa có lớp bảo vệ.

Context và thời gian giữ model

Theo tài liệu Ollama, context mặc định là 4096 token; bạn tăng bằng biến OLLAMA_CONTEXT_LENGTH khi cần đọc tài liệu dài, nhưng context lớn hơn sẽ dùng thêm bộ nhớ. Sau mỗi lần dùng, model được giữ trong bộ nhớ 5 phút rồi mới giải phóng; thời gian này chỉnh được bằng biến OLLAMA_KEEP_ALIVE.

Nếu dùng ứng dụng Ollama, bạn có thể chỉnh độ dài context ngay trong phần Settings, với các mức từ 4K đến 128K token như ảnh dưới đây; theo Ollama, context càng dài thì càng cần nhiều bộ nhớ.

Thanh chỉnh Context length trong Settings của ứng dụng Ollama (ảnh từ blog chính thức của Ollama)

Cách kiểm tra Ollama có dùng card đồ họa không

Khi đang chạy model, mở một cửa sổ Terminal khác và gõ ollama ps. Theo tài liệu Ollama, cột PROCESSOR cho biết model được nạp vào bộ nhớ nào: 100% GPU nghĩa là model nằm hoàn toàn trong VRAM của card. Nếu thấy có phần CPU, model đang lớn hơn VRAM và chạy chậm hơn; bạn có thể chọn bản model nhỏ hơn hoặc dùng card nhiều VRAM hơn.

Gọi API Ollama cho lập trình

Ollama chạy API tại http://localhost:11434, giúp các ứng dụng, công cụ lập trình gửi câu hỏi tới model trên máy. Ví dụ lệnh gửi câu hỏi qua endpoint /api/chat theo tài liệu khởi đầu nhanh:

Câu trả lời nằm trong trường message.content của kết quả trả về. Trên Windows PowerShell, cách viết dấu nháy có thể khác, nên nếu lệnh báo lỗi, bạn có thể chạy trong Git Bash hoặc WSL.

Minh họa lệnh gọi API Ollama theo tài liệu khởi đầu nhanh

Cập nhật và gỡ cài đặt Ollama

Theo tài liệu Ollama, bản Windows và Mac tự động tải bản cập nhật, bạn chỉ cần khởi động lại ứng dụng khi được nhắc. Để gỡ trên Windows, vào Settings, chọn Add or remove programs và gỡ Ollama; lưu ý nếu bạn đã đổi thư mục model bằng OLLAMA_MODELS, trình gỡ cài đặt sẽ không xóa các model đó. Trên Mac, bạn xóa ứng dụng trong Applications, liên kết /usr/local/bin/ollama và thư mục ~/.ollama theo hướng dẫn gỡ cài đặt của Ollama.

Lỗi thường gặp khi cài và dùng Ollama

• Gõ lệnh ollama báo không tìm thấy: đóng cửa sổ Terminal và mở lại sau khi cài; trên Mac, kiểm tra đã đồng ý tạo liên kết tại /usr/local/bin khi mở Ollama lần đầu.
• Đổi biến môi trường nhưng không có tác dụng: Ollama chỉ đọc biến mới sau khi thoát hẳn và mở lại ứng dụng, hoặc mở Terminal mới.
• Model trả lời rất chậm: chạy ollama ps; nếu cột PROCESSOR có CPU, model lớn hơn VRAM, hãy chọn bản nhỏ hơn như gemma4:e2b.
• Ổ C bị đầy sau khi tải model: xóa model không dùng bằng ollama rm và chuyển thư mục lưu model sang ổ khác bằng OLLAMA_MODELS.
• Máy khác trong mạng không kết nối được: kiểm tra đã đặt OLLAMA_HOST là 0.0.0.0:11434 và tường lửa cho phép cổng 11434.

Gợi ý PC chạy Ollama tại Nguyễn Công PC

Nếu bạn cần máy chạy Ollama ổn định với model lớn, các bộ PC dưới đây trong danh mục PC AI có card từ 16GB đến 96GB VRAM:

[Products:30366,26863,28102]

Ảnh chụp thực tế bộ PC AI Ryzen 9 9950X, RTX PRO 6000 Blackwell 96GB tại Nguyễn Công PC

Câu hỏi thường gặp về cài đặt Ollama

Ollama có miễn phí không?

Có. Ollama tải và cài miễn phí trên Windows, macOS và Linux; các model trong thư viện Ollama cũng tải miễn phí để chạy trên máy.

Cài Ollama cần bao nhiêu dung lượng ổ cứng?

Theo tài liệu Ollama, phần mềm trên Windows cần ít nhất 4GB, còn mỗi model nặng từ vài GB đến hàng trăm GB. Ví dụ gemma4:e2b tải về khoảng 4,6GB đến 7,5GB.

Máy không có card đồ họa rời có chạy được Ollama không?

Có, Ollama vẫn chạy bằng CPU nhưng chậm hơn. Máy Mac chip Intel chỉ chạy CPU, còn máy Mac chip Apple M series dùng được GPU theo tài liệu Ollama.

Làm sao biết Ollama đang dùng GPU?

Chạy lệnh ollama ps khi đang dùng model; cột PROCESSOR hiển thị 100% GPU nghĩa là model nằm hoàn toàn trong VRAM của card.

Ollama khác LM Studio như thế nào?

Cả hai đều chạy model ngay trên máy và có API; Ollama thường được dùng qua dòng lệnh, còn LM Studio thao tác chủ yếu qua giao diện. Cách cài LM Studio có trong bài hướng dẫn cài đặt LM Studio.

Kết luận

Cài Ollama chỉ mất vài phút: tải bộ cài tại ollama.com/download, chạy file cài, rồi gõ ollama run gemma4:e2b để chat với model đầu tiên. Sau đó bạn có thể đổi thư mục lưu model, chia sẻ trong mạng LAN hoặc gọi API cho các ứng dụng khác. Nếu cần tư vấn cấu hình chạy Ollama mượt với model lớn, bạn có thể ghé showroom Nguyễn Công PC.