Hướng dẫn cài đặt Unsloth trên Windows từng bước chi tiết

Bạn cài Unsloth trực tiếp trên Windows 10 hoặc 11 (64-bit) mà không cần WSL, miễn là máy có card đồ họa NVIDIA đã cài driver. Cách nhanh gọn là mở PowerShell, chạy lệnh irm https://unsloth.ai/install.ps1 | iex, gõ unsloth studio rồi mở http://127.0.0.1:8888 trong trình duyệt để đặt mật khẩu lần đầu. Theo trang hướng dẫn cài Unsloth trên Windows, Studio cần thêm Git, App Installer (có winget) và Python từ 3.11 đến dưới 3.14.

Bài này hướng dẫn ba cách cài (Desktop, Studio và Core qua Conda), cấu hình cùng lượng VRAM cần có để fine-tune, lần huấn luyện đầu tiên, cách xuất model sang GGUF, khi nào dùng Docker hoặc WSL, cách cập nhật, gỡ cài đặt và các lỗi thường gặp. Lệnh và yêu cầu lấy theo tài liệu chính thức của Unsloth tại thời điểm viết bài; phần mềm này cập nhật nhanh nên bạn nên đối chiếu lại trang tài liệu trước khi chạy lệnh. Nguyễn Công PC tổng hợp bài từ tài liệu của hãng, không phải số đo trên máy của shop. Phạm vi bài là Unsloth Desktop, Studio và Core trên Windows 10 và 11 (64-bit) với card NVIDIA; ví dụ PyTorch dùng Python 3.12 và bản CUDA 13.0 (cu130). Bài không ghi số phiên bản Unsloth cụ thể vì các lệnh cài lấy bản hiện hành.

Bộ PC Core Ultra 9 285K, RTX 5060 Ti 16GB tại Nguyễn Công PC

Unsloth là gì, khác Ollama và LM Studio ở điểm nào?

Unsloth là bộ công cụ để fine-tune (tinh chỉnh) và chạy mô hình ngôn ngữ lớn (LLM) ngay trên máy tính của bạn. Ollama và LM Studio chủ yếu dùng để chạy model có sẵn, còn Unsloth thêm phần huấn luyện: bạn chọn model, nạp dữ liệu của mình rồi tinh chỉnh model cho đúng công việc cần làm.

Theo trang giới thiệu Unsloth Studio, Studio là giao diện web chạy cục bộ, cho bạn chat với model offline, huấn luyện model văn bản, hình ảnh, âm thanh hoặc embedding mà không cần viết code, dựng dữ liệu bằng Data Recipes và xuất model ra GGUF, safetensors hoặc LoRA. Về phương pháp, hướng dẫn fine-tune của Unsloth giải thích LoRA chỉ huấn luyện các ma trận phụ chiếm khoảng 1% trọng số, QLoRA là LoRA trên model nén 4-bit nên giảm khoảng 75% bộ nhớ, còn full fine-tuning cập nhật toàn bộ trọng số và tốn tài nguyên hơn nhiều.

Nên chọn cách cài Unsloth nào trên Windows?

Nếu bạn chỉ muốn thử, hãy chọn Desktop hoặc Studio; nếu bạn viết script huấn luyện bằng Python, hãy chọn Core. Bảng chọn cách cài Unsloth tóm tắt Desktop, Studio, Core và Docker hoặc WSL theo tài liệu của Unsloth.

Máy tính cần cấu hình gì để cài Unsloth trên Windows?

Yêu cầu chính là Windows 10 hoặc 11 64-bit và card NVIDIA đã cài driver. Bảng yêu cầu cấu hình cài Unsloth lấy theo trang yêu cầu hệ thống của Unsloth và trang cài đặt Studio.

Dung lượng ổ cứng phụ thuộc số model và bản lưu bạn giữ lại. Nếu bạn chưa biết nên chọn bao nhiêu, bạn có thể xem các mẫu ổ cứng SSD đang bán tại Nguyễn Công PC rồi chọn dung lượng theo số model muốn lưu.

Cần bao nhiêu VRAM để fine-tune bằng Unsloth?

Theo trang yêu cầu hệ thống của Unsloth, QLoRA 4-bit cần tối thiểu từ 3,5GB VRAM cho model 3B đến 41GB cho model 70B, còn LoRA 16-bit cần từ 8GB (3B) đến 164GB (70B). Đây là mức tối thiểu của từng cỡ model; Unsloth lưu ý một số model cần nhiều hơn và khuyên giảm batch size xuống 1 đến 3 nếu bị tràn bộ nhớ.

Bộ PC AI card 96GB VRAM tại Nguyễn Công PC

Từ bảng VRAM tối thiểu theo cỡ model của Unsloth, Nguyễn Công PC suy ra mức fine-tune tối thiểu cho từng cỡ VRAM thường gặp. Các mốc này chưa tính ngữ cảnh dài hay batch lớn, nên bạn nên chừa dư VRAM so với con số trong bảng.

Chuẩn bị trước khi cài Unsloth

Bạn nên kiểm tra năm việc sau trước khi chạy lệnh cài, vì phần lớn lỗi cài đặt đến từ driver, Python hoặc Git thiếu.

1. Cập nhật driver NVIDIA mới, rồi mở PowerShell gõ nvidia-smi; nếu lệnh báo lỗi, bạn cài lại driver trước khi làm tiếp (theo Unsloth). Ghi lại phiên bản CUDA hiển thị ở góc trên bên phải.
2. Gõ winget --version để chắc App Installer đã có.
3. Gõ git --version để chắc Git đã cài.
4. Gõ python --version để chắc Python nằm trong khoảng 3.11 đến dưới 3.14 (nếu dùng Conda thì bạn tạo môi trường riêng ở cách 3).
5. Tạo tài khoản Hugging Face và token nếu bạn muốn tải model có hạn chế truy cập như Llama hoặc Gemma; theo Unsloth, model dạng này cần token.

Cách 1: Cài Unsloth Desktop trên Windows

Unsloth Desktop là ứng dụng cài như phần mềm thông thường, hợp để chat thử model trước khi fine-tune. Các bước dưới đây theo trang hướng dẫn cài Unsloth trên Windows.

1. Tải file cài đặt Windows (.exe) từ trang tải của Unsloth, hoặc cài bằng winget với lệnh bên dưới.
2. Chạy file cài đặt, làm theo hướng dẫn rồi mở ứng dụng.
3. Mở mục Select model hoặc Model hub, chọn model và mức lượng tử hóa (quantization) vừa với bộ nhớ của bạn, rồi bấm tải.
4. Gõ một tin nhắn và nhấn Enter để chat.

winget install --id UnslothAI.Unsloth -e

Tài liệu mô tả lệnh winget này là bản Desktop ở trang Studio nhưng xếp cùng mục Studio ở trang hướng dẫn Windows, nên sau khi cài bạn mở ứng dụng vừa xuất hiện để xem giao diện thực tế. Cập nhật sau này dùng winget upgrade --id UnslothAI.Unsloth -e.

Cách 2: Cài Unsloth Studio bằng PowerShell

Studio là cách bạn nên chọn nếu muốn fine-tune mà không viết code. Đây là các bước theo tài liệu Unsloth cho Windows.

Bước 1: Kiểm tra card đồ họa

Mở PowerShell và chạy lệnh dưới. Nếu bảng hiện tên card NVIDIA và phiên bản driver thì bạn sang bước 2.

nvidia-smi

Bước 2: Chạy script cài đặt

Lệnh dưới tải script từ unsloth.ai rồi chạy ngay, nên nếu muốn kiểm tra trước bạn mở địa chỉ script trong trình duyệt để đọc rồi mới chạy. Chạy lại cùng lệnh này khi cần cập nhật.

irm https://unsloth.ai/install.ps1 | iex

Bước 3: Khởi động Studio

Cuối quá trình cài, script có hỏi bạn khởi động ngay; bạn cũng có thể tự chạy lệnh dưới. Tham số -p đổi cổng, ví dụ cổng 8888.

unsloth studio
unsloth studio -p 8888

Bước 4: Mở trình duyệt và đặt mật khẩu

Mở http://127.0.0.1:8888. Lần đầu bạn tạo mật khẩu cho Studio; đây là mật khẩu của giao diện web trên máy bạn, không phải tài khoản Unsloth.

Bước 5: Chat thử với model nhỏ

Ở trang chat, chọn một model, tải bản lượng tử hóa vừa với bộ nhớ rồi nhắn thử. Bạn nên bắt đầu bằng model nhỏ để chắc GPU hoạt động trước khi sang huấn luyện. Model GGUF chỉ để chạy (inference), không huấn luyện được.

Fine-tune thử mô hình đầu tiên trong Studio

Bạn fine-tune trong Studio bằng cách chọn model, dữ liệu và phương pháp rồi bấm bắt đầu. Quy trình dưới đây theo trang giới thiệu Studio và hướng dẫn fine-tune của Unsloth.

1. Chọn loại dữ liệu cần huấn luyện (văn bản, hình ảnh, âm thanh hoặc embedding) và một model nhỏ dạng instruct, ví dụ Llama 3.1 8B như hướng dẫn của Unsloth gợi ý cho người mới.
2. Chọn phương pháp: QLoRA tốn ít VRAM hơn hai cách còn lại, LoRA tốn nhiều hơn, full fine-tuning tốn nhiều VRAM hơn cả. Unsloth khuyên bắt đầu bằng LoRA hoặc QLoRA.
3. Chọn dữ liệu: tập dữ liệu trên Hugging Face hoặc file của bạn (PDF, DOCX, JSONL, CSV, Parquet), rồi chọn định dạng (auto, alpaca, chatml hoặc sharegpt) và ghép cột nếu cần.
4. Giữ nguyên các thông số mặc định Studio điền sẵn cho từng model ở lần chạy đầu.
5. Bấm Start Training và theo dõi biểu đồ loss, learning rate và mức dùng GPU. Nút này chỉ bật khi bạn đã chọn đủ model và dữ liệu.
6. Chat thử với model sau khi huấn luyện, hoặc đặt một phần dữ liệu (khoảng 20% theo hướng dẫn của Unsloth) làm tập kiểm tra.

Nếu bạn viết code bằng Core, hướng dẫn fine-tune của Unsloth nêu các giá trị mặc định cho lần chạy thử như sau.

Theo hướng dẫn đó, loss từ khoảng 0,5 đến 1,0 là dấu hiệu tốt tùy dữ liệu, còn loss rơi về 0 có thể là quá khớp (overfitting).

Xuất model đã fine-tune sang GGUF để dùng với Ollama hoặc LM Studio

Studio xuất model đã huấn luyện ra GGUF, safetensors hoặc LoRA để dùng trong llama.cpp, Ollama, vLLM và các công cụ khác. GGUF là định dạng dùng được với llama.cpp và Ollama; sau khi xuất bạn có thể nạp model vào Ollama theo bài hướng dẫn cài đặt Ollama hoặc vào LM Studio theo bài hướng dẫn cài đặt LM Studio. Người dùng trên trang thảo luận hỗ trợ Windows của Unsloth từng báo lỗi xuất GGUF và có model xuất ra không nạp được vào Ollama, nên bạn hãy thử chạy model sau khi xuất trước khi dùng thật.

Cách 3: Cài Unsloth Core bằng Conda

Cách này dành cho người viết code huấn luyện bằng Python. Bạn tạo môi trường riêng bằng Conda để tránh xung đột thư viện, theo các bước của Unsloth.

Bước 1: Cài Miniconda

Chạy ba lệnh dưới trong PowerShell, rồi mở Anaconda Powershell Prompt từ menu Start.

Invoke-WebRequest -Uri "https://repo.anaconda.com/miniconda/Miniconda3-latest-Windows-x86_64.exe" -OutFile ".\miniconda.exe"
Start-Process -FilePath ".\miniconda.exe" -ArgumentList "/S" -Wait
del .\miniconda.exe

Bước 2: Tạo môi trường Python 3.12

conda create --name unsloth_env python==3.12 -y
conda activate unsloth_env

Bước 3: Cài PyTorch khớp với CUDA

Chạy nvidia-smi, xem phiên bản CUDA ở góc trên bên phải rồi thay số 130 trong lệnh dưới bằng phiên bản của bạn (ví dụ 130 là CUDA 13.0); bạn nên kiểm tra phiên bản đó có trên trang pytorch.org trước khi chạy.

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu130

Sau đó bạn kiểm tra PyTorch có dùng được GPU không. Kết quả đúng là True và một ma trận toàn số 10; nếu không, theo Unsloth, nhiều khả năng driver CUDA trên Windows cần cài lại.

import torch
print(torch.cuda.is_available())
A = torch.ones((10, 10), device = "cuda")
B = torch.ones((10, 10), device = "cuda")
A @ B

Bước 4: Cài Unsloth

Chỉ cài sau khi PyTorch đã chạy được trên GPU, và chạy lệnh ngoài trình Python (gõ exit() trước).

pip install unsloth

Bước 5: Chạy thử một script huấn luyện

Bạn lưu một script mẫu từ bộ notebook của Unsloth thành file .py rồi chạy. Script mẫu trong tài liệu fine-tune model unsloth/gemma-3-270m-it bằng LoRA trong 60 bước, là lượt thử nhẹ để kiểm tra môi trường.

Khi nào nên dùng Docker hoặc WSL?

Bạn dùng Docker hoặc WSL khi cần vLLM hoặc huấn luyện bằng GRPO, vì theo Unsloth, vLLM không hỗ trợ Windows trực tiếp. Tài liệu Unsloth chỉ nêu một image Docker là unsloth/unsloth, dùng được cho cả card Blackwell và RTX 50 series.

docker run -d -e JUPYTER_PASSWORD="mypassword" -p 8888:8888 -p 2222:22 -v $(pwd)/work:/workspace/work --gpus all unsloth/unsloth

Ký hiệu $(pwd) là cú pháp Linux; trên PowerShell bạn thay bằng đường dẫn thư mục thật. Sau khi chạy, bạn mở Jupyter Lab tại http://localhost:8888. Nếu Docker không nhận GPU, tài liệu khuyên chuyển sang WSL. Cài WSL bằng các lệnh dưới, rồi cài Python, PyTorch và Unsloth trong Ubuntu như hướng dẫn Linux của Unsloth.

wsl.exe --install Ubuntu-24.04
wsl.exe -d Ubuntu-24.04

Dùng Unsloth Studio an toàn khi chia sẻ ra ngoài

Các công cụ phía máy chủ của Studio như tìm kiếm web, chạy Python và terminal được bật mặc định, nên bạn cần cẩn thận khi cho người khác truy cập. Theo trang cài đặt Studio, bạn dùng unsloth studio --secure để mở đường hầm HTTPS qua Cloudflare, còn tham số -H 0.0.0.0 mở cổng ra tất cả giao diện mạng nên chỉ dùng trong mạng tin cậy. Khi cho người khác dùng, Unsloth khuyên thêm --disable-tools để tắt công cụ chạy lệnh.

Cập nhật và gỡ cài đặt Unsloth

Bạn cập nhật Studio bằng cách chạy lại đúng lệnh cài Studio (irm https://unsloth.ai/install.ps1 | iex), hoặc dùng winget upgrade nếu cài bằng winget. Theo trang cài đặt Studio của Unsloth, khi gỡ bạn có hai mức, và nên nhớ xóa thư mục .unsloth sẽ mất toàn bộ lịch sử chat, checkpoint và bản xuất.

Lỗi thường gặp khi cài Unsloth trên Windows

Bảng lỗi thường gặp gom các lỗi trong tài liệu Unsloth và trong các báo cáo của người dùng ở trang thảo luận hỗ trợ Windows; cột cuối nêu nguồn của từng cách xử lý.

Máy nào hợp để chạy Unsloth? Gợi ý tại Nguyễn Công PC

Giới hạn chính khi fine-tune là VRAM, nên bạn chọn máy theo cỡ model muốn huấn luyện, dựa trên bảng VRAM tối thiểu của Unsloth. Card trong danh mục NVIDIA RTX 5000 cho bạn nhiều mức bộ nhớ, còn các bộ máy dựng sẵn nằm trong danh mục PC AI. Nếu cần 48GB VRAM để QLoRA model cỡ 70B theo bảng VRAM của Unsloth, card NVIDIA RTX PRO 5000 Blackwell 48GB đáp ứng mức tối thiểu đó, còn thực tế bạn nên chừa dư VRAM cho ngữ cảnh dài.

Mini PC Gigabyte AI TOP ATOM ATAGB10-9001 dùng chip GB10 giống DGX Spark mà Unsloth nêu hỗ trợ, với 128GB bộ nhớ dùng chung. Máy chạy NVIDIA DGX OS (nền Ubuntu Linux), nên nếu dùng máy này bạn nên đối chiếu hướng dẫn Linux của Unsloth thay vì bản Windows ở bài này.

[Products:28017,26863,22690]

Mini PC AI Gigabyte AI TOP ATOM, ảnh chụp tại Nguyễn Công PC

Câu hỏi thường gặp về cài đặt Unsloth

Unsloth có chạy được trên Windows không, có cần WSL không?

Chạy được trực tiếp. Theo tài liệu Unsloth, Studio chạy trên Windows 10 và 11 không cần WSL, miễn là có card NVIDIA đã cài driver. Bạn chỉ cần WSL hoặc Linux khi dùng vLLM hoặc huấn luyện bằng GRPO.

Cài Unsloth cần card đồ họa nào và bao nhiêu VRAM?

Unsloth Core hỗ trợ card NVIDIA từ năm 2018 trở đi với compute capability từ 7.0. Mức VRAM tối thiểu để QLoRA model 3B là 3,5GB và model 8B là 6GB; LoRA 16-bit cần nhiều hơn, ví dụ 22GB cho model 8B.

Unsloth Desktop, Studio và Core khác nhau thế nào?

Desktop là ứng dụng cài như phần mềm thường, Studio là giao diện web chạy trên máy bạn để chat và fine-tune không cần code, còn Core là thư viện Python để viết script huấn luyện. Cả ba cùng nền tảng Unsloth, bạn chọn theo cách muốn thao tác.

Máy không có card NVIDIA có dùng được Unsloth không?

Có, nhưng bị giới hạn. Theo tài liệu Unsloth, Studio chạy được trên CPU để chat với model GGUF và dùng Data Recipes; tài liệu không nói rõ việc huấn luyện hay xuất model khi không có GPU. Unsloth có hướng dẫn riêng cho card AMD và Intel, còn máy Mac Apple Silicon dùng MLX.

Model fine-tune xong có dùng được với Ollama hoặc LM Studio không?

Được nếu bạn xuất sang GGUF. Studio xuất GGUF, safetensors và LoRA cho llama.cpp, Ollama, vLLM. Vì có báo cáo model xuất ra không nạp được vào Ollama, bạn nên chạy thử model ngay sau khi xuất.

Kết luận

Cài Unsloth trên Windows gọn là chạy lệnh PowerShell của Studio rồi mở 127.0.0.1:8888; chọn Desktop nếu muốn dùng như ứng dụng, chọn Conda nếu viết code và chuyển sang WSL khi cần vLLM. Trước khi cài, bạn kiểm tra driver bằng nvidia-smi và đối chiếu VRAM với cỡ model muốn tinh chỉnh. Nếu bạn muốn nhờ chọn cấu hình theo model dự định huấn luyện, bạn có thể ghé showroom Nguyễn Công PC để được tư vấn.

Xem thêm: VRAM bao nhiêu đủ chạy model 27B-32B, chọn card cho local LLM