VRAM Bao Nhiêu Đủ Chạy Model 27B-32B? Chọn Card Cho Local LLM

Bạn đã chạy quen model 14B và muốn lên Qwen3 32B hay Gemma 3 27B để có câu trả lời sâu hơn, nhưng vừa tải về đã thấy card 16GB không nạp nổi. Lý do đơn giản: bản Q4 của nhóm model này nặng khoảng 17 đến 20GB, vượt quá dung lượng card 16GB ngay từ đầu.

Nói ngắn gọn: muốn chạy model 27B đến 32B ổn định, bạn cần card từ 24GB, và 32GB như RTX 5090 là mức dễ chịu nhất trong dòng GeForce, đủ cho bản Q4 kèm context 16K đến 32K. Muốn chạy bản Q8 thì cần khoảng 48GB, còn bản FP16 gần nguyên gốc cần từ 64GB đến 96GB. Nếu card của bạn đang là 16GB, bài VRAM bao nhiêu đủ chạy model 14B sẽ sát nhu cầu hơn.

Bộ PC Intel Core Ultra 9 285K, RAM 64GB, RTX 5090 32GB

Model 27B đến 32B gồm những model nào?

Nhóm này đang có nhiều lựa chọn chạy local khá mạnh: Gemma 3 27B của Google, Qwen3 32B, DeepSeek-R1 32B (bản distill trên nền Qwen) và Qwen3.8-27B, model dense mới của Qwen công bố trên Hugging Face. Ngoài ra còn Qwen3 30B-A3B, một model MoE (mixture of experts): mỗi lượt chỉ kích hoạt khoảng 3 tỷ tham số nên sinh token nhanh, nhưng vẫn phải nạp toàn bộ 30,5 tỷ tham số vào bộ nhớ.

So với nhóm 14B, các model này suy luận nhiều bước chắc hơn, viết code dài ít lỗi hơn và xử lý tài liệu tiếng Việt mạch lạc hơn. Nhiều người dùng mức này để thay một phần công việc vẫn làm trên AI trực tuyến, nhất là khi dữ liệu cần giữ trong máy.

Model 27B đến 32B cần bao nhiêu VRAM?

Cách tính vẫn giống bài 14B: trọng số model, cộng KV cache cho phần ngữ cảnh, cộng một ít phần dư cho thư viện chạy model. Với 32 tỷ tham số, mỗi mức lượng tử hóa chênh nhau rất xa: Q4 khoảng 0,6 byte mỗi tham số, Q8 khoảng 1 byte, FP16 đúng 2 byte.

Bảng VRAM theo mức lượng tử hóa

Dung lượng trong bảng lấy theo thư viện model của Ollama; riêng Qwen3.8-27B chưa có bản chính thức trên Ollama nên lấy theo bản GGUF phổ biến trên Hugging Face.

Nhìn bảng sẽ thấy vì sao card 16GB không còn đủ: chỉ riêng trọng số bản Q4 đã vượt 16GB. Card 24GB chứa được nhưng còn ít chỗ cho context; card 32GB mới có khoảng trống dễ chịu.

Context dài ăn thêm bao nhiêu VRAM?

Đây là điểm khác lớn giữa các model cùng cỡ. Theo cấu hình chính thức, Qwen3 32B có 64 lớp attention, mỗi lớp 8 KV head, mỗi head 128 chiều, nên mỗi token ngữ cảnh tốn khoảng 0,25MB ở FP16. Context 8K thêm khoảng 2GB, context 32K thêm khoảng 8,6GB.

Qwen3.8-27B dùng kiến trúc lai: trong 64 lớp chỉ có 16 lớp attention đầy đủ (4 KV head, mỗi head 256 chiều), các lớp còn lại là linear attention giữ trạng thái cố định. Vì vậy KV cache chỉ khoảng 0,06MB mỗi token, bằng một phần tư Qwen3 32B. Context 32K chỉ thêm khoảng 2GB, nên đây là lựa chọn đáng cân nhắc nếu bạn hay đưa tài liệu dài vào model.

Biểu đồ dưới đây cộng trọng số và KV cache cho từng tình huống, so với dung lượng các mức card phổ biến.

Chọn mức VRAM nào cho nhu cầu của bạn?

16GB: không đủ cho bản Q4

Bản Q4 nặng 17 đến 20GB nên luôn có một phần model phải nằm ở RAM hệ thống. Công cụ như Ollama vẫn chạy được nhưng phần đó do CPU xử lý, tốc độ trả lời giảm mạnh. Nếu bạn đang có card 16GB, dùng model 14B sẽ mượt hơn nhiều.

24GB: chạy được Q4 với context vừa phải

Card 24GB chứa được bản Q4 của Gemma 3 27B hay Qwen3 32B, kèm context khoảng 4K đến 8K. Dùng để hỏi đáp, viết đoạn ngắn thì ổn, nhưng dán tài liệu dài vào là bắt đầu sát trần.

32GB (RTX 5090): mức khuyên dùng cho model 27B đến 32B

RTX 5090 có 32GB GDDR7 bus 512-bit theo NVIDIA. Bản Q4 của Qwen3 32B kèm context 32K vào khoảng 28,6GB, vẫn nằm trong card. Với Qwen3.8-27B, card 32GB còn đủ chỗ cho context khoảng 128K. Đây là mức hợp cho trợ lý code chạy cả ngày, RAG trên tài liệu nội bộ hay viết nội dung dài. Các card đang sẵn hàng như Asus ROG Astral RTX 5090 32GB GDDR7 OC hoặc Gigabyte AORUS RTX 5090 INFINITY 32G đều có cùng dung lượng 32GB.

48GB đến 64GB: chạy Q8 và phục vụ nhiều người

RTX PRO 5000 Blackwell 48GB có 48GB GDDR7 kèm ECC theo NVIDIA, chứa được bản Q8 của Qwen3 32B (35GB) kèm context. Lựa chọn khác là ghép 2 card RTX 5090 để có 64GB: Ollama và llama.cpp tự chia các lớp model sang hai card, đủ cho bản Q8 với context dài hoặc phục vụ vài người dùng cùng lúc.

96GB trở lên: chạy FP16 và fine-tune

Bản FP16 của Gemma 3 27B nặng 55GB, của DeepSeek-R1 32B nặng 66GB. Muốn chạy các bản này hoặc fine-tune bằng LoRA, bạn cần card như RTX PRO 6000 Blackwell Max-Q 96GB hoặc 2 card RTX PRO 5000 48GB. Một hướng khác là máy dùng chip NVIDIA GB10 với 128GB bộ nhớ dùng chung như Asus Ascent GX10: chứa được cả bản FP16, đổi lại băng thông bộ nhớ thấp hơn card rời nên tốc độ sinh token chậm hơn.

Bảng chọn VRAM theo nhu cầu

Ngoài VRAM, RAM, SSD và nguồn cần gì?

Với model 27B đến 32B, RAM hệ thống nên từ 64GB: lúc nạp model, lúc tràn bộ nhớ hay khi chạy thêm công cụ RAG đều cần RAM. Các kit như G.Skill Trident Z5 RGB 64GB (2x32GB) DDR5 6000MHz là mức phổ biến trong các bộ máy RTX 5090. SSD nên từ 2TB vì mỗi model nặng 17 đến 66GB, tải vài bản lượng tử hóa là đầy ổ nhanh; Samsung 990 PRO 2TB là lựa chọn quen thuộc, còn bài AI cần bao nhiêu dung lượng SSD có gợi ý chi tiết hơn.

Nguồn cũng quan trọng hơn khi lên mức này. RTX 5090 có công suất cao, chạy AI lại giữ tải lâu, nên các bộ máy một card RTX 5090 thường dùng nguồn từ 1200W, còn bộ hai card dùng nguồn khoảng 2000W.

Gợi ý PC chạy model 27B đến 32B tại Nguyễn Công PC

Các bộ dưới đây đều đang sẵn hàng, sắp từ 32GB VRAM lên 128GB bộ nhớ dùng chung. Thông số theo trang sản phẩm; nhiều cấu hình khác có trong danh mục PC AI.

Nếu cần máy chạy AI cho cả nhóm với cấu hình được dựng riêng, các bộ Agent Computer có thêm nhiều lựa chọn từ 2 đến 6 card.

Thiếu VRAM thì xử lý thế nào?

Trước khi nâng card, bạn có thể thử vài cách. Hạ từ Q8 xuống Q4 giảm gần một nửa dung lượng trọng số. Giảm context hoặc lượng tử hóa KV cache (trên Ollama dùng biến OLLAMA_KV_CACHE_TYPE với mức q8_0, cần bật Flash Attention) giúp phần ngữ cảnh nhẹ đi khoảng một nửa. Nếu hay làm việc với tài liệu dài, đổi sang model có KV cache nhỏ như Qwen3.8-27B cũng là một cách.

Gõ lệnh ollama ps để kiểm tra: cột Processor hiện "100% GPU" là model nằm trọn trong card; nếu hiện tỷ lệ chia giữa CPU và GPU thì model đã tràn sang RAM. Khi ngày nào cũng phải chắp vá như vậy, lên card 32GB hoặc quay về model 14B sẽ gọn hơn.

Video thử nghiệm model 27B và 32B trên RTX 5090

Kênh Database Mart có video chạy loạt model trên RTX 5090 bằng Ollama, trong đó có Gemma 3 27B, DeepSeek-R1 32B, Qwen2.5 32B và QwQ 32B. Đây là bài thử của kênh ngoài, cấu hình máy khác với các bộ PC trong bài, nên bạn xem để tham khảo cách model dùng bộ nhớ và tốc độ tương đối giữa các model.

Câu hỏi thường gặp về VRAM chạy model 27B đến 32B

RTX 5090 32GB chạy được model 32B không?

Được và khá thoải mái với bản Q4. Bản Q4 của Qwen3 32B nặng khoảng 20GB, cộng KV cache ở context 32K vào khoảng 28,6GB, vẫn nằm trong card 32GB. Bản Q8 nặng 35GB thì không vừa một card.

Card 16GB có chạy được model 27B đến 32B không?

Chạy được nhưng chậm. Bản Q4 nặng 17 đến 20GB nên luôn có phần model tràn sang RAM và chạy bằng CPU. Với card 16GB, model 14B là lựa chọn hợp lý hơn.

Nên chọn Gemma 3 27B, Qwen3 32B hay Qwen3.8-27B?

Nếu VRAM đúng 24GB, Gemma 3 27B và Qwen3.8-27B nhẹ hơn Qwen3 32B khoảng 3GB nên dễ chịu hơn. Nếu hay đưa tài liệu dài vào, Qwen3.8-27B có KV cache chỉ bằng khoảng một phần tư Qwen3 32B. Qwen3 32B hợp khi bạn có card 32GB và cần suy luận mạnh ở context vừa phải.

Hai card 16GB có thay được một card 32GB không?

Có thể chứa được model, vì Ollama và llama.cpp chia các lớp model sang hai card. Tuy vậy dữ liệu phải đi qua PCIe giữa hai card và mỗi card cần phần dư riêng, nên một card 32GB thường ổn định và gọn hơn.

Model 32B cần bao nhiêu RAM hệ thống?

Nên từ 64GB. RAM dùng khi nạp model, khi model tràn bộ nhớ và khi chạy thêm công cụ RAG hay IDE. Máy hai card hoặc chạy bản Q8, FP16 nên có 128GB.

Nên chạy bản Q4 hay Q8 cho model 32B?

Với card 32GB, Q4 là lựa chọn thực tế vì bản Q8 nặng 35GB không vừa một card. Q8 giữ chất lượng sát bản gốc hơn, hợp khi bạn có card 48GB hoặc hai card RTX 5090.

Mini PC GB10 128GB có hợp để chạy model 32B không?

Hợp nếu bạn cần chạy bản Q8 hoặc FP16 mà không muốn dùng nhiều card, vì 128GB bộ nhớ dùng chung chứa được cả bản 66GB. Đổi lại, băng thông bộ nhớ thấp hơn card RTX 5090 nên tốc độ sinh token chậm hơn ở cùng model.

Kết luận

Với model 27B đến 32B, card 16GB không còn đủ, card 24GB chạy được nhưng sát, và 32GB như RTX 5090 là mức cân bằng nhất cho bản Q4 kèm context dài. Lên 48GB đến 64GB để chạy Q8 hoặc phục vụ nhiều người, còn 96GB trở lên dành cho FP16 và fine-tune. Khi chọn máy, nhớ đi kèm RAM 64GB, SSD 2TB và nguồn đủ công suất.

Nếu bạn cần tư vấn cấu hình theo model cụ thể, đội ngũ Nguyễn Công PC có thể giúp chọn card và cấu hình phù hợp; các bộ máy dựng sẵn có trong danh mục PC AI và Agent Computer.