VRAM Bao Nhiêu Đủ Chạy Model 14B? Chọn Card Cho Local LLM

Bạn tải Qwen3-14B hay DeepSeek-R1 14B về chạy thử, máy báo hết bộ nhớ hoặc trả lời chậm hẳn so với model 8B. Lý do thường nằm ở VRAM: model 14B nặng gần gấp đôi model 7-8B, nên card nào vừa đủ cho 8B thì sang 14B sẽ bắt đầu chật.

Nói ngắn gọn: với bản lượng tử hóa Q4, card 12GB chạy được model 14B nhưng khá sát, chỉ hợp chat ngắn. Card 16GB là mức thoải mái để dùng hằng ngày với context dài hơn. Muốn chạy bản Q8 thì cần từ 24GB trở lên, còn bản FP16 gần nguyên gốc cần khoảng 32GB, dư dả nhất là card 48GB. Nếu bạn chỉ cần model nhỏ hơn, bài VRAM bao nhiêu đủ chạy model 7-8B sẽ sát nhu cầu hơn.

PC AI AMD Ryzen Threadripper PRO 9965WX, 64GB RAM, RTX 5090 32GB

Model 14B là những model nào, vì sao nhiều người chọn mức này?

Nhóm 14B hiện có vài cái tên phổ biến khi chạy local: Qwen3-14B, DeepSeek-R1-Distill-Qwen-14B (thường gọi DeepSeek-R1 14B) và Phi-4 của Microsoft. So với model 7-8B, nhóm này suy luận nhiều bước tốt hơn, viết code và trả lời tiếng Việt mạch lạc hơn, trong khi vẫn đủ nhẹ để chạy trên một card màn hình phổ thông.

Đánh đổi là dung lượng. Số tham số gần gấp đôi model 8B nên trọng số cũng nặng gần gấp đôi, kéo theo yêu cầu VRAM tăng theo. Đây là mức mà chọn đúng card sẽ quyết định bạn dùng mượt hay phải chắp vá.

Model 14B cần bao nhiêu VRAM?

VRAM cần có gồm ba phần: trọng số model, KV cache (bộ nhớ giữ ngữ cảnh hội thoại) và một ít phần dư cho thư viện chạy model. Trong ba phần đó, trọng số chiếm nhiều nhất và phụ thuộc trực tiếp vào mức lượng tử hóa bạn chọn.

Công thức ước tính nhanh

Lấy số tham số nhân với số byte mỗi tham số. Model 14 tỷ tham số ở FP16 (2 byte mỗi tham số) có trọng số khoảng 28 đến 30GB. Ở Q8 (khoảng 1 byte) còn khoảng 15 đến 16GB. Ở Q4 (khoảng nửa byte, cộng thêm một ít dữ liệu phụ) còn khoảng 9GB. Con số này khớp khá sát với dung lượng file thực tế bên dưới.

Bảng VRAM theo mức lượng tử hóa

Dung lượng file trong bảng lấy từ thư viện model Ollama, là bản bạn tải về khi gõ lệnh ollama run. Cột "VRAM nên có" đã cộng thêm KV cache và phần dư.

Để so sánh, model Qwen3 32B bản Q4_K_M trên Ollama nặng khoảng 20GB. Tức là card 16GB chạy 14B rất ổn, nhưng muốn lên 32B thì phải nghĩ tới card 24GB đến 32GB.

Context dài và KV cache ăn thêm bao nhiêu VRAM?

Nhiều người tính đúng dung lượng model nhưng quên KV cache. Mỗi token trong cuộc hội thoại đều chiếm một phần bộ nhớ, nên dán càng nhiều tài liệu vào thì VRAM càng đầy. Theo cấu hình chính thức của Qwen3-14B, model có 40 lớp, 8 KV head, mỗi head 128 chiều. Tính ra mỗi token tốn khoảng 0,16MB ở FP16.

Cột tổng chưa tính phần dư cho driver và thư viện, thường thêm khoảng 0,5 đến 1GB. Nhìn bảng sẽ thấy vì sao card 12GB chỉ hợp chat ngắn: chỉ cần mở context lên 16K là đã chạm trần. Card 16GB còn chỗ cho context khoảng 24K đến 32K, đủ để đưa một tài liệu dài vào tóm tắt.

Biểu đồ dưới đây minh họa cách trọng số và KV cache cộng dồn so với dung lượng các card phổ biến.

Chọn mức VRAM nào cho nhu cầu của bạn?

8GB VRAM: chạy được nhưng không nên

Bản Q4 nặng khoảng 9GB nên không nằm gọn trong card 8GB. Công cụ như Ollama sẽ đẩy một phần lớp model sang RAM hệ thống và CPU xử lý phần đó, tốc độ trả lời giảm rõ. Mức này chỉ hợp để thử cho biết. Nếu bạn đang có card 8GB, dùng model 7-8B sẽ mượt hơn nhiều so với cố chạy 14B.

12GB VRAM: chạy được bản Q4, nhưng sát

Với RTX 5070 12GB, bản Q4 của Qwen3-14B hay DeepSeek-R1 14B nằm gọn trong card ở context mặc định 4K đến 8K. Hỏi đáp, viết đoạn ngắn, giải thích code đều ổn. Khi bạn dán tài liệu dài hoặc tăng context lên 16K, bộ nhớ chạm trần và model bắt đầu tràn sang RAM.

16GB VRAM: mức khuyên dùng cho model 14B

Đây là mức cân bằng nhất. RTX 5060 Ti bản 16GB, RTX 5070 Ti và RTX 5080 đều có 16GB GDDR7. Bản Q4 chạy với context khoảng 24K đến 32K mà vẫn nằm trọn trong card, đủ cho RAG trên tài liệu nội bộ, trợ lý code chạy cả ngày hay viết nội dung dài. RTX 5070 Ti và RTX 5080 có bus 256-bit, rộng hơn RTX 5060 Ti (128-bit), nên tốc độ sinh token thường nhanh hơn ở cùng model.

32GB VRAM trở lên: chạy Q8, FP16 và phục vụ nhiều người

RTX 5090 có 32GB GDDR7, chạy bản Q8 của model 14B dư dả; bản FP16 thì rất sát, chỉ chạy được ở context ngắn. Nếu cần FP16 với context dài, cho nhiều người dùng cùng lúc hoặc fine-tune bằng LoRA, card chuyên dụng phù hợp hơn: RTX PRO 5000 Blackwell có 48GB GDDR7 ECC theo NVIDIA, còn RTX PRO 6000 Blackwell Max-Q 96GB dành cho model lớn hơn nhiều.

Bảng chọn VRAM theo nhu cầu

Ngoài VRAM, CPU, RAM và SSD cần gì?

Khi VRAM đủ, CPU không ảnh hưởng nhiều đến tốc độ sinh token. Nhưng RAM hệ thống thì quan trọng hơn bạn nghĩ: lúc thiếu VRAM, phần model tràn ra sẽ nằm ở RAM, và bạn còn mở IDE, trình duyệt cùng lúc. Với model 14B, nên có từ 32GB RAM DDR5 trở lên. SSD NVMe giúp nạp model 9GB đến 30GB vào bộ nhớ nhanh hơn mỗi lần khởi động; nếu định tải nhiều model, bài AI cần bao nhiêu dung lượng SSD có gợi ý dung lượng cụ thể, còn lựa chọn ổ có trong danh mục ổ cứng SSD.

Một điểm hay bị bỏ qua là nguồn và tản nhiệt. Khi chạy model liên tục, GPU giữ tải cao lâu hơn chơi game, nên nguồn đủ công suất và case thoáng giúp card giữ xung ổn định.

Card RTX 50 Series 16GB và 32GB đang có tại Nguyễn Công PC

Gợi ý PC chạy model 14B tại Nguyễn Công PC

Các bộ PC dưới đây sắp từ mức VRAM 12GB đến 48GB. Nếu bạn dùng model 14B thường xuyên, nên bắt đầu từ các bộ 16GB VRAM. Thông số theo trang sản phẩm; nhiều cấu hình khác có trong danh mục PC AI.

Nếu cần một máy chạy AI cho cả nhóm, nhiều card và RAM lớn, các cấu hình Agent Computer được build riêng cho nhu cầu này.

Thiếu VRAM thì xử lý thế nào?

Trước khi đổi card, bạn có thể thử vài cách. Hạ mức lượng tử hóa từ Q8 xuống Q4 giảm gần một nửa dung lượng trọng số. Giảm context cũng giải phóng bớt KV cache. Theo tài liệu của Ollama, khi bật Flash Attention có thể lượng tử hóa KV cache bằng biến OLLAMA_KV_CACHE_TYPE: mức q8_0 dùng khoảng một nửa bộ nhớ so với mặc định f16, mức q4_0 khoảng một phần tư.

Để biết model có nằm trọn trong card hay không, gõ ollama ps. Cột Processor hiện "100% GPU" là ổn; nếu hiện tỷ lệ chia giữa CPU và GPU nghĩa là model đã tràn sang RAM, tốc độ sẽ giảm. Các cách trên giúp tạm thời chạy được, nhưng nếu ngày nào cũng phải chắp vá thì nâng lên card 16GB là hướng gọn hơn.

Video thử nghiệm model Qwen3 trên nhiều cấu hình

Nếu bạn muốn xem model 14B chạy thực tế, kênh BlueSpork có video thử toàn bộ dòng Qwen3 từ 0.6B đến 235B, trong đó có bản 14B, trên các máy chỉ dùng CPU, RTX 3060 và RTX 3090. Đây là bài thử của kênh ngoài, cấu hình khác với các bộ PC trong bài, nên bạn xem để tham khảo cách model dùng bộ nhớ.

Câu hỏi thường gặp về VRAM chạy model 14B

Card 12GB chạy được model 14B không?

Được với bản Q4. Bản Q4_K_M của Qwen3-14B nặng khoảng 9,3GB, cộng KV cache ở context 4K đến 8K vẫn nằm trong card 12GB. Khi tăng context lên khoảng 16K, tổng bộ nhớ chạm mức 12GB và model bắt đầu tràn sang RAM.

RTX 5060 Ti 16GB chạy Qwen3 14B được không?

Được và khá thoải mái. Bản Q4 nặng khoảng 9,3GB, card 16GB còn chỗ cho context khoảng 24K đến 32K. Lưu ý chọn đúng bản 16GB, vì RTX 5060 Ti có cả bản 8GB theo NVIDIA.

Card 8GB có chạy được model 14B không?

Chạy được nhưng chậm. Bản Q4 nặng khoảng 9GB nên không nằm gọn trong 8GB, phần dư sẽ chạy bằng CPU và RAM. Với card 8GB, model 7-8B là lựa chọn mượt hơn.

Q4 và Q8 khác nhau thế nào với model 14B?

Q8 giữ chất lượng sát bản gốc hơn nhưng nặng khoảng 16GB, gần gấp đôi Q4 (khoảng 9GB). Với nhu cầu chat, viết nội dung, code thông thường, Q4 là điểm cân bằng được dùng nhiều nhất. Q8 phù hợp khi bạn có card 24GB đến 32GB.

Chạy model 14B bằng CPU và RAM được không?

Được, Ollama sẽ tự chạy trên CPU khi không có GPU phù hợp. Tuy nhiên tốc độ sinh token chậm hơn nhiều so với chạy trên GPU, chỉ hợp để thử hoặc chạy tác vụ không cần phản hồi nhanh.

Model 14B cần bao nhiêu RAM hệ thống?

Nên có từ 32GB. Khi VRAM thiếu, phần model tràn ra sẽ nằm trong RAM, và bạn thường mở thêm IDE, trình duyệt cùng lúc. Nếu chạy bản Q8 hoặc FP16 có tràn bộ nhớ, 64GB sẽ an toàn hơn.

Hai card 8GB có cộng VRAM để chạy model 14B được không?

Ollama và llama.cpp có thể chia các lớp model sang nhiều card, nên hai card 8GB vẫn chứa được bản Q4 của model 14B. Tuy vậy mỗi card cần phần dư riêng và dữ liệu phải đi qua PCIe giữa hai card, nên một card 16GB thường gọn và ổn định hơn.

Mini PC GB10 hoặc máy dùng bộ nhớ hợp nhất có chạy model 14B được không?

Được. Các máy như Asus Ascent GX10 có 128GB bộ nhớ dùng chung cho CPU và GPU, đủ chứa cả bản FP16 của model 14B. Đổi lại, băng thông bộ nhớ khác card rời nên tốc độ sinh token không giống card RTX cùng tầm, cần xem theo nhu cầu cụ thể.

Context 32K cần thêm bao nhiêu VRAM?

Với Qwen3-14B, KV cache ở FP16 tốn khoảng 0,16MB mỗi token, nên context 32K cần thêm khoảng 5,4GB. Cộng với bản Q4 khoảng 9,3GB là gần 15GB, vừa với card 16GB. Bật lượng tử hóa KV cache q8_0 trên Ollama giảm phần này xuống khoảng một nửa.

DeepSeek-R1 14B cần card gì?

Bản DeepSeek-R1 14B mặc định trên Ollama nặng khoảng 9GB (Q4_K_M). Card 12GB như RTX 5070 chạy được, card 16GB như RTX 5060 Ti 16GB hoặc RTX 5070 Ti thoải mái hơn. Model này "suy nghĩ" dài trước khi trả lời, nên context dùng nhiều hơn, card 16GB sẽ hợp hơn.

Phi-4 cần bao nhiêu VRAM?

Phi-4 có 14 tỷ tham số, bản Q4_K_M trên Ollama nặng khoảng 9,1GB và context tối đa 16K. Card 12GB chạy được, card 16GB còn chỗ dùng hết context. Bản Q8 nặng khoảng 16GB, cần card 24GB trở lên.

Kết luận

Với model 14B, VRAM quyết định bạn dùng thoải mái hay phải chắp vá. Card 12GB đủ để bắt đầu với bản Q4 và chat ngắn, card 16GB là mức nên chọn để dùng hằng ngày với context dài, còn từ 32GB trở lên dành cho bản Q8, FP16 và nhu cầu nhiều người dùng. Khi chọn máy, nhớ đồng bộ thêm RAM 32GB và SSD NVMe để máy không nghẽn ở khâu khác.

Nếu bạn cần tư vấn cấu hình chạy AI local theo model cụ thể, đội ngũ Nguyễn Công PC có thể giúp chọn card và cấu hình phù hợp; các bộ máy dựng sẵn có trong danh mục PC AI và Agent Computer.