Card đồ họa chạy Llama: cần bao nhiêu VRAM và chọn dòng RTX nào

Muốn chạy Llama trên máy cá nhân, thứ quyết định đầu tiên là dung lượng VRAM của card đồ họa, chứ không phải số nhân CPU hay xung nhịp card. Theo Ollama, bản mặc định của Llama 3.1 8B nặng 4,9 GB, còn Llama 3.1 70B và Llama 3.3 70B nặng 43 GB. Với các mức đó, card 8 GB đủ cho Llama 8B bản 4-bit, card 16 GB thoải mái hơn khi tăng ngữ cảnh hoặc dùng bản lượng tử hóa cao hơn, còn dòng 70B chưa vừa trọn trong RTX 5090 32 GB và phải chia một phần sang RAM hệ thống.

Nói gọn: VRAM quyết định mô hình có nằm vừa trong card hay không, còn băng thông bộ nhớ quyết định mô hình chạy nhanh hay chậm. Bài này đi qua dung lượng từng phiên bản Llama, cách ước tính VRAM, vai trò của lượng tử hóa và ngữ cảnh, rồi gợi ý dòng RTX và bộ PC theo từng mức mô hình để bạn không mua dư hoặc thiếu VRAM.

Chạy Llama bằng card đồ họa khác gì chạy bằng CPU?

Llama là họ mô hình ngôn ngữ lớn của Meta. Khi chạy cục bộ, toàn bộ trọng số của mô hình phải nằm trong bộ nhớ của thiết bị tính toán. Theo Puget Systems, với máy trạm có card đồ họa trong khoảng năm năm gần đây, chạy bằng GPU gần như chắc chắn nhanh hơn chạy bằng CPU. Chạy bằng CPU dùng RAM hệ thống nên nạp được mô hình lớn hơn, nhưng Puget cho biết tốc độ chậm hơn khoảng 10 đến 100 lần so với một GPU đủ mạnh.

Giữa hai cực đó là chế độ hỗn hợp (hybrid), như llama.cpp hỗ trợ: một phần mô hình nằm trong VRAM, phần còn lại ở RAM. Puget lưu ý hiệu năng của chế độ này nằm giữa chạy thuần CPU và thuần GPU, và phần mô hình chia sang RAM càng nhiều thì tốc độ càng giảm. Vì vậy mục tiêu khi chọn card là để mô hình nằm trọn trong VRAM. Nguồn: Puget Systems – Tech Primer: What hardware do you need to run a local LLM?.

Các phiên bản Llama nặng bao nhiêu GB?

Bảng dưới liệt kê dung lượng tải của bản mặc định trên Ollama cho từng phiên bản Llama phổ biến, kèm số tham số theo Meta. Dung lượng này là kích thước file mô hình đã lượng tử hóa, và Puget cho biết tổng dung lượng file trọng số xấp xỉ lượng bộ nhớ mà mô hình cần, chưa tính phần ngữ cảnh.

Nguồn: Ollama – llama3.1; Ollama – llama3.2; Ollama – llama3.3; Meta – Llama 3.2 model card; Meta – Llama 3.3 model card; Meta – The Llama 4 herd; Ollama – llama4

Có thể thấy ranh giới rõ ràng: các bản 1B, 3B và 8B nhỏ hơn VRAM của hầu hết card RTX hiện nay, còn các bản 70B trở lên vượt xa dung lượng của mọi card phổ thông. Riêng Llama 4 Scout có 109 tỷ tham số tổng dù chỉ kích hoạt 17 tỷ tham số mỗi lần, và bản mặc định trên Ollama nặng 67 GB, lớn hơn cả 32 GB VRAM của RTX 5090. Theo Meta, mô hình này nhắm tới GPU H100 chứ không phải card tiêu dùng.

Cách ước tính VRAM cần cho Llama

Puget Systems đưa ra công thức dễ nhớ: ở định dạng FP16 hoặc BF16, lấy số tham số tính bằng tỷ nhân với 2 sẽ ra số GB cần có. Mô hình 8B cần khoảng 16 GB, và Llama 3.1 8B ở dạng BF16 trong thử nghiệm của Puget dùng hơn 15 GB VRAM. Khi lượng tử hóa, Puget ghi nhận mức 8-bit dùng khoảng một nửa VRAM của BF16 và mức 4-bit dùng khoảng một phần tư.

Nguồn: Puget Systems – Tech Primer: What hardware do you need to run a local LLM?

Con số ở trên mới là phần trọng số. Ngữ cảnh (đoạn hội thoại hoặc tài liệu mô hình phải nhớ) cũng tốn bộ nhớ. Puget khuyên dự trù thêm khoảng 15% bộ nhớ trên kích thước mô hình là thường đủ dùng. Áp vào Llama 3.1 8B bản 4,9 GB, đó là khoảng 5,6 GB; với Llama 70B bản 43 GB là khoảng 49 GB, cách tính này chỉ là ước lượng từ mức 15% của Puget. Cũng trong thử nghiệm của Puget, bật Flash Attention cùng lượng tử hóa ngữ cảnh 4-bit đưa mức dùng VRAM của Llama 3.1 8B xuống 9,2 GB, so với 28,6 GB khi tắt các tùy chọn đó. Con số này cho thấy cài đặt phần mềm ảnh hưởng rất lớn khi dùng ngữ cảnh dài. Muốn đọc kỹ hơn về cách tính, bạn có thể xem bài VRAM bao nhiêu để chạy AI, cách tính và chọn card theo từng nhu cầu.

Lượng tử hóa là gì và nên chọn mức nào?

Lượng tử hóa là cách lưu trọng số mô hình bằng số bit ít hơn để giảm dung lượng và VRAM cần dùng. NVIDIA, trong trang hướng dẫn chạy LLM cục bộ trên RTX, cho biết các mô hình lượng tử hóa dùng trọng số độ chính xác thấp hơn để vừa với ít VRAM hơn, và các mức NVFP4 hoặc Q4_K_M là sự cân bằng tốt giữa tốc độ, độ chính xác và dung lượng bộ nhớ. NVIDIA cũng khuyên chọn mô hình mạnh nhất vẫn nằm thoải mái trong bộ nhớ card.

Meta cũng công bố số liệu cho các bản lượng tử hóa của Llama 3.2. Bảng dưới là mức bộ nhớ (RSS) đo trên điện thoại OnePlus 12 chạy CPU ARM qua ExecuTorch, nên chỉ dùng để so sánh tỷ lệ giảm bộ nhớ, không phải số đo trên card RTX.

Nguồn: Meta – Llama 3.2 model card (đo trên OnePlus 12, CPU ARM, ExecuTorch)

Số liệu cho thấy bản SpinQuant của Llama 3.2 3B dùng khoảng một nửa bộ nhớ so với BF16 (3.726 MB so với 7.419 MB), còn bản QLoRA dùng khoảng 55% (4.060 MB). Meta cũng lưu ý các bản lượng tử hóa của dòng này có ngữ cảnh 8K, trong khi bản tiêu chuẩn là 128K. Nghĩa là giảm dung lượng đi kèm đánh đổi, và bạn nên chọn mức lượng tử hóa theo việc cần làm chứ không chỉ theo VRAM.

Chọn card RTX nào để chạy Llama?

Bảng dưới là gợi ý của Nguyễn Công PC theo từng nhóm mô hình, kèm thông số bộ nhớ do NVIDIA công bố. Cách chia theo mức VRAM tham khảo hướng NVIDIA đưa ra: các mức 6–8 GB, 12–16 GB và từ 24 GB trở lên, và chọn mô hình lớn nhất vẫn vừa trong bộ nhớ.

Nguồn: NVIDIA RTX 5090, RTX 5080, RTX 5070 family, RTX 5060 family; NVIDIA – Run Local LLMs

Nếu cần xem toàn bộ các dòng đang bán, Nguyễn Công PC có card NVIDIA RTX 5000 Series, từ RTX 5050, RTX 5060, RTX 5060 Ti đến RTX 5070, RTX 5070 Ti, RTX 5080 và RTX 5090. Riêng các mô hình cỡ 7 đến 8 tỷ tham số, bạn có thể xem thêm bài VRAM bao nhiêu đủ chạy model 7-8B để đối chiếu theo từng card.

Tốc độ chạy Llama phụ thuộc vào gì? Số liệu llama.cpp theo từng card RTX

VRAM chỉ cho biết mô hình có vừa card hay không. Khi mô hình đã nằm trọn trong VRAM, tốc độ sinh chữ chủ yếu phụ thuộc băng thông bộ nhớ của card. Puget Systems ghi nhận trong bài thử card RTX 5090 và 5080 rằng tốc độ sinh chữ (token generation) phần lớn bị chi phối bởi băng thông bộ nhớ, và RTX 5090 dẫn đầu nhờ băng thông 1,79 TB/s. Trong bài LLM Inference – Consumer GPU performance, Puget thấy RTX 3080 Ti nhờ băng thông cao vẫn ngang RTX 4080 SUPER dù có ít sức tính FP16 hơn. Nguồn: Puget Systems – NVIDIA GeForce RTX 5090 & 5080 AI Review.

Để có số cụ thể, bảng dưới lấy từ bảng điểm cộng đồng của dự án llama.cpp, chạy mô hình Llama 2 7B lượng tử hóa Q4_0 bằng lệnh llama-bench với tham số -ngl 99, tức đưa toàn bộ lớp mô hình lên GPU. Cột tg128 là tốc độ sinh 128 token (token/giây), cột pp512 là tốc độ xử lý prompt 512 token, FA là Flash Attention.

Nguồn: llama.cpp – Performance of llama.cpp on Nvidia CUDA (Discussion 15013); mô hình Llama 2 7B Q4_0, số liệu do người dùng đóng góp

Đọc bảng này cần lưu ý ba điều. Thứ nhất, đây là Llama 2 7B chứ không phải Llama 3, và số liệu do cộng đồng tự gửi trên các phiên bản mã nguồn khác nhau nên chỉ dùng để so sánh tương đối. Thứ hai, bảng không nêu dung lượng VRAM của RTX 5060 Ti, còn mô hình 7B ở mức 4-bit chỉ cần khoảng 4 GB theo cách tính của Puget, nhỏ hơn VRAM của các card trong bảng, nên kết quả phản ánh tốc độ chứ không phản ánh giới hạn VRAM. Thứ ba, các bài thử của Puget được đăng từ năm 2024 đến đầu năm 2025, nên kết quả có thể đã thay đổi khi phần mềm cập nhật.

Trong cùng điều kiện đó, RTX 5090 đạt 300,40 token/giây khi bật Flash Attention, gấp khoảng 3,2 lần RTX 5060 Ti (93,46 token/giây) và khoảng 1,6 lần RTX 5070 Ti (182,43 token/giây). Giữa RTX 5070 Ti và RTX 5080, tốc độ sinh chữ gần như ngang nhau (182,43 so với 184,68 token/giây), dù RTX 5080 xử lý prompt nhanh hơn. Điều này nghĩa là nếu bạn chỉ chạy Llama cỡ 7B đến 8B, nâng từ RTX 5070 Ti lên RTX 5080 không làm tăng đáng kể tốc độ sinh chữ, còn phần lợi thế lớn của RTX 5090 đến từ VRAM 32 GB và băng thông.

Bạn có thể tự đo trên máy của mình bằng cùng công cụ: tải bản llama.cpp, chạy llama-bench với mô hình bạn quan tâm và tham số -ngl 99 để đưa toàn bộ mô hình lên GPU, rồi so sánh cột tg128 giữa các cấu hình. Làm cách này, bạn có số đo đúng với mô hình và mức lượng tử hóa mình dùng thay vì dựa vào bảng của người khác.

Llama 70B và các mô hình lớn có chạy được trên một card không?

Với Llama 70B bản mặc định 43 GB, ngay cả RTX 5090 32 GB cũng không chứa trọn mô hình, nên phần còn lại phải chạy ở RAM hệ thống theo kiểu hybrid, và theo Puget phần mô hình chuyển sang RAM càng nhiều thì tốc độ càng giảm. Puget Systems cho biết nền tảng máy trạm (Threadripper Pro, Xeon W) có nhiều làn PCIe và nhiều kênh bộ nhớ hơn nền tảng phổ thông, lợi thế này lớn dần với mô hình lớn và cấu hình nhiều card. Với Llama 3.1 405B nặng 243 GB, dung lượng này vượt xa VRAM của một card đơn, nên việc chạy cục bộ cần hệ thống nhiều card hoặc máy chủ chuyên dụng.

Nếu bạn định chạy Llama 70B thường xuyên, hãy tính cả RAM: Puget khuyên RAM hệ thống ít nhất bằng VRAM và tốt nhất gấp 1,5 đến 2 lần VRAM. Dung lượng RAM lớn cũng giúp việc nạp mô hình lên VRAM không bị lỗi. Bạn có thể tham khảo thêm bài 128GB RAM có đủ cho AI không để biết khi nào nên tăng RAM hoặc VRAM.

RAM, CPU và ổ cứng ảnh hưởng thế nào khi chạy Llama?

Khi mô hình nằm trọn trong VRAM, RAM chủ yếu dùng để nạp trọng số lên card. Puget lưu ý nạp mô hình có thể thất bại nếu RAM cộng file hoán đổi quá ít, dù mô hình vẫn vừa VRAM. Vì thế một chiếc PC chạy Llama nên có RAM từ 32 GB trở lên, ưu tiên RAM DDR5 nếu nền tảng hỗ trợ. Với chế độ CPU, Puget cho biết băng thông bộ nhớ là yếu tố giới hạn chính.

Ổ cứng ít ảnh hưởng đến tốc độ sinh chữ sau khi mô hình đã nạp, nhưng Puget cho biết ổ NVMe nhanh rút ngắn thời gian nạp, và một số mô hình nặng hàng trăm GB nên dung lượng ổ dễ đầy. Nếu bạn chạy nhiều phiên bản, nên chọn ổ cứng SSD dung lượng lớn, và bài AI cần bao nhiêu dung lượng SSD có gợi ý theo từng nhu cầu.

Nên dùng card NVIDIA hay AMD, Windows hay Linux?

Puget Systems khuyến nghị NVIDIA vì hỗ trợ CUDA rộng trên cả Windows và Linux, cùng hiệu năng thô tốt hơn. Card AMD dùng được chủ yếu trên Linux, nơi ROCm được hỗ trợ tốt hơn; LM Studio có bản xem trước ROCm trên Windows. Puget cũng ưu tiên Linux vì dùng ít tài nguyên hệ thống hơn và giảm VRAM bị desktop chiếm, đồng thời lưu ý Windows chưa có hỗ trợ NCCL đúng nghĩa, ảnh hưởng tối ưu hóa nhiều card. Bài của Puget đăng năm 2024 và có cảnh báo nội dung có thể đã cũ, nên bạn cần kiểm tra lại hỗ trợ mới nhất của từng phần mềm.

Dùng công cụ nào để chạy Llama trên card đồ họa?

NVIDIA liệt kê LM Studio, Ollama và máy chủ suy luận llama.cpp cho việc trò chuyện với mô hình trên RTX, trong đó LM Studio và Ollama dùng nền llama.cpp; vLLM được ghi là cần Linux. Nếu bạn mới bắt đầu, bài so sánh Ollama và LM Studio giúp chọn công cụ, còn hướng dẫn cài đặt Ollama đi qua từng bước trên Windows và Mac. Cấu hình tổng quát của máy chạy Ollama có trong bài PC chạy Ollama cần cấu hình như thế nào.

Gợi ý một số bộ PC chạy Llama

Dưới đây là bốn bộ PC có sẵn tại Nguyễn Công PC, sắp xếp theo VRAM tăng dần từ 8 GB đến 32 GB để khớp với các nhóm mô hình ở trên. Chúng là cấu hình gợi ý theo dung lượng VRAM, không phải kết quả đo tốc độ Llama tại cửa hàng.

Bộ PC Đồ Họa Core i5 14600K, RAM 32GB DDR4, RTX 5060 Ti 8GB

• CPU: Intel Core i5-14600K Tray (14 nhân 20 luồng, tối đa 5.30GHz, 24MB cache)
• VGA: Colorful iGame GeForce RTX 5060 Ti Ultra W DUO OC 8GB
• RAM: 2 x ADATA XPG D50 RGB 16GB DDR4 3200MHz White (32GB)
• SSD: AGI AI818 1TB M.2 NVMe PCIe Gen4 x4
• Mainboard: Gigabyte B760M AORUS ELITE WiFi 6E DDR4
• Nguồn: Ocypus Delta P750 750W (80 Plus Bronze, ATX 3.1)
• Case: Magic Zero Max White (ATX, hỗ trợ AIO 360mm)
• Tản nhiệt: AIO Jonsbo TH-360 White (360mm, ARGB)

Nếu bạn mới làm quen với Llama và chủ yếu chạy các bản 1B, 3B hoặc Llama 3.1 8B bản 4-bit, bộ PC Đồ Họa Core i5 14600K, RAM 32GB DDR4, RTX 5060 Ti 8GB là điểm vào hợp lý. Card 8 GB chứa trọn bản 4,9 GB của Llama 3.1 8B cùng phần ngữ cảnh vừa phải, còn 32GB RAM vượt mức Puget khuyến nghị là RAM ít nhất bằng VRAM khi nạp mô hình. Đây là cấu hình tiết kiệm cho người học, thử nghiệm và dùng trợ lý AI cá nhân.

[Products:30518]

Bộ PC Đồ Hoạ Intel Core Ultra 9 285K, RAM 32GB, RTX 5060 Ti 16GB

• CPU: Intel Core Ultra 9 285K Tray (24 nhân 24 luồng, tối đa 5.7GHz)
• VGA: ASUS Dual RTX 5060 Ti 16GB GDDR7 OC
• RAM: Kingston FURY Beast RGB 32GB (2x16GB) DDR5 5200MHz
• SSD: Kingston SNV3S 500GB NVMe Gen4
• HDD: Seagate Barracuda 2TB 7200rpm
• Mainboard: ASUS TUF GAMING Z890 PLUS WIFI DDR5
• Nguồn: Segotep GN850W (80 Plus Gold)
• Case: Gamdias ATHENA M3 Black ARGB
• Tản nhiệt: AIO ASUS PRIME LC 360 ARGB

Khi muốn chạy Llama 3.1 8B ở mức lượng tử hóa cao hơn hoặc mở rộng ngữ cảnh, VRAM 16GB trên bộ PC Đồ Hoạ Intel Core Ultra 9 285K, RAM 32GB, RTX 5060 Ti 16GB cho nhiều dư địa hơn bản 8GB. Mức 8-bit của mô hình 8B khoảng 8 GB trước ngữ cảnh, nên còn chỗ cho ngữ cảnh dài hơn. Ổ HDD 2TB hỗ trợ lưu nhiều phiên bản mô hình, còn SSD NVMe Gen4 giúp nạp mô hình nhanh hơn. Bộ máy hợp với lập trình viên và người làm sản phẩm AI cá nhân.

[Products:24064]

Bộ PC Đồ Họa Ryzen 9 9950X, RAM 32GB, RTX 5070 Ti 16GB

• CPU: AMD Ryzen 9 9950X Tray (16 nhân 32 luồng, boost tối đa 5.7GHz, 64MB cache)
• VGA: Gigabyte GeForce RTX 5070 Ti GAMING OC 16G
• RAM: Kingston FURY Beast 32GB (2x16GB) DDR5 6000MHz
• SSD: Kingston KC3000 1TB NVMe PCIe Gen4 x4
• HDD: Toshiba P300 4TB 5400rpm
• Mainboard: ASUS TUF GAMING X870-PLUS WIFI
• Nguồn: ANTEC GOLD Plus G850 850W
• Case: Gamdias Atlas P2 CG (màu đen)
• Tản nhiệt: AIO ASUS PRIME LC 360 ARGB

Người chạy Llama hằng ngày cho công việc, vừa cần tốc độ vừa cần ổ lưu trữ lớn, sẽ phù hợp với bộ PC Đồ Họa Ryzen 9 9950X, RAM 32GB, RTX 5070 Ti 16GB. Card RTX 5070 Ti 16GB dùng bus 256-bit theo công bố của NVIDIA và chứa thoải mái các bản Llama cỡ 8B, kể cả khi tăng ngữ cảnh. Ryzen 9 9950X 16 nhân 32 luồng giữ phần xử lý CPU ổn định, còn ổ HDD 4TB dùng để lưu bộ sưu tập mô hình và dữ liệu.

[Products:28408]

Bộ PC GIGABYTE AI TOP 500 TRX50, Threadripper PRO 7965WX, RAM 768GB, RTX 5090 32GB

• CPU: AMD Ryzen Threadripper PRO 7965WX
• Chipset: TRX50 (TRX50 AI TOP)
• VGA: NVIDIA GeForce RTX 5090 32GB
• RAM: 768GB DDR5 R-DIMM (8 x 96GB)
• SSD: 1 x SSD Gen4 2TB
• AI Storage: AI TOP 100E 1TB
• Tản nhiệt: AORUS 360mm AIO Liquid Cooler
• Nguồn: 1600W 80 Plus Platinum (ATX 3.1)

Dành cho nhu cầu chạy mô hình lớn như Llama 70B, bộ PC GIGABYTE AI TOP 500 TRX50 kết hợp card RTX 5090 32GB với 768GB RAM DDR5 R-DIMM. Bản 43 GB của Llama 70B lớn hơn VRAM của card, nhưng dung lượng RAM này đủ chứa phần còn lại, còn nền tảng Threadripper PRO có nhiều kênh bộ nhớ hơn nền tảng phổ thông, đúng điểm Puget nhấn mạnh với mô hình lớn. Tốc độ khi chia sang RAM sẽ thấp hơn khi mô hình nằm trọn trong VRAM, vì vậy đây là cấu hình cho người cần chạy mô hình cỡ lớn tại chỗ.

[Products:29427]

Bảng so sánh nhanh bốn bộ PC theo cùng tiêu chí, lấy từ thông số niêm yết của từng sản phẩm tại Nguyễn Công PC.

Câu hỏi thường gặp

Chạy Llama 3.1 8B cần bao nhiêu VRAM?

Bản mặc định trên Ollama nặng 4,9 GB, cộng khoảng 15% cho ngữ cảnh theo khuyến nghị của Puget thì cần khoảng 5,6 GB. Ở dạng BF16, thử nghiệm của Puget cho thấy mô hình này dùng hơn 15 GB VRAM.

Card 8GB chạy được Llama nào?

Card 8 GB chạy được Llama 3.2 1B, 3B và Llama 3.1 8B bản 4-bit, vì các bản này nặng lần lượt 1,3 GB, 2,0 GB và 4,9 GB trên Ollama. Với bản 8-bit của mô hình 8B hoặc ngữ cảnh dài, bạn nên chọn card 12 đến 16 GB.

Llama 70B chạy được trên RTX 5090 không?

Chạy được theo kiểu hybrid, nhưng không nằm trọn trong card. Bản mặc định 43 GB lớn hơn 32 GB VRAM của RTX 5090 nên phần còn lại ở RAM hệ thống, và tốc độ giảm so với khi mô hình nằm trọn trong VRAM.

Chạy Llama bằng CPU có được không?

Được, vì CPU dùng RAM hệ thống nên nạp được mô hình lớn. Tuy nhiên Puget cho biết chạy bằng CPU chậm hơn khoảng 10 đến 100 lần so với GPU đủ mạnh.

Card AMD chạy Llama được không?

Được, nhưng theo Puget, AMD chủ yếu khả dụng trên Linux nhờ ROCm. Trên Windows, LM Studio có bản xem trước ROCm, còn NVIDIA có hỗ trợ CUDA rộng hơn nên thường được khuyến nghị.

Cần bao nhiêu RAM để chạy Llama?

Puget khuyến nghị RAM hệ thống ít nhất bằng VRAM, tốt nhất gấp 1,5 đến 2 lần VRAM. Vì vậy máy chạy Llama nên có tối thiểu 32 GB RAM, và nhiều hơn nếu chạy mô hình 70B kiểu hybrid.

Card nào chạy Llama nhanh nhất?

Trong bảng điểm llama.cpp với Llama 2 7B Q4_0, RTX 5090 dẫn đầu với 300,40 token/giây khi bật Flash Attention. Trong các card RTX 50, theo sau là RTX 5080 (184,68) và RTX 5070 Ti (182,43), còn RTX 4090 đạt 188,96. Tốc độ sinh chữ phụ thuộc nhiều vào băng thông bộ nhớ nên card cao hơn không phải lúc nào cũng nhanh gấp bội.

Làm sao tự đo tốc độ Llama trên máy của mình?

Bạn có thể dùng llama-bench của llama.cpp với tham số -ngl 99 để đưa toàn bộ mô hình lên GPU và đọc kết quả tg128 (token/giây). Cách này cho số đo đúng với mô hình và mức lượng tử hóa bạn đang dùng.

Kết luận: mua card đồ họa chạy Llama tại Nguyễn Công PC

Nguyễn Công PC bán card đồ họa và bộ PC chính hãng, bảo hành theo chính sách của hãng tại Việt Nam. Nếu bạn muốn một máy dựng sẵn cho tác vụ AI, có thể xem nhóm bộ PC chạy AI; khi cần tư vấn cấu hình theo mô hình Llama và ngân sách, bạn có thể đến cửa hàng hoặc liên hệ nhân viên tư vấn của Nguyễn Công PC.

Tóm lại, VRAM quyết định mô hình Llama nào chạy trọn trên card: 8 GB cho các bản nhỏ và 8B 4-bit, 16 GB cho 8B với dư địa lớn hơn, còn 70B cần RAM lớn đi kèm RTX 5090. Hãy chọn theo mô hình bạn thật sự dùng, đừng mua dư VRAM cho bản không chạy tới.

Xem thêm: AI Llama 3.2 là gì? Vì sao nên sử dụng Llama thay cho ChatGPT?

Xem thêm: Bảng xếp hạng GPU chạy AI 2026: card nào đáng mua cho từng nhu cầu?