128GB RAM có đủ cho AI không? Chạy được model cỡ nào và khi nào cần thêm VRAM

128GB RAM hệ thống đủ để nạp nhiều model ngôn ngữ cỡ lớn khi chạy AI cục bộ, ví dụ model 70 tỷ tham số ở 8-bit hoặc model 120 tỷ tham số ở 4-bit, nhưng không đủ cho model 70 tỷ tham số ở FP16. RAM chỉ quyết định bạn nạp được model nào, còn tốc độ trả lời phụ thuộc nhiều vào việc phần model nằm ở VRAM hay ở RAM. Bài này nói về RAM hệ thống DDR5 trên PC, khác với bộ nhớ hợp nhất của laptop, vốn đã có bài riêng về laptop 128GB bộ nhớ hợp nhất chạy mô hình AI nào.

Các con số trong bài lấy từ thông số của NVIDIA, AMD, Intel và số đo của Corsair, Puget Systems. Mỗi con số đều ghi nguồn cùng điều kiện thử mà nguồn đó công bố, còn phép tính thì ghi rõ cách tính.

128GB RAM chạy được model AI cỡ nào?

Dung lượng bộ nhớ cho trọng số của model bằng số tham số nhân với số byte mỗi tham số. NVIDIA ghi FP32 là 4 byte, FP16 là 2 byte, INT8 hoặc FP8 là 1 byte, INT4 hoặc FP4 là 0.5 byte, theo bài về bộ nhớ GPU cho AI của NVIDIA. Bảng dưới áp dụng công thức này cho các cỡ model phổ biến.

Công thức: NVIDIA (số byte mỗi tham số). Dung lượng trong bảng được tính theo công thức này.

Các con số trong bảng chỉ gồm dung lượng trọng số của model, tính từ công thức trên, chưa gồm bộ nhớ cho ngữ cảnh, hệ điều hành và phần mềm. Với model Gemma 2 27B ở 4-bit, NVIDIA tính khoảng 13.5GB cho trọng số và thêm khoảng 1 đến 5GB cho phần phụ. Ở 4-bit thực tế, Corsair nêu khoảng 0.5 đến 0.6 GB mỗi tỷ tham số, ví dụ Llama 3.3 70B cần khoảng 42GB chỉ cho trọng số, nên các số 4-bit trong bảng là mức thấp. Vì vậy với 128GB RAM, model 70 tỷ tham số ở 8-bit (70 GB) hay model 120 tỷ tham số ở 4-bit (60 GB) còn chỗ cho ngữ cảnh và hệ điều hành, trong khi model 70 tỷ tham số ở FP16 (140 GB) thì vượt dung lượng. Model 120 tỷ tham số ở 8-bit (120 GB) sát giới hạn nên khó dùng thoải mái.

Với model dạng MoE như Llama 4 Scout 109B (17B hoạt động mỗi token), AMD lưu ý tất cả 109 tỷ tham số vẫn phải nằm trong bộ nhớ, dù chỉ 17 tỷ tham số hoạt động ở mỗi token. Theo bài hỏi đáp của AMD về bộ nhớ đồ họa biến thiên và cỡ model AI, Llama 4 Scout 109B ở 4-bit cần khoảng 96GB bộ nhớ.

RAM hệ thống khác VRAM thế nào khi chạy AI?

VRAM là bộ nhớ trên card đồ họa, còn RAM hệ thống do CPU quản lý. NVIDIA mô tả kỹ thuật GPU offloading là chạy một phần model trên GPU và phần còn lại trên CPU, để người dùng vẫn được GPU tăng tốc khi model lớn hơn VRAM. Dù vậy máy vẫn cần đủ RAM hệ thống để chứa toàn bộ model, theo bài về LM Studio trên RTX của NVIDIA. Vai trò chính của 128GB RAM hệ thống khi chạy AI là giúp bạn nạp được model lớn hơn VRAM.

Khi offload model lên RAM, cái giá là tốc độ trả lời. NVIDIA nêu Gemma 2 27B chạy 2.1 token mỗi giây khi dùng CPU thuần và nhanh dần khi offload nhiều lớp hơn lên GPU, nhưng bài không nêu cấu hình máy hay số liệu chi tiết cho từng mức offload. AMD cũng nói tốc độ của model MoE phụ thuộc số tham số hoạt động, còn model dày (dense) phụ thuộc tổng số tham số, theo bài về Ryzen AI Max+ chạy LLM tới 128 tỷ tham số của AMD. Corsair nêu card RTX 4090 và 5090 có băng thông bộ nhớ trên 1 TB/s, còn DDR5 hai kênh khoảng 90 GB/s. Bảng dưới đặt băng thông RAM cạnh băng thông VRAM của vài card để bạn thấy khoảng cách.

Nguồn: AMD Ryzen 9 9950X, Intel Core Ultra 9 285K, AMD Ryzen AI Max+, NVIDIA RTX PRO 2000, Intel Arc B580, AMD Radeon RX 9070 XT. Băng thông RAM tính bằng MT/s x 8 byte x số kênh. Thông số hãng được đối chiếu lại vào tháng 11/2026.

NVIDIA nêu rằng ở giai đoạn sinh token, tốc độ chuyển dữ liệu (trọng số, key, value, activation) từ bộ nhớ đến GPU quyết định độ trễ chứ không phải tốc độ tính toán, và mô tả đây là tác vụ bị giới hạn bởi băng thông bộ nhớ, theo bài về tối ưu suy luận LLM của NVIDIA. Vì vậy phần model nằm ở RAM với băng thông thấp hơn sẽ làm tốc độ trả lời giảm so với phần nằm ở VRAM. NVIDIA cũng ghi model nhỏ nằm trọn trong bộ nhớ GPU được tăng tốc GPU đầy đủ, nên nếu model vừa VRAM thì card đồ họa mới là yếu tố quyết định tốc độ, còn thêm RAM không làm nó nhanh hơn. Cách tính dung lượng cần cho card có ở bài VRAM bao nhiêu để chạy AI.

Bảng dưới tổng hợp các số đo đã công bố về chênh lệch tốc độ giữa model nằm trong VRAM và model phải dùng RAM hệ thống, kèm điều kiện mà từng nguồn nêu.

Nguồn: Corsair, Puget Systems, NVIDIA. Điều kiện thử của từng nguồn khác nhau nên chỉ nên so sánh xu hướng, không so từng con số.

Trong bài so sánh Puget Mobile 17 inch với MacBook Pro 16 inch của Puget Systems (đăng tháng 5/2024, cập nhật tháng 9/2024), laptop RTX 4090 Mobile vẫn chạy được Llama 3 70B ở 8-bit nhờ gộp 64GB RAM và 16GB VRAM thành khoảng 80GB, còn MacBook Pro 64GB thì không đủ. Đây là ví dụ về việc RAM lớn giúp nạp được model. Tác giả kết luận bộ nhớ hợp nhất của MacBook phù hợp với model rất lớn từ 70B trở lên, còn laptop RTX phù hợp với model từ 34B trở xuống và các công cụ tối ưu cho CUDA.

Nên cắm 2 thanh 64GB hay 4 thanh 32GB để có 128GB?

Có hai cách để đạt 128GB trên PC dân dụng: 2 thanh 64GB hoặc 4 thanh 32GB. AMD ghi Ryzen 9 9950X hỗ trợ tối đa 256GB DDR5, 2 kênh, tốc độ tối đa DDR5-5600 với cấu hình 2 thanh và DDR5-3600 với cấu hình 4 thanh. Intel ghi Core Ultra 9 285K hỗ trợ tối đa 256GB DDR5 tới 6400 MT/s, cũng 2 kênh, theo trang thông số của AMD và Intel.

Corsair nêu hai thanh chạy hai kênh cho băng thông gần gấp đôi một thanh, và khuyến nghị DDR5-6000 hoặc nhanh hơn làm mức cân bằng giữa giá, tương thích và hiệu năng. Nếu cấu hình của bạn thường xuyên offload model lên RAM, tốc độ RAM ảnh hưởng đến thời gian trả lời, nên cấu hình 2 thanh có tốc độ tối đa cao hơn trên nền AMD là hướng đáng cân nhắc. Bạn cần kiểm tra danh sách RAM tương thích của mainboard trước khi mua, và có thể xem các mã RAM DDR5 đang có. Nếu cần dung lượng lớn hơn nhiều, bộ Gigabyte AI TOP 500 TRX50 7965WX tại Nguyễn Công PC ghi 768GB DDR5 R-DIMM (8 thanh 96GB), thuộc hướng máy trạm.

Ngoài trọng số model, những gì khác ăn RAM?

Bộ nhớ cho ngữ cảnh (KV cache) tăng theo độ dài chuỗi. NVIDIA đưa công thức: dung lượng KV cache mỗi token (byte) bằng 2 nhân số lớp nhân (số đầu nhân kích thước mỗi đầu) nhân số byte mỗi giá trị, và tổng cache tăng tuyến tính theo độ dài chuỗi và kích thước batch. Với Llama 2 7B ở FP16, batch 1 và chuỗi 4096 token, NVIDIA tính khoảng 2 GB, trong khi trọng số FP16 của model là khoảng 14 GB. Corsair đưa quy tắc khác: ngữ cảnh 8K token thêm khoảng 1GB cho mỗi 10 tỷ tham số, và 32K thêm khoảng 4GB. Hai nguồn cho con số khác nhau vì dung lượng phụ thuộc kiến trúc model, nên bạn cần tra cấu hình của model cụ thể để tính.

Ngữ cảnh dài và công cụ gọi ngoài là hai nguồn tăng dung lượng. LM Studio có ngữ cảnh mặc định 4096 token, trong khi AMD nêu một quy trình MCP dùng 19,642 token và một quy trình khác dùng 21,445 token, và quy trình thứ nhất sẽ lỗi ở mức mặc định. AMD cũng cho biết Llama 4 Scout chạy ở ngữ cảnh 256,000 token khi bật Flash Attention và KV cache ở Q8, trên Ryzen AI Max+ 395 128GB.

Với model tạo ảnh, AMD ghi FLUX Schnell có thể cần 32GB VRAM ở chế độ offload một phần. Vì vậy nếu bạn vừa chạy LLM vừa chạy ComfyUI hoặc các tác vụ khác, tổng dung lượng thực tế sẽ lớn hơn con số trọng số trong bảng ở trên, và bạn nên chừa dung lượng RAM cho hệ điều hành và các phần mềm đang mở.

Nên chọn 64GB, 128GB hay nhiều hơn?

Bảng dưới là gợi ý dựa trên phép tính dung lượng ở trên và khuyến nghị dung lượng RAM của Corsair.

Nguồn: mức RAM gợi ý dựa trên NVIDIA (dung lượng trọng số) và Corsair (khuyến nghị dung lượng RAM).

Nếu chỉ chạy model nhỏ vừa VRAM thì thêm RAM không làm model chạy nhanh hơn, và bạn nên ưu tiên card có VRAM lớn hơn. Nếu bạn quan tâm cả laptop lẫn máy để bàn, bài máy tính chạy AI local chọn cấu hình gì giải thích thêm về cấu hình tổng thể. Model cũng cần chỗ lưu trên ổ cứng, và bài AI cần bao nhiêu dung lượng SSD tính dung lượng theo từng nhu cầu chạy AI.

Gợi ý PC AI tại Nguyễn Công PC

Với nhu cầu cần RAM lớn và VRAM lớn cùng lúc, bạn có thể xem bộ PC AI AMD Ryzen Threadripper PRO 9965WX, 6 card RTX 5090 32GB, RAM ECC 64GB hoặc bộ Gigabyte AI TOP 500 TRX50 7965WX 768GB DDR5 RTX 5090. Cả hai bộ PC AI này dùng CPU Threadripper PRO và card RTX 5090 32GB, phù hợp khi bạn muốn model nằm trong VRAM thay vì phải offload lên RAM. Nếu bạn đang phân vân giữa máy 128GB bộ nhớ hợp nhất và PC dùng RTX 5090, bài RTX Spark 128GB, RTX 5090 hay Mac M5 Max: chọn máy nào chạy LLM local so sánh riêng. Các bộ khác nằm trong danh mục PC AI của Nguyễn Công PC.

Câu hỏi thường gặp về 128GB RAM cho AI

128GB RAM có chạy được model 70B không?

128GB RAM chạy được model 70 tỷ tham số nếu model được lượng tử hóa. Theo công thức 0.5 byte mỗi tham số ở 4-bit, trọng số khoảng 35 GB, và Corsair nêu Llama 3.3 70B cần khoảng 42 GB; ở 8-bit trọng số khoảng 70 GB, nên 128GB đủ chỗ cho trọng số cùng ngữ cảnh. Ở FP16 trọng số khoảng 140 GB nên vượt dung lượng.

RAM nhiều có thay được VRAM không?

RAM nhiều không thay hoàn toàn được VRAM khi chạy AI. RAM cho phép nạp model lớn hơn VRAM, nhưng phần model nằm ở RAM được xử lý chậm hơn. NVIDIA nêu giai đoạn sinh token bị giới hạn bởi băng thông bộ nhớ, và ví dụ Gemma 2 27B chạy 2.1 token mỗi giây khi dùng CPU thuần, nhanh hơn khi offload lên GPU.

Có cần 128GB RAM nếu chỉ chạy model 7B?

Chạy model 7 tỷ tham số thường không cần 128GB RAM. Trọng số model 7 tỷ tham số ở 4-bit khoảng 3.5 GB và ở FP16 khoảng 14 GB, nên dung lượng RAM nhỏ hơn đã đủ cho phần trọng số. Bạn nên chọn card có VRAM đủ để model nằm trong VRAM.

Nên cắm 2 thanh hay 4 thanh RAM để có 128GB?

Trên Ryzen 9 9950X, AMD ghi tốc độ tối đa DDR5-5600 với 2 thanh và DDR5-3600 với 4 thanh. Nếu máy hay offload model lên RAM, cấu hình 2 thanh 64GB có tốc độ tối đa cao hơn, và bạn cần kiểm tra danh sách RAM tương thích của mainboard.

Chạy AI cục bộ cần RAM ECC không?

Chạy AI cục bộ không phải lúc nào cũng cần RAM ECC. Ryzen 9 9950X của AMD hỗ trợ ECC khi mainboard hỗ trợ, và Core Ultra 9 285K của Intel hỗ trợ ECC trên một số hệ thống. Bạn nên xác định nhu cầu về độ ổn định trước khi chọn RAM ECC.

Kết luận

128GB RAM hệ thống đủ cho nhiều model lớn khi lượng tử hóa, đặc biệt là model 70 tỷ tham số ở 8-bit hoặc 120 tỷ tham số ở 4-bit, nhưng tốc độ vẫn phụ thuộc vào việc model nằm ở VRAM hay ở RAM. Bạn nên tính dung lượng model theo độ chính xác định dùng, cộng thêm ngữ cảnh và hệ điều hành, rồi chọn cấu hình RAM và card phù hợp thay vì chỉ nhìn con số RAM.