RTX Spark 128GB, RTX 5090 hay Mac M5 Max: chọn máy nào chạy LLM local?

Nếu model của bạn lớn hơn VRAM của một card rời, laptop RTX Spark 128GB như ASUS ProArt P16 H7607BA-SE343W là lựa chọn dễ chạy trọn model trên GPU. Nếu model vừa trong VRAM và bạn cần tốc độ sinh chữ cao nhất, RTX 5090 thường nhanh hơn. Còn nếu bạn làm việc trong môi trường Apple (MLX, Metal), MacBook Pro M5 Max 128GB là cùng phân khúc sức chứa. Dưới đây là số liệu đã đo trên máy của Nguyễn Công PC và các số tham khảo từ nguồn khác để bạn tự đối chiếu.

Hai thứ cần phân biệt: sức chứa và tốc độ

Khi chạy LLM trên máy cá nhân có hai câu hỏi tách biệt. Câu thứ nhất là model có nạp vừa vào bộ nhớ không. Câu thứ hai là nạp vừa rồi thì máy sinh chữ nhanh đến đâu. Máy có nhiều bộ nhớ trả lời tốt câu thứ nhất, còn băng thông bộ nhớ, kiến trúc model và phần mềm chạy ảnh hưởng nhiều đến câu thứ hai.

Vì thế so sánh "máy nào mạnh hơn" mà không nói cỡ model là chưa đủ. Chúng ta nên chia theo cỡ model.

Con số 300,8GB/s của RTX Spark là tính từ 9.400 MT/s × 256 bit ÷ 8, chưa phải băng thông đo thực tế. Bộ nhớ hợp nhất do CPU và GPU dùng chung, nên dung lượng dành cho model còn phải trừ KV cache, buffer và phần hệ điều hành.

Model lớn hơn VRAM: RTX Spark 128GB có lợi thế

Trong bài benchmark của Nguyễn Công PC, model Qwen3-Next-80B-A3B-Instruct bản Q8_0 (84,81GB weights) chạy toàn bộ 49/49 layer trên GPU, đạt 47,69 token/giây và thời gian tới token đầu tiên khoảng 0,47 giây. Cả RTX 5090 Laptop (24GB) lẫn bản desktop (32GB) đều không chứa trọn weights này trong VRAM. Card rời vẫn có thể chạy model đó bằng cách đẩy bớt sang CPU, giảm quant hoặc ghép nhiều GPU, nhưng thời gian và chất lượng phải đo lại theo từng cách, và chúng tôi chưa có số đo cùng điều kiện. Chi tiết bài benchmark này ở bài chạy model AI 80B trên ProArt P16 RTX Spark.

Model vừa VRAM: RTX 5090 nhanh hơn

Ở nhóm 4-bit của họ model Qwen3.8 27B, các số tham khảo cho thấy chênh lệch khá rõ. Cần lưu ý weights, runtime và cách đo của từng nguồn khác nhau, nên đây là bối cảnh tham khảo chứ không phải phép so sánh công bằng.

Hai dòng RTX Spark khác nhau cả MTP lẫn số slot, nên bạn đừng đọc thành "MTP nhanh gấp 2,5 lần". Điều có thể nói là: với model vừa VRAM, card 5090 desktop đang cho số cao nhất trong bảng, còn RTX Spark và Mac M5 Max nằm gần nhau ở nhóm giữa.

Một bài review khác cho thấy lợi thế đổi theo tác vụ

Review của Matthew Moniz đặt ProArt P16 RTX Spark cạnh MacBook Pro M5 Max 128GB trên ba bài:

ProArt có thời gian ngắn hơn ở bài FLUX và bài tài liệu dài, trong khi Mac có tốc độ decode 27B cao hơn. Review này chưa nêu đủ model, quant và workflow để tái lập, và không nên ghép tỷ lệ với số đo máy mẫu của chúng tôi.

CUDA hay Metal: phần mềm của bạn quyết định nhiều hơn

Ngoài số token mỗi giây, bạn còn phải nghĩ tới hệ sinh thái. Nếu bạn cần CUDA (nhiều công cụ AI, ComfyUI, runtime NVIDIA) và muốn mang theo máy, ProArt RTX Spark đáp ứng, dù trên Windows on Arm vẫn có các lỗi cài đặt cần xử lý như bài kiểm tra phần mềm trước khi mua laptop RTX Spark đã nói. Nếu bạn đã quen MLX và Metal thì Mac 128GB là hướng đối chiếu hợp lý. Còn nếu cần throughput tối đa cho model vừa VRAM và không cần mang đi, một cấu hình desktop với RTX 5090 sẽ đáng đưa vào so sánh.

Chọn máy nào theo nhu cầu?

Những gì chúng tôi chưa đo

• RTX 5090 và Mac M5 Max cùng model, cùng quant, cùng runtime với RTX Spark.
• Tốc độ chạy 80B Q8 khi RTX 5090 phải offload sang CPU.
• Băng thông bộ nhớ đo thực tế (300,8GB/s là số suy tính).
• Pin, tiếng ồn, điện năng, chế độ OEM Performance.
• Mức giá và giá trị theo giá bán.

RTX Spark 128GB có chạy LLM nhanh hơn RTX 5090 không?

Không phải lúc nào cũng vậy. Với model lớn hơn VRAM của card rời, RTX Spark có lợi thế vì chứa trọn model. Với model vừa VRAM, các số tham khảo cho thấy RTX 5090 nhanh hơn rõ, ví dụ model 27B 4-bit: 40,86 token/giây trên RTX 5090 Laptop và 78,9 trên bản desktop, so với 12,73 đến 31,77 trên RTX Spark.

Vì sao RTX 5090 không chạy trọn model 80B Q8?

Weights của Qwen3-Next 80B Q8 khoảng 84,81GB, trong khi RTX 5090 Laptop có 24GB VRAM và bản desktop có 32GB. Bạn vẫn có thể chạy bằng offload sang CPU, giảm quant hoặc dùng nhiều GPU, nhưng cần đo lại tốc độ và chất lượng.

MacBook Pro M5 Max 128GB so với ProArt P16 RTX Spark thế nào?

Cùng phân khúc sức chứa 128GB bộ nhớ hợp nhất. Băng thông của M5 Max (614GB/s) cao hơn con số suy tính của RTX Spark (300,8GB/s). Trong review của Matthew Moniz, ProArt nhanh hơn ở FLUX và bài tài liệu dài, còn Mac decode model 27B nhanh hơn. Chúng tôi chưa tự đo Mac.

Băng thông bộ nhớ ảnh hưởng thế nào đến tốc độ chạy LLM?

Băng thông là một yếu tố ảnh hưởng tới throughput, cùng với kiến trúc model, runtime và workload. Vì vậy bạn không nên chỉ nhìn băng thông để dự đoán tốc độ.

Model MoE có chạy nhanh hơn model dense không?

Với model MoE như Qwen3-Next 80B-A3B, mỗi token chỉ kích hoạt khoảng 3 tỷ tham số trong tổng 80 tỷ, nên không nên suy từ số tham số tổng sang khối lượng tính toán như model dense cùng cỡ.

Chạy được model 120B trên ProArt P16 không?

Trong bài benchmark của chúng tôi, model lớn nhất đã chạy là 80B Q8. Mốc 120B và context 1 triệu token chưa được kiểm tra. Review của Matthew Moniz có bài 120B kèm tài liệu dài nhưng chưa nêu đủ thông tin để tái lập.

Nên mua laptop hay PC để chạy LLM local?

Nếu bạn cần mang đi và cần CUDA với model lớn thì laptop RTX Spark 128GB đáng xem. Nếu đặt cố định và cần tốc độ cao với model vừa VRAM thì PC RTX 5090 thường hợp hơn. Nếu chạy agent thường trực thì nên xem máy chuyên dụng.

MTP là gì và có làm model chạy nhanh hơn không?

Trong bài benchmark, cấu hình 27B Q4_K_M có MTP đạt 31,77 token/giây (1 slot), còn không MTP đạt 12,73 token/giây (4 slot). Hai cấu hình khác số slot nên chưa thể quy riêng mức tăng cho MTP.

128GB bộ nhớ hợp nhất có dùng hết cho model được không?

Không. Dung lượng dành cho model còn phải chia cho KV cache, buffer, hệ điều hành và các tác vụ khác. Trong bài benchmark, máy có GPU reservation 64GiB và CUDA budget khoảng 94,48GiB cùng nằm trong bộ nhớ hợp nhất.

Có nâng cấp RAM cho ProArt P16 RTX Spark được không?

Không. ASUS ghi RAM LPDDR5X gắn liền bo mạch, tối đa 128GB, nên bạn phải chọn dung lượng ngay khi mua.

Số liệu trong bài có đáng tin để quyết định mua không?

Nên dùng để định hướng. Số của RTX Spark là đo trên một máy mẫu ở chế độ Windows Standard khi cắm điện, còn các nền tảng khác là số tham khảo từ nguồn công bố, khác weights, runtime và giao thức. Bạn nên thử với model và phần mềm của mình trước khi quyết định.