Chạy model AI 80B trên laptop: ASUS ProArt P16 RTX Spark 128GB benchmark Qwen3-Next 80B

Có thể chạy được. Trong bài benchmark của Nguyễn Công PC, một máy ASUS ProArt P16 RTX Spark 128GB đã nạp được mô hình Qwen3-Next-80B-A3B-Instruct bản Q8 (khoảng 84,81GB weights) và chạy toàn bộ 49/49 layer trên GPU, đạt 47,69 token/giây, thời gian tới token đầu tiên khoảng 0,47 giây. Dung lượng đó vượt VRAM 24GB của RTX 5090 Laptop và 32GB của RTX 5090 desktop, nên với laptop có GPU rời, model cỡ này thường phải đổi cách chạy hoặc đổi quant. Trước khi bạn hào hứng, cần biết hai điều: số đo chỉ đến từ một máy mẫu chạy chế độ Windows Standard khi cắm điện, và phần mềm ARM64 trên máy vẫn còn nhiều trục trặc. Dưới đây là điều kiện benchmark, số đo và phần chúng tôi chưa kiểm tra.

Máy mẫu Nguyễn Công PC dùng để benchmark có cấu hình nào?

Theo bảng thông số của ASUS, ProArt P16 H7607BA dùng chip NVIDIA RTX Spark N1X, CPU Arm 20 nhân, GPU Blackwell 6.144 nhân, RAM LPDDR5X gắn liền bo mạch, tối đa 128GB. Máy mẫu là bản 128GB. Bảng dưới liệt kê điều kiện benchmark.

RAM 128GB và SSD khoảng 1TB giống với mã ASUS ProArt P16 H7607BA-SE343W đang bán tại Nguyễn Công PC. Tuy nhiên, chúng tôi chưa xác nhận được hậu tố mã thương mại của máy mẫu, nên hãy xem các con số dưới đây là tham khảo cho cùng nền tảng, không phải cam kết cho từng máy bán ra.

Nạp model 80B Q8 lên laptop: chuyện gì đã xảy ra?

Qwen3-Next-80B-A3B-Instruct bản Q8_0 gồm 2 file, tổng cộng 84.812.055.520 byte, khoảng 84,81GB. Máy mẫu đặt toàn bộ 49/49 layer lên CUDA, model buffer khoảng 80.562 MiB, lần nạp trực tiếp thành công mất khoảng 36,93 giây.

Điều đáng nói ở đây là sức chứa chứ không phải tốc độ. Card rời chỉ có 24 đến 32GB VRAM nên không thể chứa hết 84,81GB weights. Vẫn có cách chạy: đẩy bớt sang CPU, dùng quant thấp hơn hoặc ghép nhiều card. Khi đó tốc độ và chất lượng cần đo lại theo từng cách. Còn trên RTX Spark, CPU và GPU dùng chung 128GB nên model nằm gọn trong một vùng nhớ.

Hình minh họa tỷ lệ dung lượng theo số liệu bài benchmark của Nguyễn Công PC, không phải kết quả đo hiệu năng. Dung lượng dành cho model còn phải trừ KV cache, buffer và phần dự phòng của hệ điều hành.

Cách tính model cần bao nhiêu bộ nhớ, và vì sao 128GB không dành hết cho model, bạn đọc thêm trong bài laptop 128GB bộ nhớ hợp nhất chạy được mô hình AI nào.

Tốc độ chạy model: 47,69 token/giây nghĩa là gì?

Với prompt ngắn (512 token vào, 128 token ra, lấy trung vị 3 lượt chạy lại), model 80B Q8 đạt 47,69 token/giây và thời gian tới token đầu tiên khoảng 0,47 giây. Lý do nằm ở kiến trúc: đây là model MoE (nhiều chuyên gia), mỗi token chỉ kích hoạt khoảng 3 tỷ tham số trong tổng 80 tỷ. Vì vậy đừng suy tốc độ từ tổng số tham số như với một model dense cùng cỡ.

Hai dòng ở giữa khác nhau cả về MTP lẫn số slot, nên đừng đọc thành "MTP nhanh gấp 2,5 lần". Muốn biết mức tăng riêng của MTP thì phải đo khi giữ nguyên các yếu tố còn lại. Chúng tôi cũng chưa profiling để biết điều gì đang giới hạn tốc độ.

Bốn người dùng cùng lúc trên một máy

Chúng tôi chạy một instance 80B Q8 với 4 slot, context tổng 32.768, bật Flash Attention, rồi gửi 1, 2 và 4 request cùng lúc (mỗi request 512/128 token, 3 batch cho mỗi mức).

Nói ngắn gọn: càng nhiều người hỏi cùng lúc thì mỗi người nhận chữ chậm hơn, nhưng tổng lượng chữ máy tạo ra mỗi giây lại tăng. Với nhóm nhỏ thử trợ lý AI nội bộ, mức này đủ để làm thử. Tuy vậy đây chỉ là bài benchmark ngắn: chúng tôi chưa test qua mạng LAN, chưa chạy liên tục 24/7, nên chưa thể xem như máy chủ thường trực.

Đọc tài liệu dài mất bao lâu?

Bài tra cứu đưa 700 bản ghi, tương đương 18.760 prompt token, vào context. Lần đầu máy mất 15,30 giây mới ra token đầu tiên; các lượt hỏi lặp lại chỉ mất khoảng 0,13 giây nhờ cache. Cả hai lượt tra cứu trong bài đều trả lời đúng yêu cầu. Cách làm này là dán nguyên văn tài liệu vào context, chưa phải hệ thống RAG có bước tìm kiếm và xếp hạng lại, nên đừng coi đây là chatbot tra cứu tài liệu hoàn chỉnh.

Đặt cạnh RTX 5090 và Mac M5 Max

Chúng tôi chưa đo RTX 5090 hay Mac với cùng model và quant, nên không kết luận máy nào nhanh hơn. Theo thông số, băng thông bộ nhớ của RTX Spark khoảng 300,8GB/s (tính từ 9.400 MT/s nhân 256 bit chia 8, chưa phải số đo thực tế), thấp hơn Mac M5 Max 40 GPU (614GB/s) và RTX 5090 Laptop (896GB/s). Đổi lại, 128GB bộ nhớ dùng chung chứa trọn được model mà GPU 24GB VRAM không chứa nổi. Bảng so sánh chi tiết nằm trong bài RTX Spark 128GB, RTX 5090 hay Mac M5 Max.

Tạo ảnh và video trên cùng máy

Ngoài chữ, chúng tôi còn benchmark vài quy trình tạo ảnh và video: FLUX.2-klein 4B tạo 3 ảnh 512 × 512 trong khoảng 2,48 giây, Qwen Image 1536 × 1536 mất 21,61 giây ở lượt warm, và clip AI khoảng 5 giây xuất 4K60 mất khoảng 13,48 phút (nguồn sinh 1280 × 704, 24 FPS bằng Wan2.2, sau đó nội suy và upscale lên 4K60). Chi tiết xem bài tạo ảnh, video AI trên ProArt P16 RTX Spark.

Phần mềm: máy chạy được, nhưng chưa trơn tru

Chúng tôi ghi nhận 19 vấn đề trong lúc thiết lập và thử: 17 mục thuộc hệ thống, phần mềm hoặc môi trường thử, 2 mục thuộc chất lượng model. Không ghi nhận sự cố phần cứng nào trong phạm vi benchmark. Nếu bạn định mua máy để chạy AI thì nên đọc kỹ phần này. Chip dùng kiến trúc Arm nên phần mềm cần có bản ARM64 hoặc phải chạy qua lớp giả lập, như bài kiểm tra phần mềm trước khi mua laptop RTX Spark đã nói.

Các điểm đáng chú ý nhất:

• LM Studio bản x64 không dùng được GPU; phải dùng bản ARM64 mới nhận GPU và chạy suy luận.
• ComfyUI chạy Wan bị lỗi allocator, phải thêm tham số --disable-dynamic-vram mới chạy được.
• Có lần nạp model 80B dừng ở 99% rồi hết thời gian chờ sau 600 giây. Chạy trực tiếp bằng CUDA thì nạp được, còn nguyên nhân nằm ở ứng dụng nào thì chúng tôi chưa xác định.
• Khi hai instance 80B chạy cùng lúc, máy hết bộ nhớ CUDA và model trả về nội dung rỗng. Vì vậy trong bài đo, chúng tôi chỉ giữ một instance lớn.
• Creator Hub của ASUS bị màn hình đen, MuseTree không tải xong gói model video (dừng ở 99%), StoryCube bị chặn ở yêu cầu cập nhật bắt buộc.
• Trình cài driver báo Access Denied dù driver vẫn chạy bình thường. File Explorer cũng có lúc bị crash và phải khôi phục.

Phần lớn là lỗi ở bản cài và ứng dụng đi kèm chứ không phải phần cứng, nên có thể được cải thiện theo thời gian. Tuy vậy, tại thời điểm chốt bài benchmark, bạn vẫn phải tự xử lý những việc này khi mua máy về.

Những gì bài benchmark chưa kiểm tra

Để tránh hiểu quá đà, dưới đây là những gì chúng tôi chưa đo:

• Pin, tiếng ồn, điện năng tiêu thụ tại ổ cắm.
• Chế độ OEM Performance và vận hành dài hạn (số đo hiện chỉ ở Windows Standard).
• Phục vụ qua mạng LAN và chạy liên tục 24/7.
• Model tới 120B và context 1 triệu token; mức hiệu năng đỉnh FP4 mà NVIDIA công bố.
• RAG có bước tìm kiếm và xếp hạng lại, tinh chỉnh LoRA, nhận dạng và tổng hợp giọng nói, agent dùng công cụ.
• Premiere, DaVinci Resolve, Blender và game.

Bài benchmark cũng không đánh giá giá trị so với giá bán.

Ai nên cân nhắc, ai nên chọn hướng khác?

Câu hỏi thường gặp

ASUS ProArt P16 RTX Spark chạy được model AI 80B không?

Được, theo bài benchmark của Nguyễn Công PC. Máy mẫu 128GB đã nạp Qwen3-Next-80B-A3B-Instruct bản Q8_0 (khoảng 84,81GB weights) và chạy toàn bộ 49/49 layer trên GPU. Đây là kết quả trên một máy mẫu khi cắm điện, chưa phải cam kết cho mọi máy bán ra.

Chạy model 80B trên ProArt P16 được bao nhiêu token mỗi giây?

Nguyễn Công PC đo được 47,69 token/giây với prompt ngắn (512 token vào, 128 token ra), thời gian tới token đầu tiên khoảng 0,47 giây. Model này là MoE, mỗi token chỉ kích hoạt khoảng 3 tỷ tham số nên tốc độ cao hơn model dense cùng dung lượng.

Vì sao RTX 5090 không chạy được model 80B Q8 trọn trong VRAM?

Weights của model này khoảng 84,81GB, trong khi RTX 5090 Laptop có 24GB VRAM và RTX 5090 desktop có 32GB. Bạn vẫn chạy được bằng cách đẩy bớt sang CPU, giảm quant hoặc ghép nhiều GPU, nhưng tốc độ và chất lượng phải đo lại theo từng cách.

RTX Spark 128GB có nhanh hơn RTX 5090 khi chạy LLM không?

Không phải lúc nào cũng vậy. Với model lớn hơn VRAM, RTX Spark có lợi thế vì chứa trọn model. Với model vừa VRAM, các số tham khảo cho thấy RTX 5090 nhanh hơn (ví dụ model 27B 4-bit: 40,86 token/giây trên RTX 5090 Laptop và 78,9 trên bản desktop so với 12,73 đến 31,77 trên RTX Spark), nhưng các nguồn dùng weights và runtime khác nhau nên chỉ để tham khảo.

ProArt P16 RTX Spark so với MacBook Pro M5 Max khi chạy AI như thế nào?

Nguyễn Công PC chưa đo MacBook cùng model và cùng quant nên chưa kết luận máy nào nhanh hơn. Theo thông số, M5 Max có băng thông bộ nhớ cao hơn, còn ProArt P16 đã chạy trọn model 80B Q8 ở 47,69 token/giây trong benchmark của chúng tôi. Bạn xem thêm trong bài RTX Spark 128GB, RTX 5090 hay Mac M5 Max.

Một máy ProArt P16 phục vụ được mấy người dùng cùng lúc?

Trong bài benchmark ngắn, 4 request đồng thời trên một instance 80B Q8 đạt tổng 74,25 token/giây, trung vị 26,01 token/giây mỗi request, TTFT 2,00 giây, 21 request không lỗi. Chưa có benchmark phục vụ qua mạng LAN hay chạy 24/7.

Máy đọc tài liệu dài nhanh không?

Bài benchmark đưa 18.760 prompt token (700 bản ghi) vào context. Lần đầu mất 15,30 giây tới token đầu tiên, các lượt lặp khoảng 0,13 giây nhờ cache. Đây là bài context toàn văn, chưa phải RAG hoàn chỉnh.

Có tạo được ảnh và video AI trên ProArt P16 không?

Có. Nguyễn Công PC tạo 3 ảnh FLUX 512 × 512 trong khoảng 2,48 giây, ảnh Qwen Image 1536 × 1536 mất 21,61 giây ở lượt warm, và một clip khoảng 5 giây xuất 4K60 mất khoảng 13,48 phút. Clip 4K60 được sinh ở 1280 × 704 rồi nội suy và upscale, chưa phải sinh native 4K.

Chạy AI trên Windows on Arm có gặp lỗi không?

Có, và nên đọc kỹ. Chúng tôi ghi nhận 19 vấn đề, như LM Studio x64 không dùng GPU, ComfyUI lỗi allocator khi chạy Wan, Creator Hub màn hình đen, MuseTree video dừng ở 99%. Không có sự cố phần cứng nào được ghi nhận; phần lớn là bản cài và ứng dụng đi kèm.

128GB RAM có đủ cho model 80B Q8 không?

Đủ trong bài benchmark: weights khoảng 84,81GB và model buffer khoảng 80.562 MiB nằm trọn trong bộ nhớ hợp nhất. Tuy vậy dung lượng còn phải chia cho KV cache, buffer, hệ điều hành và các tác vụ khác, nên bạn không nên mong đặt thêm model lớn thứ hai cùng lúc. Khi chúng tôi chạy chồng hai instance 80B, máy bị hết bộ nhớ CUDA.

Có nâng cấp RAM cho ProArt P16 RTX Spark được không?

Không. ASUS ghi RAM LPDDR5X gắn liền bo mạch, tối đa 128GB, nên bạn phải chọn dung lượng ngay khi mua. Nếu muốn chạy model cỡ 80B Q8 thì bản 128GB là cấu hình phù hợp.

Bài benchmark này có đủ để quyết định mua máy không?

Chưa đủ. Bài benchmark chỉ dùng một máy mẫu ở chế độ Windows Standard khi cắm điện, chưa đo pin, tiếng ồn, OEM Performance, chạy dài hạn, Premiere, DaVinci Resolve, Blender hay game, và chưa đánh giá theo giá bán. Bạn nên xem thêm các bài đánh giá khác và thử phần mềm của mình trước khi quyết định.