Mini PC AI GB10 chạy được mô hình nào? Tốc độ token/giây và ghép 2 máy

Trần Mạnh G 05-11-2026, 4:30 pm

Máy GB10 nạp được những mô hình rất lớn, nhưng tốc độ trả lời phụ thuộc mạnh vào kích thước mô hình. Mô hình cỡ 20 tỷ tham số cho tốc độ sinh chữ khoảng 50 token/giây theo số đo của LMSYS, mô hình 70 tỷ tham số chỉ còn khoảng 2,7 token/giây, còn mô hình Nemotron 3 Super 120B đạt khoảng 18 token/giây theo Classmethod. Bài này gom các số đo công khai để bạn hình dung máy chạy từng loại mô hình ra sao, và nói rõ chúng đo trên máy nào.

Một lưu ý trước: các số đo dưới đây do LMSYS và Classmethod thực hiện trên máy NVIDIA DGX Spark, không phải đo trên các máy MSI, Gigabyte hay ASUS bán tại Nguyễn Công PC. Vì cùng nền tảng GB10 nên có giá trị tham khảo, nhưng kết quả thực tế còn phụ thuộc phần mềm, định dạng mô hình và cách thiết lập.

Hai chỉ số cần hiểu

Khi chạy mô hình ngôn ngữ có hai giai đoạn. Giai đoạn đọc câu hỏi (prefill) cần nhiều sức tính toán nên máy GB10 làm khá tốt. Giai đoạn sinh từng chữ (decode) lại phụ thuộc vào băng thông bộ nhớ, và đây là chỗ máy bị hạn chế vì chỉ có 273 GB/s theo NVIDIA. Bạn thấy chatbot trả lời nhanh hay chậm chủ yếu là do giai đoạn thứ hai.

Gigabyte AI TOP ATOM ATAGB10-9000, một trong các máy dùng nền tảng GB10

Số đo của LMSYS

LMSYS đo DGX Spark với nhiều mô hình. Bảng dưới là các số đáng chú ý, đơn vị là token/giây.

Mô hình và cách chạy	Đọc câu hỏi (prefill)	Sinh chữ (decode)
GPT-OSS 20B, Ollama, batch 1	2.053	49,7
Llama 3.1 8B, FP8, batch 1	7.991	20,5
Llama 3.1 8B, FP8, batch 32	7.949	368
Llama 3.1 70B, FP8, batch 1	803	2,7
DeepSeek-R1 14B, batch 8	2.074	83,5

Trong cùng bài, với GPT-OSS 20B chạy Ollama batch 1, RTX 5090 đạt khoảng 8.519 token/giây khi đọc và 205 token/giây khi sinh chữ, còn RTX PRO 6000 đạt khoảng 10.108 và 215 token/giây. Điều này khớp với việc băng thông bộ nhớ là điểm nghẽn: một card rời có băng thông cao hơn nhiều sẽ sinh chữ nhanh hơn. LMSYS cũng ghi nhận khi chạy nhiều yêu cầu cùng lúc (batch lớn hơn), tổng lượng chữ sinh ra tăng đáng kể, như mô hình 8B từ 20,5 lên 368 token/giây ở batch 32. Họ còn thử giải mã suy đoán EAGLE3 và ghi nhận tăng tới khoảng 2 lần.

MSI EdgeXpert MS-C931 nhìn nghiêng, đặt trên hộp máy

Mô hình rất lớn: số đo của Classmethod

Classmethod thử các mô hình lớn hơn. Nemotron 3 Super 120B chiếm khoảng 87 GB khi nạp, đạt khoảng 112,4 token/giây khi đọc và 17,9 token/giây khi sinh chữ. Qwen3-235B đạt 15,51 token/giây trên một máy, còn 14,57 token/giây khi ghép hai máy. Devstral 2 123B trên hai máy chỉ đạt khoảng 2,64 token/giây.

Hai điều rút ra: tốc độ khác nhau rất xa giữa các mô hình, kể cả khi cùng cỡ trăm tỷ tham số, nên bạn cần xem số đo của đúng mô hình mình định chạy. Và ghép hai máy giúp nạp được mô hình lớn hơn chứ không làm tốc độ sinh chữ tăng.

Loại mô hình	Mức phù hợp trên máy GB10	Ghi chú
Mô hình nhỏ đến 20B	Chạy tốt, nhưng card rời nhanh hơn	Máy dư bộ nhớ, thiếu băng thông
Từ 100B đến 200B	Là thế mạnh của máy về dung lượng	Nạp vừa 128 GB, tốc độ tùy từng mô hình (ví dụ Nemotron 3 Super 120B khoảng 17,9 token/giây)
Từ 70B trở lên	Chạy được, có mô hình rất chậm	Llama 3.1 70B FP8 khoảng 2,7 token/giây theo LMSYS
Tinh chỉnh đến khoảng 70B	Nằm trong mức NVIDIA công bố	Tốn nhiều bộ nhớ
Tạo ảnh, tạo video	Chạy được nhưng cần chú ý bộ nhớ	Có ca bị đứng khi sát giới hạn

Những lưu ý khi chạy thực tế

Classmethod cũng ghi lại vài vấn đề cụ thể. Mô hình tạo video Cosmos Predict 2.5 14B bị đứng máy khi chạm sát giới hạn bộ nhớ. Một số container NIM chứa file chạy dành cho x86, và thư viện CUTLASS trong vLLM chưa hỗ trợ kiến trúc sm_121 vào thời điểm họ thử. Họ cũng ghi nhận quá trình tinh chỉnh FLUX.1 bằng Dreambooth LoRA dùng khoảng 71 GB bộ nhớ GPU. Vì vậy hãy chừa khoảng trống bộ nhớ, và kiểm tra phần mềm bạn định dùng có bản cho Arm hay không.

Mặt sau MSI EdgeXpert MS-C931 với các cổng kết nối, trong đó có cổng ConnectX-7 để ghép máy

Ghép hai máy khi nào đáng làm?

Ghép hai máy chỉ đáng khi mô hình bạn cần không nằm vừa 128 GB. Theo NVIDIA, hai máy 128 GB có tổng 256 GB, đủ cho mô hình tới khoảng 400 tỷ tham số, còn bốn máy lên 512 GB nhưng cần thêm switch 200 GbE. Nếu mô hình đã nằm vừa một máy, bạn không có lợi gì về tốc độ khi mua thêm máy thứ hai. Bạn có thể xem MSI EdgeXpert MS-C931, Gigabyte AI TOP ATOM ATAGB10-9000 hoặc ASUS Ascent GX10 để chọn máy, và xem bài DGX Spark là gì nếu muốn hiểu thêm về chip.

Câu hỏi thường gặp

Máy GB10 chạy được mô hình nào?

Theo NVIDIA, suy luận tới khoảng 200 tỷ tham số trên một máy. Số đo công khai có GPT-OSS 20B, Llama 3.1, DeepSeek-R1 14B, Nemotron 3 Super 120B và Qwen3-235B.

Chạy GPT-OSS 20B được bao nhiêu token/giây?

Theo LMSYS, khoảng 49,7 token/giây khi sinh chữ với Ollama batch 1 trên DGX Spark.

Chạy Llama 70B được không?

Được nhưng chậm. LMSYS đo Llama 3.1 70B ở FP8 batch 1 khoảng 2,7 token/giây khi sinh chữ.

Vì sao sinh chữ lại chậm?

Giai đoạn này phụ thuộc vào băng thông bộ nhớ, trong khi máy có 273 GB/s, thấp hơn nhiều so với card rời cao cấp.

Chạy nhiều yêu cầu cùng lúc có tốt hơn không?

Có. LMSYS ghi nhận với Llama 3.1 8B, batch 32 cho khoảng 368 token/giây tổng so với 20,5 ở batch 1.

Ghép hai máy có nhanh hơn không?

Không. Classmethod đo Qwen3-235B là 15,51 token/giây trên một máy và 14,57 khi ghép hai máy.

Mô hình càng lớn thì càng chậm phải không?

Nhìn chung là vậy, nhưng không đều. Theo Classmethod, Nemotron 3 Super 120B đạt khoảng 17,9 token/giây còn Devstral 2 123B trên hai máy chỉ khoảng 2,64 token/giây, nên cần xem số đo đúng mô hình bạn định dùng.

Số đo này có áp dụng cho máy MSI, Gigabyte, ASUS không?

Số đo trên DGX Spark. Các hãng dùng chung nền tảng GB10 nên có giá trị tham khảo, nhưng kết quả thực tế còn tùy phần mềm và thiết lập.

Máy tạo ảnh hoặc video được không?

Được, nhưng cần chú ý giới hạn bộ nhớ. Classmethod ghi nhận một mô hình tạo video 14B bị đứng khi sát giới hạn.

Tinh chỉnh mô hình được cỡ nào?

Theo NVIDIA, tới khoảng 70 tỷ tham số trên máy 128 GB.

Phần mềm nào chưa chạy được?

Classmethod ghi một số container NIM có file x86 và vLLM CUTLASS chưa hỗ trợ sm_121 vào thời điểm họ thử. Tình trạng này có thể đã thay đổi theo thời gian.