GPU NVIDIA Rubin: Kiến trúc mới cho kỷ nguyên Agentic AI

Những gì bắt đầu như việc huấn luyện mô hình AI riêng lẻ và các giao diện trò chuyện hướng tới người dùng đã phát triển thành các nhà máy AI luôn hoạt động (always-on AI factories), chuyên sản xuất trí tuệ ở quy mô lớn. Các nhà máy này hiện được giao nhiệm vụ vận hành các quy trình công việc agentic (agentic workflows) – vốn có khả năng suy luận, lập kế hoạch, sử dụng công cụ, xác minh kết quả trung gian và thực thi các tác vụ phức tạp nhiều bước trên các ngữ cảnh rộng lớn.

Khối lượng công việc agentic không được định nghĩa bởi một câu lệnh (prompt) và phản hồi duy nhất, mà bởi quá trình suy luận kéo dài qua nhiều bước suy luận (reasoning steps). Chúng đòi hỏi độ trễ theo từng bước thấp, băng thông giải mã (decode throughput) cao, cơ chế chú ý ngữ cảnh dài (long-context attention) hiệu quả, dung lượng KV cache lớn và khả năng mở rộng các mô hình trên các miền GPU gắn kết chặt chẽ. Trung tâm dữ liệu phải được tái định hình như một đơn vị tính toán duy nhất, một tầm nhìn được hiện thực hóa với nền tảng NVIDIA Vera Rubin.

Trọng tâm của nền tảng là GPU NVIDIA Rubin, được thiết kế để mang lại hiệu suất agentic cao hơn tới 10 lần trên mỗi đơn vị năng lượng so với NVIDIA Blackwell (Hình 1). Các Tensor Core được cải tiến với khả năng linh hoạt về độ chính xác được mở rộng, hệ thống con bộ nhớ HBM4 mới và Transformer Engine thế hệ thứ ba—mang lại hiệu suất suy luận NVFP4 lên tới 50 petaflops—phối hợp với nhau để tăng tốc các khối lượng công việc agentic một cách hiệu quả.

Hình 1. Các đường biên Pareto minh họa mức tăng trưởng hiệu suất suy luận agentic gấp 10 lần qua các thế hệ của nền tảng Vera Rubin (khối lượng công việc nội bộ MoE 2T)

Bài viết này nghiên cứu cách GPU NVIDIA Rubin và hệ thống mở rộng quy mô (scale-up) được đồng thiết kế của nó giải quyết các điểm nghẽn từ đầu đến cuối của suy luận agentic, từ di chuyển dữ liệu và hiệu suất tính toán đến thực thi ngữ cảnh dài và triển khai ở quy mô tủ rack (rack-scale).

Kiến trúc GPU Rubin hỗ trợ khối lượng công việc agentic như thế nào?

GPU Rubin (Hình 2) được xây dựng từ các khuôn tính toán (compute die) giới hạn reticle nhằm đạt được mật độ và hiệu suất cao. Hai khuôn này được hợp nhất trên một gói (package) duy nhất thông qua một liên kết liên khuôn tốc độ cao gọi là NVIDIA High-Bandwidth Interface (NV-HBI).

Hình 2. Kiến trúc chip GPU NVIDIA Rubin

Kiến trúc này bắt đầu với thách thức giữ cho một lượng tài nguyên tính toán khổng lồ hoạt động hiệu quả khi khối lượng công việc agentic chuyển đổi giữa suy luận, tạo nội dung, truy xuất và sử dụng công cụ. 336 tỷ bóng bán dẫn, 224 bộ đa xử lý dòng (Streaming Multiprocessors - SM) và 896 Tensor Core mang lại mật độ tính toán thô, trong khi Transformer Engine thế hệ thứ ba điều chỉnh độ chính xác trên các định dạng số. Sự linh hoạt đó cho phép GPU Rubin cung cấp hiệu suất suy luận NVFP4 lên tới 50 petaflops trong khi vẫn bảo toàn độ chính xác.

Nhưng hiệu suất phụ thuộc vào nhiều yếu tố hơn là chỉ băng thông của Tensor Core. GPU Rubin tổ chức các tài nguyên tính toán thành các Cụm Bộ xử lý Đồ họa (Graphics Processor Clusters - GPC) với bộ nhớ đệm L2 tập trung lớn. GigaThread Engine điều phối công việc, MIG Control phân chia GPU cho nhiều khối lượng công việc khác nhau, và NV-DEC tăng tốc giải mã. Cùng nhau, các năng lực này giúp GPU Rubin biến mật độ tính toán thành khả năng khai thác liên tục trên các khối lượng công việc đa dạng và động – những yếu tố định hình các hệ thống agentic quy mô lớn.

Mức độ khai thác đó cũng phụ thuộc vào tốc độ dữ liệu có thể tiếp cận các lõi tính toán. Rubin tích hợp bộ nhớ HBM4 lên tới 288 GB, được điều khiển bởi các bộ điều khiển HBM chuyên dụng và các chồng 12-Hi, để mang lại băng thông đỉnh lên tới 22 TB/s. Bộ tăng tốc bộ nhớ Tensor (Tensor Memory Accelerator - TMA) cải tiến quản lý việc di chuyển hiệu quả cao trên các cấu trúc dữ liệu phức tạp, trong khi NVIDIA NVLink 6 cung cấp băng thông mở rộng scale-up 3.600 GB/s tới NVLink Switch cho giao tiếp GPU-GPU toàn thể (all-to-all), NVLink-C2C cung cấp 1.800 GB/s cho giao tiếp nhất quán CPU-GPU, và x16 PCIe Gen 6 cung cấp kết nối máy chủ lên tới 256 GB/s.

Cuối cùng, các triển khai agentic quy mô lớn phải bảo vệ dữ liệu khi nó di chuyển qua miền thực thi này. Tính toán bảo mật (Confidential Computing) với TEE-I/O được thiết kế để bảo vệ dữ liệu khi nghỉ, khi truyền và khi sử dụng trên toàn bộ nhà máy AI. Cùng nhau, các năng lực tính toán, bộ nhớ, kết nối và bảo mật này tạo thành nền tảng cấp GPU cho các khối lượng công việc agentic vốn phải duy trì thực thi hiệu quả trên các mô hình ngày càng lớn và các miền mở rộng scale-up.

GPU Rubin tăng tốc các tuyến suy luận quan trọng như thế nào?

Chỉ riêng hiệu suất tính toán đỉnh là không đủ để tăng tốc suy luận agentic. Hiệu suất thực tế còn phụ thuộc vào mức độ hiệu quả của GPU trong việc di chuyển dữ liệu, thực thi các phép toán ma trận, xử lý chú ý ngữ cảnh dài và chuyển đổi giữa các kernel phụ thuộc lẫn nhau. Phần này khám phá các tính năng của GPU Rubin được thiết kế để giảm chi phí phát sinh (overhead) trong các tuyến thực thi quan trọng này.

Tăng tốc di chuyển trọng số và token MoE ở quy mô tủ rack

Các mô hình phối hợp chuyên gia (Mixture-of-experts - MoE) định tuyến các token một cách động qua nhiều mạng chuyên gia (expert networks). Khi số lượng chuyên gia tăng lên, việc định vị và di chuyển trọng số của các chuyên gia một cách hiệu quả ngày càng trở nên quan trọng đối với hiệu suất suy luận.

GPU Rubin nâng cấp Tensor Memory Accelerator để giảm chi phí di chuyển dữ liệu cho các mô hình sử dụng nhiều chuyên gia. Khả năng xử lý bộ mô tả (descriptor) được cải tiến cho phép phần mềm làm việc hiệu quả hơn với các tensor chia sẻ cùng cấu trúc nhưng nằm ở các vị trí khác nhau trong bộ nhớ.

Rubin cải thiện điều này bằng việc hỗ trợ cập nhật descriptor nội dòng (inline descriptor update) cho TMA (Hình 3). Thay vì sửa đổi descriptor trong bộ nhớ, kernel có thể giữ một descriptor hợp nhất cho các tensor chia sẻ cùng cấu trúc và ghi đè trực tiếp các trường như con trỏ bộ nhớ và stride ngay trong lệnh TMA tại thời điểm chạy (runtime).

Hình 3. Rubin đơn giản hóa việc chia sẻ descriptor MoE

Điều này giúp các mô hình MoE mở rộng quy mô hiệu quả hơn khi số lượng chuyên gia tăng lên. Bằng cách giảm chi phí quản lý dữ liệu đặc tả (metadata) và di chuyển dữ liệu, Rubin cho phép dành nhiều thời gian GPU hơn cho việc tính toán suy luận hữu ích, hỗ trợ băng thông cao hơn cho các khối lượng công việc agentic dựa trên các mô hình MoE lớn.

Gấp đôi hiệu suất các phép toán ma trận ở quy mô tủ rack

Rubin gấp đôi băng thông Tensor Core trên mỗi chu kỳ xung nhịp bằng cách gấp đôi lượng dữ liệu mà nó có thể xử lý theo chiều $K$ (K dimension). Tối ưu hóa này không chỉ giúp ích cho các kernel bị giới hạn bởi băng thông tính toán (throughput-bound) mà còn cho cả các kernel bị giới hạn bởi bộ nhớ và độ trễ (memory and latency bound).

Khi việc thực thi mô hình được chia tách trên nhiều GPU, mỗi GPU thường nhận được một phần việc đầu ra nhỏ hơn trong khi chiều thu giảm (reduction dimension) vẫn giữ nguyên kích thước lớn.

Lợi ích của chiều $K$ lớn hơn là số lần lặp vòng lặp $K$ ít hơn. Trong Hình 4, một phép GEMM yêu cầu 4 lần lặp $K$ trên Blackwell có thể được hoàn thành chỉ với 2 lần lặp trên Rubin. Ít vòng lặp hơn giúp giảm chi phí lặp, cải thiện mức độ khai thác Tensor Core và giúp cả GEMM ngữ cảnh lẫn GEMM giải mã chạy hiệu quả hơn ở quy mô song song tensor (tensor-parallel scale) cao.

Hình 4. Rubin gấp đôi băng thông lệnh theo chiều K

Giải quyết các thách thức then chốt trong xử lý ngữ cảnh dài cho AI Agentic

Các khối lượng công việc AI Agentic và ngữ cảnh dài đặt áp lực ngày càng tăng lên cơ chế chú ý (attention). Khi cửa sổ ngữ cảnh mở rộng, mô hình phải so sánh nhiều token hơn, chuẩn hóa các ma trận điểm số chú ý lớn hơn và áp dụng các điểm số đó cho dữ liệu giá trị (value) được dùng để tạo ra đầu ra của lớp tiếp theo. Điều này làm cho attention trở thành một trong những tuyến hiệu suất quan trọng nhất để cải thiện số token trên giây trên mỗi người dùng (tokens per second per user).

Rubin tăng tốc attention bằng cách kết hợp tính thưa của kích hoạt (activation sparsity) với nén thích ứng (adaptive compression) và nâng cao băng thông softmax. Một cách đơn giản, an toàn và hiệu quả để sử dụng các tính năng thưa mới của Rubin trong attention như sau: Tiến trình attention bắt đầu với một phép tính $QK^T$ dày đặc (dense) để tạo ra các điểm số chú ý trung gian. Sau đó, Rubin có thể tải dữ liệu trung gian đó từ Tensor Memory vào dạng thưa nén cấu trúc 2:4, tạo ra cả các giá trị khác không và các metadata cần thiết để sử dụng chúng một cách hiệu quả, đồng thời giảm chi phí ghi và yêu cầu lưu trữ của các điểm số. Điều này cho phép các giai đoạn attention sau vận hành trên ít dữ liệu hơn trong khi vẫn bảo toàn định dạng đầu ra dày đặc mà phần còn lại của mô hình mong đợi.

Hình 5. Các tính năng thưa của Rubin có thể được áp dụng cho các kích hoạt của khối attention và khối MLP

Biểu diễn trung gian được nén này giúp giảm khối lượng công việc ở hai vị trí then chốt: softmax và phép GEMM attention thứ hai. Softmax có thể hoạt động trên các giá trị attention khác không, và phép nhân tiếp theo với ma trận $V$ dày đặc có thể sử dụng MMA thưa với các giá trị khác không từ Softmax và metadata từ bước nén ban đầu. Kết quả là giảm bớt việc tính toán và di chuyển dữ liệu trong phần tốn kém nhất của attention ngữ cảnh dài, giúp cải thiện chỉ số token/watt mà không yêu cầu tiến trình mô hình xung quanh phải thay đổi giao diện.

Rubin cũng cải thiện băng thông softmax. Khi băng thông Tensor Core tăng lên, softmax có thể trở thành điểm nghẽn vì nó phụ thuộc vào các phép toán mũ và các phép thu giảm (reduction) trên các hàng attention. Rubin tăng băng thông phép toán mũ, bao gồm tăng 2 lần băng thông FP32 và 4 lần băng thông BF16/FP16 so với mức cơ sở của Blackwell, giúp softmax giữ kịp tốc độ với các phép toán ma trận nhanh hơn.

Bảng 1. Băng thông phép toán mũ tăng từ Blackwell lên Rubin

Cùng nhau, các tính năng này làm cho sự tăng tốc attention của Rubin không chỉ dừng lại ở cải tiến cho một kernel đơn lẻ. Activation sparsity làm giảm lượng công việc attention trung gian, trong khi các phép toán mũ nhanh hơn làm giảm điểm nghẽn ở softmax.

Cải thiện hiệu suất thực thi kernel

Khi suy luận mở rộng trên các mô hình lớn hơn và nhiều GPU hơn, băng thông Tensor Core thô chỉ là một phần của bức tranh hiệu suất. GPU cũng cần chuyển đổi hiệu quả từ kernel này sang kernel tiếp theo. Trong suy luận, điều này đặc biệt quan trọng vì các kích hoạt (activations) thường nằm trên tuyến đường găng (critical path): một kernel tạo ra dữ liệu kích hoạt, ghi nó vào bộ nhớ, và kernel tiếp theo tiêu thụ dữ liệu đó để tiếp tục tạo ra token tiếp theo.

Thực thi sản xuất - tiêu thụ (producer-consumer) truyền thống có thể tạo ra các khoảng trống (bubbles) trong dòng thời gian của GPU. Một kernel producer có thể hoàn thành công việc cho một số tile hoặc thread block sớm, nhưng kernel consumer có thể chưa bắt đầu công việc hữu ích cho đến khi một phụ thuộc rộng hơn được giải quyết. Cơ chế kích hoạt phụ thuộc bằng lập trình (programmatic dependent launch) của Blackwell đã cải thiện điều này bằng cách cho phép kernel consumer tiến triển sớm hơn, nhưng công việc phụ thuộc vẫn có thể phải chờ dữ liệu kích hoạt cần thiết sẵn sàng.

Hình 6. Chồng lấp Producer-consumer: Kích hoạt hàng loạt của Blackwell (trên) và kích hoạt cấp Tile của Rubin (dưới)

Rubin cho phép sự phối hợp tinh vi hơn giữa các kernel phụ thuộc. Điều này cho phép công việc của consumer bắt đầu sớm hơn ngay khi dữ liệu đầu vào cần thiết trở nên sẵn sàng, thay vì phải chờ một tập hợp công việc lớn hơn của producer hoàn tất.

Kết quả là dòng thời gian GPU được sắp xếp chặt chẽ hơn, giảm các khoảng trống nhàn rỗi và cải thiện sự chồng lấp giữa các kernel phụ thuộc. Điều này đặc biệt có giá trị đối với suy luận agentic, nơi các kích hoạt di chuyển tuần tự qua mô hình và độ trễ từ kernel sang kernel ảnh hưởng trực tiếp đến số token trên giây trên mỗi người dùng.

Bộ nhớ và truyền thông của Rubin duy trì suy luận băng thông cao như thế nào?

Khi các mô hình, cửa sổ ngữ cảnh và miền GPU phát triển, việc di chuyển dữ liệu trở nên quan trọng không kém gì việc tính toán. Rubin được thiết kế để cải thiện dòng chảy của trọng số, kích hoạt, dữ liệu KV cache và lưu lượng truyền thông bên trong GPU cũng như trên các hệ thống mở rộng scale-up. Các phần tiếp theo sẽ xem xét các sáng kiến về bộ nhớ và truyền thông giúp duy trì suy luận băng thông cao.

Truyền thông scale-up được tăng tốc

Khi suy luận mở rộng từ một GPU duy nhất lên các hệ thống cấp tủ rack hoàn chỉnh, truyền thông trở thành một phần của tuyến hiệu suất quan trọng. Khi truyền thông được dung hợp (fused) trực tiếp bên trong một kernel GPU, kernel không dừng lại và chuyển quyền kiểm soát lại cho CPU; nó ghi dữ liệu trực tiếp hoặc thực hiện các phép thu giảm (reductions) qua NVLink tới một GPU khác trong khi việc tính toán vẫn đang diễn ra.

Truyền thông GPU-sang-GPU truyền thống yêu cầu công việc phối hợp và đồng bộ hóa bên cạnh việc di chuyển dữ liệu tải (payload data). Các bước này có thể làm tăng độ trễ và tiêu tốn băng thông kết nối liên thông, đặc biệt là khi truyền thông diễn ra thường xuyên trong các khối lượng công việc suy luận phân tán.

Rubin giới thiệu các phép ghi đếm (counted writes) cho truyền thông NVLink do thiết bị khởi xướng (device-initiated). Khả năng này tinh gọn quá trình đồng bộ hóa cho các lượt truyền dữ liệu GPU-sang-GPU bằng cách cho phép GPU nhận theo dõi việc hoàn tất truyền dữ liệu một cách hiệu quả hơn.

Hình 7. Rubin tăng tốc truyền thông NVLink bằng cách sử dụng các phép ghi đếm (counted writes)

Truyền thông dung hợp NVLink với các phép ghi đếm cung cấp một cơ chế có độ trễ thấp hơn để điều phối việc di chuyển dữ liệu GPU-sang-GPU, giúp duy trì quá trình tính toán liên tục thay vì phải chờ đợi các thao tác đồng bộ hóa.

Đồng thiết kế hệ thống con bộ nhớ cho hiệu suất năng lượng và tính toán tối đa

Giai đoạn giải mã (decode), hay giai đoạn tạo (generation), của quá trình suy luận về bản chất bị giới hạn bởi hệ thống con bộ nhớ (memory subsystem bound). Vấn đề không nằm ở thông số băng thông đỉnh, mà là mức độ hiệu quả mà mỗi kernel có thể khai thác toàn bộ hệ thống con bộ nhớ. Các khối lượng công việc suy luận và agentic hiện đại làm trầm trọng thêm hạn chế này bằng cách dành nhiều thời gian chạy từ đầu đến cuối hơn cho giai đoạn decode: ngữ cảnh dài, KV cache lớn và việc tạo token tương tác khiến băng thông bộ nhớ thực tế đạt được trở thành đòn bẩy hiệu suất quan trọng.

Hình 8. Mức tăng trưởng băng thông bộ nhớ từ Blackwell đến Rubin

Rubin giải quyết điều này bằng HBM4 kết hợp với hệ thống con bộ nhớ định vị (localized memory subsystem) hiệu quả cao. HBM4 gấp đôi độ rộng giao diện so với HBM3e. Kết hợp với bộ điều khiển bộ nhớ mới, sự đồng thiết kế chuyên sâu với hệ sinh thái bộ nhớ, và sự tích hợp chặt chẽ hơn giữa tính toán - bộ nhớ, hệ thống con này mang lại băng thông bộ nhớ lên tới 22 TB/s: tăng 2,8 lần so với Blackwell và Blackwell Ultra.

Rubin cũng cung cấp lên tới 288 GB HBM4 cho mỗi GPU, tăng dung lượng sẵn có trên gói (on-package) so với Blackwell. Dung lượng và băng thông đóng các vai trò khác nhau nhưng bổ trợ lẫn nhau:

• Dung lượng (Capacity): Hỗ trợ duy trì mô hình trong bộ nhớ (model residency), cửa sổ ngữ cảnh lớn hơn, KV cache lớn hơn và mức độ đồng thời (concurrency) cao hơn mà không cần đẩy bớt KV cache ra ngoài (offload) một cách không cần thiết.

• Băng thông (Bandwidth): Hỗ trợ giai đoạn tạo từng token (token-by-token generation), trong đó các trọng số mô hình và trạng thái KV phải được di chuyển đủ nhanh để giữ cho các công cụ tính toán hoạt động hiệu quả.

• Hệ thống con bộ nhớ (Memory subsystem): TMA và các chiến lược định vị bộ nhớ (memory-locality) giúp phần mềm sử dụng hệ thống con bộ nhớ một cách hiệu quả, hỗ trợ đạt được băng thông cao cho các cấu trúc dữ liệu phức tạp.

HBM4 với dung lượng cao và băng thông lớn là yếu tố then chốt để lưu trữ các mô hình hàng nghìn tỷ tham số (multitrillion-parameter), mở rộng độ dài ngữ cảnh mà không cần offload KV cache, và hỗ trợ các khối lượng công việc suy luận dài hạn (long-horizon) có tính đồng thời cao.

NVIDIA đang thiết kế cho hiệu suất, khả năng mở rộng và độ tin cậy như thế nào?

Hạ tầng AI Agentic phải tối ưu hóa nhiều hơn là chỉ các GPU riêng lẻ; nó phải sử dụng hiệu quả nguồn điện, tản nhiệt, mạng và tài nguyên cấp tủ rack trên toàn bộ nhà máy AI. NVIDIA Vera Rubin NVL72 mở rộng kiến trúc GPU thành một miền thực thi ở quy mô tủ rack (rack-scale execution domain) tích hợp và kiên cường. Phần này xem xét cách NVIDIA tiếp cận hiệu suất năng lượng, khả năng mở rộng vận hành và độ tin cậy ở cấp độ hệ thống.

Tăng số lượng GPU trong cùng một ngân sách năng lượng

AI Agentic biến hiệu suất năng lượng thành bài toán của cả nhà máy AI, chứ không chỉ đơn thuần là vấn đề công suất GPU. Ở quy mô tủ rack, Vera Rubin NVL72 tích hợp tính toán, kết nối mạng, tản nhiệt chất lỏng, điều hướng công suất (power steering) và Làm phẳng Công suất Thông minh (Intelligent Power Smoothing) cùng với lưu trữ năng lượng thành một miền thực thi duy nhất được thiết kế để tối đa hóa đầu ra token hữu ích trong một giới hạn công suất (power envelope) cố định.

Hình 9. Biểu đồ công suất GPU cho thấy tác động của các kỹ thuật làm phẳng công suất

Nhu cầu công suất có thể biến động mạnh trong quá trình xử lý các khối lượng công việc AI, tạo ra các đỉnh nhọn ngắt quãng làm lãng phí dung lượng sẵn có và giảm băng thông ở cấp độ nhà máy. Các bộ nguồn Vera Rubin sử dụng kỹ thuật Làm phẳng Công suất Thông minh dựa trên trạng thái sạc (SoC) để hấp thụ các biến động này, giảm mức tiêu thụ điện năng trung bình khoảng 10% so với các kỹ thuật làm phẳng công suất thế hệ trước và giảm đỉnh công suất 50 ms khoảng 20%. Bằng cách cung cấp một hồ sơ công suất (power profile) ổn định hơn, hệ thống có thể giảm yêu cầu công suất tối đa duy trì, mang lại lợi ích cho hạ tầng điện hỗ trợ và lưới điện, đồng thời cho phép nhiều năng lực tính toán hơn trong cùng một ngân sách năng lượng của nhà máy AI.

Ở cấp độ nhà máy AI, NVIDIA DSX MaxLPS mở rộng tiếp cận này trên các GPU, tủ rack, tản nhiệt chất lỏng 45°C và các khối lượng công việc, trong khi DSX OS cung cấp lớp vận hành cho việc lập lịch, quản lý vòng đời và tự động hóa giám sát sức khỏe hệ thống. Cùng nhau, chúng được thiết kế để thu hồi nguồn điện bị lãng phí và tăng năng lực tính toán hữu ích trong một giới hạn megawatt cố định. DSX MaxLPS có thể cho phép các nhà vận hành triển khai thêm tới 40% số lượng GPU (Hình 10) trong cùng một ngân sách năng lượng tại các điểm vận hành tiết kiệm năng lượng, với tác động tối thiểu đến hiệu suất công việc.

Hình 10. Với cùng một ngân sách năng lượng, DSX MaxLPS cho phép triển khai thêm tới 40% GPU

Thiết kế tủ rack cho khả năng chống chịu và khả năng mở rộng trung tâm dữ liệu

Vera Rubin NVL72 mở rộng GPU Rubin thành một miền thực thi ở quy mô tủ rack cho các khối lượng công việc agentic đa tủ rack và hàng nghìn tỷ tham số. Kiến trúc tủ rack MGX thế hệ thứ ba của nó kết hợp khay tính toán và khay chuyển mạch không dùng cáp (cable-free), tản nhiệt chất lỏng 45°C, điều hướng công suất quy mô tủ rack động và Làm phẳng Công suất Thông minh để giữ cho tính toán, mạng, tản nhiệt và nguồn điện vận hành như một hệ thống thống nhất. Các khay chuyển mạch NVLink hỗ trợ thay thế nóng (hot-swappable) và các năng lực RAS (Reliability, Availability, and Serviceability) được cải tiến tiếp tục hỗ trợ vận hành kiên cường ở quy mô lớn.

Thiết kế tủ rack này là nền tảng cho các hệ thống agentic đa tủ rack quy mô pod (pod-scale), với kết nối mở và linh hoạt trên NVLink và NVIDIA Spectrum-X Ethernet.

Kết luận

Rubin không phải là một bước nâng cấp hiệu năng đơn thuần, mà là một lần thiết kế lại toàn diện để phục vụ đúng cách AI vận hành trong thời gian tới. Từ việc nhân đôi băng thông tính toán ma trận, tối ưu riêng cho mô hình MoE, cho đến việc rút ngắn thời gian chờ giữa các kernel, mỗi cải tiến đều nhắm vào một điểm nghẽn cụ thể trong chuỗi xử lý agentic, thay vì chỉ chạy theo một con số hiệu năng đơn lẻ.

Có thể nói, Rubin đặt nền móng phần cứng cho giai đoạn tiếp theo của AI, nơi tốc độ và hiệu quả năng lượng ở cấp độ tủ rack sẽ quyết định quy mô mà các "nhà máy AI" có thể vận hành trong thực tế. Ở quy mô nhỏ hơn, cùng một triết lý thiết kế đó cũng đang dần lan xuống các hệ thống AI cá nhân và doanh nghiệp vừa. Nếu bạn đang tìm một dàn máy đủ sức train model, chạy inference hoặc xử lý workload AI hàng ngày, có thể tham khảo các cấu hình PC AI tại Nguyễn Công PC để chọn được bộ máy phù hợp với nhu cầu và ngân sách thực tế.

Nguồn: NVIDIA DEVELOPER

XEM THÊM:

NVIDIA hé lộ chi tiết DLSS 5

NVIDIA Vera Rubin nâng cao hiệu suất trên mỗi Watt