Chi trong 4 năm, AMD đã làm ra CPU AI mới với hiệu năng tốt hơn gần 30 lần so với thế hệ cũ

Quân 13-12-2024, 10:14 am

Sự kết hợp giữa dòng EPYC 9005-series và Instinct MI300X không chỉ khẳng định vị thế công nghệ hàng đầu của AMD mà còn đặt ra tiêu chuẩn mới về hiệu suất năng lượng, hướng đến một ngành công nghệ bền vững hơn trong tương lai.

Những bước nhảy và thành tựu kỳ diệu của AMD

Hiệu suất năng lượng là yếu tố cốt lõi trong việc cải thiện hiệu năng cho các bộ xử lý AI và HPC. Đây cũng là sân chơi mà AMD cùng các công ty công nghệ hàng đầu khác liên tục cạnh tranh qua từng thế hệ sản phẩm. Vào năm 2021, AMD đã đặt ra mục tiêu tăng hiệu suất năng lượng của dòng vi xử lý EPYC và bộ tăng tốc Instinct lên 30 lần so với năm 2020 vào năm 2025. Tuy nhiên, nhờ những tiến bộ với các sản phẩm EPYC 9005-series "Turin" và Instinct MI300X, AMD gần như đã hoàn thành mục tiêu này trước thời hạn một năm.

AMD đã tiến hành thử nghiệm mô hình Llama3.1-70B bằng một hệ thống mạnh mẽ gồm hai CPU EPYC 9575F, mỗi CPU có 64 nhân, tám bộ tăng tốc Instinct MI300X và 2.304 GB RAM DDR5. Trong thử nghiệm này (vLLM 0.6.1.post2, TP8 Parallel, FP8, continuous batching), hệ thống mới cho thấy hiệu suất năng lượng cao gấp 28,3 lần so với một hệ thống từ năm 2020 mà AMD không tiết lộ chi tiết.

Dù cấu hình cụ thể của hệ thống cũ không được công bố, có thể giả định rằng nó sử dụng CPU EPYC 7002-series với kiến trúc Zen 2 và bộ tăng tốc Instinct MI100 dựa trên CDNA 1.

Khoảng cách hiệu năng giữa hai thế hệ sản phẩm là rất lớn. MI300X hỗ trợ FP8 ngang bằng với INT8, trong khi MI100 không có khả năng hỗ trợ FP8. MI300X đạt hiệu suất INT8 lên tới 2.615 TOPS (5.230 TOPS khi sử dụng sparsity), vượt xa MI100 với chỉ 184,6 TOPS. Ngoài ra, bộ nhớ HBM3 192 GB với tốc độ 5,30 GB/s của MI300X cũng vượt trội hoàn toàn so với HBM2 32 GB với tốc độ 1,20 GB/s của MI100.

AMD cho biết rằng bên cạnh việc cải tiến phần cứng, những tiến bộ trong kiến trúc và tối ưu hóa phần mềm đã đóng vai trò quan trọng trong việc nâng cao hiệu suất năng lượng. Gần đây, công ty đã ra mắt bộ tăng tốc Instinct MI325X sử dụng kiến trúc CDNA 3 và bộ nhớ HBM3E dung lượng 288 GB. Đến năm 2025, AMD dự kiến sẽ giới thiệu MI355X với kiến trúc CDNA 4, cải thiện hiệu suất FP8 và FP16 lên khoảng 80% so với MI325X. Bộ tăng tốc này còn hỗ trợ định dạng FP4 và FP6, đạt hiệu năng tối đa 9,2 PetaFLOPS (FP4), một tính năng rất phù hợp cho các mô hình ngôn ngữ lớn.

Sam Naffziger - Phó Chủ tịch cấp cao kiêm Kiến trúc sư Công nghệ Sản phẩm của AMD đã chia sẻ rắng:

"Nhờ cách tiếp cận tích hợp giữa phần cứng và phần mềm, chúng tôi tin tưởng vào khả năng vượt qua mục tiêu 30x25 và rất lạc quan về những cơ hội phía trước. Chúng tôi dự đoán hiệu suất năng lượng sẽ có bước tiến vượt bậc trong những năm tới".

Xem thêm:

AMD Ryzen 9 9950X3D sẽ ra mắt vào cuối tháng 1/2025

AMD đạt mức kỷ lục về thị phần CPU để bàn trong Q3/2024

AMD Radeon RX 9070 XT và RX 9070 sẽ ra mắt vào tháng 3 tới đây

07-02-2025, 6:30 pm

Sau khi được giới thiệu sơ bộ tại CES 2025, CEO của AMD mới đây đã xác nhận rằng hai mẫu card đồ họa tầm trung dành cho game thủ bao gồm RX 9070 và RX 9070 XT sẽ chính thức lên kệ ngay trong tháng 3 tới.

DeepSeek là gì? Hướng dẫn đăng ký và chi tiết cách sử dụng DeepSeek

03-02-2025, 11:20 am

DeepSeek hiện đang gây chú ý trong giới công nghệ khi vươn lên trở thành một trong những mô hình AI tiên tiến và hiệu quả bậc nhất hiện nay, thu hút sự quan tâm của các ông lớn như OpenAI và Google.

Dòng CPU Arrow Lake của Intel quá tệ chính là nguyên nhân khiến AMD Ryzen 7 9800X3D bán chạy?

11-01-2025, 11:41 am

Frank Azor, một trong những lãnh đạo quan trọng của AMD đã thẳng thắn chỉ trích dòng CPU Arrow Lake của Intel. Ông cho rằng đây là một dòng sản phẩm không đạt được kỳ vọng của người tiêu dùng.

RTX 5090 được cho là sẽ có mức tiêu thụ điện dưới 600W, khác với những tin đồn trước đây

04-01-2025, 3:39 pm

Mới đây, thông tin rò rỉ về công suất tiêu thụ điện của RTX 5090 lại một lần nữa xuất hiện, nhưng sẽ ko phải là mức 600W hoặc cao hơn như những tin đồn trước đây.

TUẦN LỄ DEAL KHỦNG TẠI KHUNG GIỜ SIÊU SALE

13-12-2024, 11:29 am

Chương trình khuyến mại "TUẦN LỄ DEAL KHỦNG TẠI KHUNG GIỜ SIÊU SALE" diễn ra duy nhất trong khung giờ từ 9h00 - 12h00 (ngày 16/12 đến 21/12).

Meta AI chính thức 'đặt chân' tới Việt Nam, cạnh tranh trực tiếp với ChatGPT và Gemini

05-12-2024, 10:45 am

Một tin vui dành cho những ai đang chờ đợi mô hình trí tuệ nhân tạo từ Meta, đó chính là Meta AI đã có thể sử dụng tại Việt Nam bắt đầu từ hôm nay.

Inno3D xác nhận dòng card đồ họa RTX 50 sẽ ra mắt tại CES 2025

30-11-2024, 2:53 pm

Trong một buổi phát trực tiếp đặc biệt do Pichau tổ chức, khán giả đã được thưởng thức một phiên thảo luận kéo dài 11 giờ với sự góp mặt của nhiều khách mời. Trong số đó, đại diện của Inno3D Brazil đã vô tình tiết lộ thông tin liên quan đến tin đồn về dòng RTX 50.

NVIDIA chuẩn bị ra mắt CPU có GPU tích hợp mạnh ngang RTX 4070 dành cho laptop

17-11-2024, 10:48 am

Gần đây, đã có nhiều báo cáo cho rằng NVIDIA đang chuẩn bị cho ra mắt một mẫu CPU mới có tích hợp nhân đồ họa với hiệu năng có thể sánh ngang với GPU RTX 4070 dành cho laptop.

Cách phát hiện và phòng tránh các file EXE nguy hiểm, độc hại

16-11-2024, 5:28 pm

Tội phạm mạng thường dùng các file EXE nguy hiểm để phân tán phần mềm độc hại bao gồm malware, ransomware hoặc spyware. Vì thế, việc nhận diện và tránh xa các file có khả năng gây hại là rất quan trọng để bảo vệ thiết bị khỏi nguy cơ lây nhiễm. Nếu bạn nghi ngờ rằng một file không an toàn, có nhiều cách để kiểm tra trước khi sử dụng.

Micron trình làng ổ SSD 60TB Gen 5 đầu tiên trên thế giới

14-11-2024, 11:47 am

Mới đây, Micron đã vừa âm thầm cho ra mắt mẫu ổ cứng SSD PCIe Gen 5 với dung lượng 60TB siêu lớn đầu tiên trên thế giới nhưng chưa tiết lộ mức giá bán.

So sánh Intel Core Ultra 5 245K và AMD Ryzen 5 9600X: Đội xanh hay đội đỏ?

04-11-2024, 10:21 am

Trong bài viết này, mình sẽ phân tích về thông số kỹ thuật và hiệu suất của cả Core Ultra 5 245K và Ryzen 5 9600X để giúp bạn có cái nhìn rõ ràng hơn cũng như có thể đưa ra được quyết định chọn lựa phù hợp nhất nhé!

Công nghệ

Review

Hướng dẫn

Tuyển dụng

Tin tức khuyến mại

Tin tức build PC