Bất ngờ với bộ PC 30 năm tuổi vẫn chạy mượt mô hình AI đời mới

Mặc dù chỉ sở hữu một lõi xử lý, mô hình Llama 2 kích thước 260K vẫn đạt tốc độ xử lý 35,9 từ mỗi giây.

Kỳ lạ hệ thống PC 30 năm tuổi vẫn chạy được mô hình AI hiện đại

Trong một thử nghiệm bất ngờ, một chiếc máy tính cổ chạy Windows 98, sử dụng vi xử lý Pentium II với tốc độ chỉ 350 MHz và 128MB RAM, đã được chọn để vận hành mô hình ngôn ngữ lớn (LLM). Thử nghiệm này được thực hiện bởi EXO Labs, tổ chức nghiên cứu do các nhà khoa học từ Đại học Oxford thành lập.

Điều đáng chú ý là mô hình Llama 2 LLM không chỉ chạy được trên hệ thống đã gần 30 năm tuổi này mà còn tạo ra văn bản ở tốc độ khá ổn định. Thử nghiệm không chỉ nhằm mục đích giải trí mà còn mang theo một thông điệp quan trọng: AI có thể hoạt động hiệu quả mà không cần dựa vào các trung tâm dữ liệu quy mô lớn hay phần cứng hiện đại, đắt đỏ.

Từ máy tính cổ đến cuộc cách mạng AI

EXO Labs, với sứ mệnh "dân chủ hóa AI" đã khẳng định rằng sự độc quyền của các tập đoàn lớn đối với AI có thể gây nguy hiểm cho văn hóa, sự thật và các giá trị xã hội. Họ tập trung vào việc phát triển các công cụ giúp mọi người đều có thể tiếp cận AI, ngay cả trên các thiết bị cũ hoặc có cấu hình hạn chế.

Trong thử nghiệm mới nhất, họ đã biến một chiếc máy tính Windows 98 mua trên eBay thành minh chứng sống động. Bằng cách sử dụng giao thức FTP để truyền dữ liệu vào hệ thống, nhóm nghiên cứu đã biên dịch mô hình Llama 2 với sự hỗ trợ từ mã nguồn "llama2.c" của Andrej Karpathy, một chuyên gia AI từng làm việc tại Tesla và OpenAI. Nhờ trình biên dịch Borland C++ 5.02, mô hình AI hiện đại này đã chạy mượt mà trên phần cứng cũ kỹ, và điều này dã chứng minh một điều đó là AI không cần thiết phải sử dụng đến các thiết bị tiên tiến, đắt tiền và có cấu hình quá khủng.

Hiệu suất ấn tượng vượt xa mong đợi

Dù chạy trên máy tính chỉ có một lõi xử lý, mô hình Llama 2 kích thước 260K vẫn đạt tốc độ xử lý 35,9 từ mỗi giây. Tuy nhiên, khi thử nghiệm với các mô hình lớn hơn như Llama 3.2 1B thì tốc độ xử lý sẽ bị giảm đi đáng kể nhưng điều này không làm mất đi giá trị cốt lõi của cuộc nghiên cứu, đó là: AI có thể hoạt động ngay cả trên những hệ thống phần cứng giới hạn nghiêm trọng.

Không dừng lại ở đây, EXO Labs hiện đang phát triển BitNet – một kiến trúc AI hoàn toàn mới sử dụng trọng số tam phân. Cách tiếp cận này giúp tối ưu hóa đáng kể yêu cầu về bộ nhớ và hiệu năng phần cứng. Theo thông tin từ EXO, một mô hình BitNet với 7 tỷ tham số chỉ cần 1,38GB dung lượng lưu trữ. Tức là nó vượt trội về độ gọn nhẹ so với các mô hình thông thường hiện nay.

Điểm đặc biệt của BitNet là nó được tối ưu để chạy trên CPU thay vì GPU, giúp giảm chi phí và mở rộng khả năng tiếp cận AI. Theo EXO, BitNet có hiệu suất cao hơn 50% so với các mô hình AI truyền thống với khả năng xử lý tới 100 tỷ tham số chỉ bằng một CPU, đạt tốc độ đọc gần như tương đương con người.

Không chỉ muốn chứng minh sức mạnh công nghệ, EXO Labs còn mong muốn thay đổi cách tiếp cận và sử dụng AI. Họ mời gọi cộng đồng từ nhà phát triển chuyên nghiệp đến người yêu thích công nghệ tham gia vào dự án này. Đồng thời, EXO đã mở kênh Discord mang tên Retro, nơi mọi người có thể thảo luận và chia sẻ kinh nghiệm chạy AI trên các thiết bị cổ như Gameboy, Raspberry Pi hay các máy Mac đời cũ.

Xem thêm:

ChatGPT sẽ sớm đặt dấu chấm hết cho 4 loại trang web này

AI Llama 3.2 là gì? Vì sao nên sử dụng Llama thay cho ChatGPT?