Laptop 128GB bộ nhớ hợp nhất chạy được mô hình AI nào

Một chiếc laptop có 128GB bộ nhớ hợp nhất chạy được mô hình ngôn ngữ cỡ 70 tỷ tham số nếu bạn lượng tử hóa xuống 8-bit hoặc 4-bit, và mô hình 120 tỷ tham số ở 4-bit vẫn nằm gọn trong dung lượng. Còn để nguyên 16-bit thì 70 tỷ tham số đã cần khoảng 140GB nên không vừa. Bài này chỉ bạn cách tự tính, lấy MSI Prestige N16 Flip AI+ C1XMT-016VN làm ví dụ.

Bộ nhớ hợp nhất khác VRAM ở chỗ nào

Laptop dùng card rời có VRAM riêng cho GPU, thường chỉ 8–16GB. Mô hình hay cảnh 3D lớn hơn mức đó là máy chậm hẳn hoặc báo thiếu bộ nhớ. Chip RTX Spark N1X của NVIDIA đi hướng khác: CPU và GPU dùng chung một khối LPDDR5X, bản laptop tối đa 128GB với giao tiếp 256-bit. GPU nhờ vậy có chỗ rộng hơn nhiều. Đổi lại, Windows và các ứng dụng khác cũng lấy một phần, nên GPU không chiếm trọn cả 128GB.

Nếu bạn muốn xem nền tảng này nói chung có gì, bài NVIDIA RTX Spark chính thức ra mắt kể về chuyện chạy mô hình ngôn ngữ cục bộ, còn trang laptop NVIDIA RTX Spark có các máy đang bán.

Cách tính dung lượng mô hình trong 30 giây

Công thức rất đơn giản: số tham số nhân với số byte cho mỗi tham số. Ở 16-bit mỗi tham số là 2 byte, ở 8-bit là 1 byte, ở 4-bit là nửa byte. Ví dụ mô hình 70 tỷ tham số cần khoảng 140GB ở 16-bit, 70GB ở 8-bit và 35GB ở 4-bit. Nhớ là đó mới chỉ là trọng số, bộ đệm ngữ cảnh, hệ điều hành và ứng dụng khác vẫn cần chỗ.

Nhìn bảng và biểu đồ sẽ thấy máy 128GB có lợi thế rõ ở nhóm từ 70 tỷ tham số trở lên, thứ mà laptop card rời với vài chục GB VRAM rất khó đáp ứng. Với mô hình 7–13 tỷ tham số thì dung lượng chẳng còn là vấn đề, lúc đó tốc độ mới là thứ đáng quan tâm.

Còn tốc độ thì sao

Nguyễn Công PC đo trên ASUS ProArt P16 RTX Spark 128GB (Windows 11 on Arm, chế độ Windows Standard, cắm điện): model Qwen3-Next 80B bản Q8 chạy 47,69 token/giây, còn Qwen3.8 27B Q4_K_M chạy từ 12,73 token/giây (4 slot) đến 31,77 token/giây (1 slot, bật MTP). Các laptop RTX Spark khác dùng cùng chip nhưng tản nhiệt và mức công suất khác, nên coi đây là mức tham khảo.

NVIDIA công bố hiệu năng AI khoảng 1 petaflop cho bản laptop 20 nhân ở định dạng FP4. Con số này mang tính lý thuyết, còn tốc độ thật tùy mô hình và phần mềm.

Chi tiết từng bài đo nằm trong bài chạy model 80B, bài so sánh với RTX 5090 và Mac M5 Max và bài tạo ảnh, video AI.

Đừng quên những thứ khác cũng ăn bộ nhớ

Bộ đệm ngữ cảnh tăng theo độ dài văn bản bạn đưa vào, nên đọc tài liệu dài sẽ tốn thêm. Chạy hai ba mô hình cùng lúc, hoặc vừa chạy mô hình vừa dựng phim, mở nhiều tab trình duyệt cũng dùng chung khối 128GB đó. Cách an toàn là để dư một khoảng kha khá thay vì xếp mô hình sát mức tối đa.

Chạy AI trên Windows on Arm cần để ý gì

RTX Spark là chip Arm nên máy chạy Windows 11 on Arm. Theo Microsoft, ứng dụng x86 và x64 vẫn chạy qua giả lập, nhưng phần nào cần driver chế độ kernel thì phải có bản Arm64. NVIDIA cũng có tài liệu hướng dẫn nhà phát triển chuyển phần mềm sang Arm64. Việc bạn nên làm là kiểm tra công cụ chạy mô hình mình định dùng đã có bản Arm64 chưa, trước khi mua. Mình đã gom các bước kiểm tra trong bài kiểm tra phần mềm trước khi mua laptop RTX Spark.

Nên chọn laptop 128GB hay bộ PC AI để bàn

Laptop 2-in-1 như MSI Prestige N16 Flip AI+ C1XMT-016VN hợp với người cần mang theo, vừa chạy mô hình lớn vừa làm đồ họa. Nếu bạn ngồi một chỗ cố định, muốn sức mạnh tối đa và dễ nâng cấp thì cửa hàng cũng có các bộ PC chạy AI dùng card rời. Còn ai đang dựng hệ thống để AI agent làm việc thay mình thì agent computer cũng là một hướng đáng xem.

Nếu bạn làm đồ họa, dựng phim và cần màn hình lớn hơn, ASUS ProArt P16 H7607BA-SE343W cũng có RAM 128GB, đi cùng màn hình OLED 16 inch cảm ứng. Ảnh dưới chụp máy bản màu Neo White tại cửa hàng.

Câu hỏi thường gặp

Laptop 128GB chạy được mô hình 70 tỷ tham số không?

Chạy được nếu bạn lượng tử hóa. Ở 8-bit mô hình 70 tỷ tham số chiếm khoảng 70GB, ở 4-bit chỉ khoảng 35GB. Còn để nguyên 16-bit thì cần khoảng 140GB nên không vừa. Mô hình 120 tỷ tham số ở 4-bit khoảng 60GB vẫn nằm gọn. Nhớ chừa chỗ cho Windows, bộ đệm ngữ cảnh và các ứng dụng đang mở.

128GB bộ nhớ hợp nhất có giống 128GB VRAM không?

Không hẳn. Máy không có VRAM tách riêng như laptop card rời: CPU và GPU dùng chung một khối LPDDR5X. GPU lấy được phần lớn khối này nhưng không phải toàn bộ, vì hệ điều hành và ứng dụng khác cũng cần một phần.

Máy chạy được bao nhiêu token mỗi giây?

Theo số đo của Nguyễn Công PC trên ASUS ProArt P16 RTX Spark 128GB, model 80B bản Q8 chạy 47,69 token/giây, model 27B Q4_K_M từ 12,73 đến 31,77 token/giây tùy số slot và MTP. Máy khác cùng chip có thể lệch do tản nhiệt và công suất.

Công cụ chạy mô hình cục bộ có chạy được trên Windows on Arm không?

Ứng dụng x86 và x64 chạy được qua giả lập, nhưng phần nào cần driver chế độ kernel thì phải có bản Arm64, theo Microsoft. Theo NVIDIA, nền tảng hỗ trợ CUDA, nên điều bạn cần kiểm tra là công cụ mình định dùng đã có bản Arm64 chưa. Nếu muốn chắc, bạn gửi tên công cụ cho cửa hàng kiểm tra trước khi mua.

Tóm gọn lại: 128GB bộ nhớ dùng chung giúp một chiếc laptop chạy được mô hình cỡ 70 tỷ tham số ngay trên máy, miễn là bạn lượng tử hóa hợp lý. Bạn cứ tính trước dung lượng theo công thức ở trên, chừa dư cho ngữ cảnh và hệ điều hành, rồi kiểm tra bản Arm64 của công cụ mình dùng trước khi mua.