Dựng trợ lý AI nội bộ cho văn phòng nhỏ bằng một chiếc laptop: đo được tới đâu?

Trong bài benchmark ngắn của Nguyễn Công PC, một chiếc ASUS ProArt P16 RTX Spark 128GB trả lời được 4 người hỏi cùng lúc trên một model 80B, với tổng 74,25 token/giây và 21 request không lỗi. Vậy một văn phòng nhỏ có thể dùng nó làm trợ lý AI nội bộ chưa? Có thể làm thử cho vài người, nhưng chúng tôi chưa thử chạy qua mạng LAN, chưa chạy liên tục 24/7 và chưa thử RAG đầy đủ, nên đừng coi nó là máy chủ thường trực. Bài này nói rõ đã thử được gì và còn phải kiểm tra gì trước khi dùng thật.

Trợ lý AI nội bộ chạy local là gì và vì sao văn phòng nhỏ quan tâm?

Ý tưởng là chạy một model ngôn ngữ ngay trên máy của công ty thay vì gửi câu hỏi lên dịch vụ đám mây. Văn phòng nhỏ thường muốn dùng cho việc soạn thảo, tóm tắt tài liệu, tra cứu thông tin nội bộ. Điều kiện để làm được là máy có đủ bộ nhớ chứa model đủ lớn và đủ nhanh khi nhiều người hỏi cùng lúc.

Về bộ nhớ, laptop 128GB hợp nhất như ASUS ProArt P16 H7607BA-SE343W chứa được model 80B Q8 (khoảng 84,81GB). Cách tính model cần bao nhiêu RAM bạn xem trong bài laptop 128GB bộ nhớ hợp nhất chạy được mô hình AI nào.

Bốn người hỏi cùng lúc: số đo thực tế

Chúng tôi chạy một instance Qwen3-Next 80B Q8 với 4 slot, context tổng 32.768, bật Flash Attention. Mỗi request gồm 512 token vào và 128 token ra, gửi 1, 2 và 4 request cùng lúc, mỗi mức chạy 3 batch.

Hiểu đơn giản là càng nhiều người hỏi cùng lúc thì mỗi người nhận chữ chậm hơn, nhưng tổng lượng chữ máy sinh ra mỗi giây tăng lên. Với bốn người cùng hỏi thì mỗi người vẫn nhận được khoảng 26 token mỗi giây và chờ khoảng 2 giây cho chữ đầu tiên. Đó là mức đủ để làm thử, nhưng bài benchmark rất ngắn và chỉ có bốn luồng.

Đọc tài liệu dài: dán nguyên văn vào context

Một việc văn phòng hay làm là hỏi đáp trên tài liệu dài. Bài benchmark đưa 700 bản ghi, tương đương 18.760 prompt token, vào context. Lần đầu máy mất 15,30 giây để ra token đầu tiên, các lượt hỏi lặp lại chỉ khoảng 0,13 giây nhờ cache. Hai lượt tra cứu đều hoàn tất đúng yêu cầu.

Điều cần phân biệt: đây là cách dán toàn văn vào context, không phải hệ thống RAG có bước tìm kiếm và xếp hạng lại như nhiều công cụ hỏi đáp tài liệu thực tế. Chúng tôi chưa thử RAG, nên chưa thể nói máy làm RAG nhanh hay chậm.

Bộ nhớ: đừng chạy hai instance lớn cùng lúc

Một bài học từ lúc thử: khi hai instance 80B chạy chồng thời gian, máy bị hết bộ nhớ CUDA và model trả lời rỗng. Vì vậy trong bài đo chúng tôi chỉ giữ một instance lớn. Máy có GPU reservation 64GiB và CUDA budget khoảng 94,48GiB (hai con số cùng nằm trong bộ nhớ hợp nhất, không cộng dồn), và dung lượng thực dùng được còn phụ thuộc KV cache, buffer và các tác vụ khác đang chạy.

Nếu bạn định cho nhiều người dùng chung một máy, hãy chọn một instance với nhiều slot thay vì mở thêm nhiều instance model lớn.

Những gì chúng tôi chưa thử, và bạn nên kiểm tra trước khi dùng thật

• Phục vụ qua mạng LAN: bài benchmark chỉ chạy trên chính máy, chưa có người dùng thật từ máy khác.
• Chạy liên tục 24/7: chưa có số đo vận hành dài hạn, nhiệt và xung nhịp khi chạy lâu.
• RAG có bước tìm kiếm và xếp hạng lại, nhận dạng và tổng hợp giọng nói, agent dùng công cụ.
• Chế độ OEM Performance (số đo hiện ở Windows Standard khi cắm điện).
• Dữ liệu và mạng: suy luận được ghi nhận là chạy cục bộ, nhưng chúng tôi chưa kiểm tra luồng mạng và telemetry của toàn bộ ứng dụng, nên chưa kết luận được về mọi dữ liệu mà ứng dụng gửi đi.

Trước khi đưa vào dùng chính thức, nên chạy thử tải kéo dài vài giờ với đúng model, đúng số người và đúng loại tài liệu của bạn, và theo dõi lỗi, bộ nhớ và nhiệt.

Máy nào hợp với từng mức nhu cầu?

Một laptop có làm máy chủ AI nội bộ cho văn phòng được không?

Làm thử được cho vài người. Trong bài benchmark của Nguyễn Công PC, 4 request đồng thời trên model 80B Q8 đạt 74,25 token/giây tổng và không lỗi. Nhưng chúng tôi chưa thử qua mạng LAN và chưa chạy 24/7, nên chưa nên coi là máy chủ thường trực.

Bốn người hỏi cùng lúc thì mỗi người nhận được bao nhiêu token mỗi giây?

Trung vị khoảng 26,01 token/giây mỗi request, thời gian tới token đầu tiên khoảng 2,00 giây, tổng thông lượng 74,25 token/giây, theo bài benchmark ngắn của chúng tôi.

Máy đọc tài liệu dài nhanh không?

Với 18.760 prompt token (700 bản ghi), lần đầu mất 15,30 giây tới token đầu tiên, các lượt lặp lại khoảng 0,13 giây nhờ cache. Đây là cách dán toàn văn vào context, chưa phải RAG.

Chạy AI local có đảm bảo dữ liệu không rời khỏi máy không?

Suy luận được ghi nhận là chạy cục bộ, nhưng chúng tôi chưa kiểm tra luồng mạng và telemetry của toàn bộ ứng dụng để kết luận về tất cả dữ liệu ứng dụng gửi đi. Nếu dữ liệu nhạy cảm, bạn nên kiểm tra riêng.

Có chạy RAG hỏi đáp tài liệu công ty được không?

Bài benchmark của chúng tôi chưa có RAG với bước tìm kiếm và xếp hạng lại. Máy chứa được context dài, nhưng bạn cần thử riêng với công cụ RAG bạn định dùng.

Mở hai instance model 80B cùng lúc được không?

Không nên. Khi hai instance 80B chạy chồng thời gian, máy bị hết bộ nhớ CUDA và model trả lời rỗng. Hãy dùng một instance nhiều slot.

Cần bao nhiêu RAM để chạy model 80B cho nhiều người?

Weights Qwen3-Next 80B Q8 khoảng 84,81GB, nằm trong bộ nhớ hợp nhất 128GB của máy benchmark. Dung lượng còn phải dành cho KV cache, buffer và hệ điều hành, nên 128GB là mức vừa đủ chứ không dư.

Chạy 24/7 trên laptop có ổn không?

Chưa có dữ liệu. Chúng tôi chưa kiểm tra vận hành dài hạn, nhiệt và xung nhịp khi chạy lâu. Nếu cần chạy thường trực, nên xem máy đặt cố định.

Dùng model nào cho trợ lý nội bộ?

Trong bài benchmark chúng tôi chạy Qwen3-Next 80B Q8 và Qwen3.8 27B. Bạn nên chọn model theo ngôn ngữ và tác vụ của công ty, và đánh giá độ chính xác theo từng việc cụ thể, vì tốc độ không đồng nghĩa với độ đúng.

Có cần cài phần mềm đặc biệt trên Windows on Arm không?

Có, nên dùng bản ARM64 của phần mềm. Trong bài benchmark LM Studio bản x64 không dùng được GPU, phải dùng bản ARM64. Bạn xem thêm bài cài LM Studio và ComfyUI trên Windows on Arm.