Sự phát triển nhanh của Generative AI, Large Language Model (LLM), AI Agent và các ứng dụng RAG đang đặt ra nhu cầu ngày càng lớn về một nền tảng tính toán AI đủ mạnh nhưng vẫn có thể triển khai trực tiếp tại doanh nghiệp, phòng Lab hoặc ngay trên bàn làm việc của Developer.
GIGABYTE AI TOP ATOM được phát triển để đáp ứng nhu cầu đó. Đây là một Personal AI Supercomputer sử dụng NVIDIA® GB10 Grace Blackwell Superchip, cung cấp hiệu năng AI lên tới 1 petaFLOP FP4, đi cùng 128GB bộ nhớ hợp nhất trong một hệ thống có thể tích chỉ khoảng 1 lít.
Thay vì phải phụ thuộc hoàn toàn vào Cloud hoặc triển khai ngay một GPU Server kích thước lớn, AI TOP ATOM cho phép Developer và doanh nghiệp xây dựng một môi trường AI local mạnh mẽ để phát triển, thử nghiệm, inference và fine-tuning các mô hình AI ngay tại chỗ.
NVIDIA GB10 Grace Blackwell – nền tảng xử lý trung tâm
Trái tim của GIGABYTE AI TOP ATOM là NVIDIA GB10 Grace Blackwell Superchip, kết hợp CPU NVIDIA Grace kiến trúc Arm với GPU NVIDIA Blackwell trong cùng một nền tảng tối ưu cho các workload AI.
CPU tích hợp tổng cộng 20 nhân Arm, gồm 10 nhân Cortex-X925 và 10 nhân Cortex-A725. Phía GPU sử dụng kiến trúc NVIDIA Blackwell cùng Tensor Core thế hệ thứ 5, hướng trực tiếp tới các tác vụ Generative AI và tính toán Tensor hiện đại.
Một thành phần quan trọng của kiến trúc này là NVIDIA NVLink™-C2C, cho phép CPU và GPU giao tiếp với băng thông cao trong một kiến trúc bộ nhớ hợp nhất, giảm sự phụ thuộc vào quá trình sao chép dữ liệu qua lại giữa bộ nhớ hệ thống và bộ nhớ GPU như trên nhiều nền tảng PC truyền thống.
Hiệu năng AI lên tới 1 petaFLOP FP4
GIGABYTE AI TOP ATOM cung cấp hiệu năng tính toán AI lên tới 1 petaFLOP ở độ chính xác FP4.
Đây là mức hiệu năng được thiết kế cho các workload AI hiện đại như Generative AI, inference, AI prototyping, xử lý dữ liệu, Computer Vision và các ứng dụng Edge AI.
Thay vì chỉ nhìn vào số lượng CPU core hoặc GPU core theo cách đánh giá workstation truyền thống, điểm đáng chú ý của AI TOP ATOM nằm ở việc toàn bộ kiến trúc phần cứng được tối ưu cho Tensor Processing và AI workload, kết hợp giữa Blackwell GPU, Tensor Core thế hệ mới, CPU Grace và Unified Memory.
128GB Unified Memory – lợi thế lớn khi chạy LLM
Một trong những điểm đáng chú ý nhất của GIGABYTE AI TOP ATOM là 128GB LPDDR5x Unified System Memory.
Bộ nhớ sử dụng giao tiếp 256-bit, đạt băng thông lên tới 273 GB/s. Quan trọng hơn, đây là kiến trúc bộ nhớ hợp nhất, cho phép CPU và GPU cùng truy cập một vùng nhớ chung thay vì phải duy trì RAM hệ thống và VRAM GPU dưới dạng hai vùng bộ nhớ tách biệt.
Điều này đặc biệt có ý nghĩa đối với LLM. Với các GPU workstation thông thường, dung lượng VRAM thường là một trong những giới hạn đầu tiên khi muốn đưa những model lớn vào bộ nhớ. Trong khi đó, 128GB Unified Memory mang lại không gian lớn hơn đáng kể cho việc phát triển và thử nghiệm các mô hình AI ngay trên hệ thống local.
Theo GIGABYTE, một hệ thống AI TOP ATOM có thể hỗ trợ các mô hình AI có quy mô lên tới 200 tỷ tham số, tùy thuộc model, độ chính xác, phương pháp quantization và workload thực tế.
4TB NVMe SSD dành cho model và dataset
Hệ thống được trang bị 4TB M.2 NVMe PCIe SSD, cung cấp dung lượng lưu trữ lớn cho một nền tảng AI desktop nhỏ gọn.
Dung lượng 4TB đặc biệt hữu ích trong môi trường AI local bởi ngoài hệ điều hành và môi trường phát triển, hệ thống còn phải lưu trữ model weights, container, dataset, embeddings, vector database, checkpoint và nhiều phiên bản model khác nhau.
Kết hợp dung lượng lưu trữ lớn với 128GB Unified Memory, AI TOP ATOM có thể hoạt động như một môi trường phát triển AI tương đối hoàn chỉnh ngay trên bàn làm việc của kỹ sư.
NVIDIA ConnectX-7 – kết nối hai hệ thống cho model lớn hơn
Một điểm khác biệt đáng chú ý so với một workstation thông thường là việc GIGABYTE tích hợp NVIDIA® ConnectX®-7 NIC.
ConnectX-7 cung cấp kết nối tốc độ cao và độ trễ thấp giữa các hệ thống. GIGABYTE cho phép kết nối hai AI TOP ATOM với nhau để mở rộng khả năng xử lý những mô hình lớn hơn.
Với một hệ thống, nền tảng hỗ trợ model lên tới 200 tỷ tham số. Khi ghép hai hệ thống thông qua ConnectX-7, GIGABYTE công bố khả năng làm việc với các mô hình có quy mô lên tới 405 tỷ tham số.
Đây là hướng mở rộng đáng chú ý đối với các phòng nghiên cứu hoặc đội ngũ AI muốn bắt đầu từ một node nhỏ gọn và mở rộng năng lực tính toán khi nhu cầu tăng lên.
Kết nối mạng 10GbE, Wi-Fi 7 và hệ thống I/O tốc độ cao
Mặc dù kích thước nhỏ, AI TOP ATOM vẫn được trang bị hệ thống kết nối tương đối đầy đủ.
Máy có 10GbE Ethernet, Wi-Fi 7 và Bluetooth 5.4. Phía sau hệ thống có các cổng USB 3.2 Gen 2x2 Type-C tốc độ lên tới 20Gbps, HDMI 2.1a, kết nối NVIDIA ConnectX-7 và RJ-45 10GbE.
Khả năng kết nối 10GbE đặc biệt hữu ích trong các môi trường sử dụng NAS hoặc hệ thống lưu trữ tập trung, nơi dataset và model có thể được lưu trên storage server thay vì hoàn toàn trên SSD nội bộ.