Đánh giá Gigabyte AI TOP ATOM – Mini PC AI 1000 AI TOPS

Gigabyte AI TOP ATOM là một Mini PC được xây dựng để làm việc với Trí tuệ Nhân tạo (AI), và mẫu cụ thể này là phiên bản được Gigabyte tùy biến dựa trên nền tảng NVIDIA DGX Spark, với phần cứng bên trong hoàn toàn tương đồng.

Thiết bị được trang bị chip Nvidia GB10 Blackwell, 128 GB RAM, 4 TB SSD và hệ điều hành Linux Ubuntu. Trên nền tảng này, chúng ta có thể cài đặt các ứng dụng như bảng điều khiển Nvidia AI Software hoặc ứng dụng Gigabyte AI TOP Utility, giúp việc tương tác và quản lý hệ thống trở nên thuận tiện hơn rất nhiều.

Hoàng Hà PC xin cảm ơn Gigabyte đã tin tưởng và gửi sản phẩm này để chúng tôi thực hiện bài đánh giá.

Gigabyte AI TOP ATOM – Thông số kỹ thuật

Hạng mục	Thông số
CPU	NVIDIA GB10 Grace Blackwell (10 Cortex-X925 + 10 Cortex-A725 cores) Tản nhiệt khí
GPU	NVIDIA GB20B 384 Tensor Cores thế hệ 5 48 RT Cores thế hệ 4
RAM	128GB LPDDR5X Bus 256-bit
Ổ cứng	SSD 4GB 2242
Mạng	LAN 10 Gbps NVIDIA ConnectX-7 NIC Wi-Fi 7
Kết nối	Bluetooth 5.3 1x USB-C DC-In 3x USB 3.2 Gen2 Type-C (Data) 1x HDMI 2.1a 1x RJ-45 NVIDIA ConnectX-7
Nguồn	Adapter 240W
Kích thước	150 x 150 x 50.5 mm
Trọng lượng	1.2 kg
Hệ điều hành	DGX OS (Ubuntu Linux)

Hiện tại, Hoàng Hà PC đang phân phối chính hãng Gigabyte AI TOP ATOM, cấu hình 128GB RAM LPDDR5X và SSD PCIe 5.0 4TB, sẵn sàng cho nhu cầu triển khai AI chuyên sâu, LLM và Fine-Tuning cục bộ. Khách hàng có thể xem thông tin chi tiết và đặt mua trực tiếp tại: https://hoanghapc.vn/gigabyte-ai-top-atom-4tb

Mở hộp sản phẩm Gigabyte AI TOP ATOM

Gigabyte AI TOP ATOM được đựng trong hộp giống như nhiều thiết bị khác, sử dụng hộp carton cứng riêng với bề mặt trơn và tông màu đặc trưng của Nvidia. Bên trong, sản phẩm được bảo vệ cẩn thận bằng các khuôn carton định hình và túi cách ly dành cho thiết bị.

Bên trong hộp bao gồm:

• Gigabyte AI TOP ATOM

• Bộ đổi nguồn kèm phích cắm chuẩn Mỹ

• Sách hướng dẫn sử dụng

Thiết kế bên ngoài Gigabyte AI TOP ATOM

Ngay từ cái nhìn đầu tiên, Gigabyte AI TOP ATOM thể hiện rõ triết lý thiết kế tối giản nhưng đậm chất chuyên nghiệp. Máy sở hữu kiểu dáng khối vuông nhỏ gọn với kích thước chỉ khoảng 15 x 15 cm và cao 5 cm, trọng lượng dưới 1,5 kg. Toàn bộ khung vỏ được hoàn thiện bằng nhôm cao cấp, mang lại cảm giác chắc chắn, bền bỉ và phù hợp với môi trường làm việc AI chuyên sâu.

Các mặt bên được làm liền khối, gần như không có chi tiết trang trí thừa, tạo nên tổng thể tinh gọn và hiện đại. Điểm nhấn nằm ở mặt trước với tấm lưới tản nhiệt tích hợp logo thương hiệu, vừa tăng tính nhận diện vừa đảm bảo luồng khí mát được đưa trực tiếp vào hệ thống tản nhiệt bên trong.

Cạnh phải được bố trí khe khóa Kensington, giúp cố định thiết bị an toàn trong môi trường văn phòng hoặc phòng lab. Ở mặt sau, ngoài hệ thống cổng kết nối hiệu suất cao, máy còn có thêm khe thoát gió để đẩy khí nóng ra ngoài, đảm bảo khả năng vận hành ổn định trong thời gian dài.

Phần đáy máy thiết kế hai lớp chắc chắn, đi kèm chân đế cao su chống trượt giúp cố định thiết bị trên mặt bàn. Nếu cần nâng cấp hoặc kiểm tra linh kiện bên trong, người dùng chỉ cần tháo các chân cao su ở bốn góc để lộ ốc cố định. Tuy nhiên, AI TOP ATOM không hỗ trợ chuẩn treo VESA, nên sẽ phù hợp hơn khi đặt cố định trên bàn làm việc hoặc tủ rack chuyên dụng.

Tổng thể, đây là một thiết kế tập trung vào tính thực dụng, độ bền và hiệu năng vận hành – đúng chất một Mini AI PC chuyên nghiệp.

Hệ thống cổng kết nối trên Gigabyte AI TOP ATOM

Tất cả các cổng kết nối trên Gigabyte AI TOP ATOM đều nằm ở mặt sau, hoàn toàn giống với Nvidia DGX .

Gigabyte AI TOP ATOM được trang bị toàn bộ cổng kết nối ở mặt sau, thiết kế tối giản nhưng tập trung hoàn toàn vào hiệu năng và khả năng truyền tải dữ liệu tốc độ cao. Cụ thể gồm:

• Nút nguồn

• 1x USB Type-C DC-In (cấp nguồn)

• 3x USB 3.2 Gen2 Type-C (truyền dữ liệu & xuất hình ảnh)

• 1x HDMI 2.1a

• 1x LAN RJ-45 10Gbps

• 2x cổng ConnectX-7 chuyên dụng

Vì là một hệ thống AI có thể hoạt động liên tục nhiều giờ liền, việc sử dụng USB-C để cấp nguồn mang lại sự gọn gàng và linh hoạt. Tuy nhiên, trong môi trường làm việc chuyên nghiệp, người dùng nên bố trí dây nguồn cố định để tránh tình trạng vô tình chạm vào dây gây tắt máy ngoài ý muốn.

Toàn bộ cổng USB trên máy đều là chuẩn USB-C, không có USB-A truyền thống. Điều này phù hợp với xu hướng hiện đại, tối ưu băng thông và tốc độ truyền tải, nhưng nếu sử dụng chuột, bàn phím USB-A, bạn sẽ cần thêm HUB hoặc adapter chuyển đổi.

Gigabyte AI TOP ATOM hoàn toàn có thể sử dụng như một máy trạm mini để bàn thông qua cổng HDMI 2.1a. Nếu cần xuất hình qua DisplayPort, người dùng có thể sử dụng cổng USB-C kết hợp HUB hoặc adapter chuyển đổi phù hợp.

Ngoài ra hệ thống kết nối trên AI TOP ATOM cho thấy định hướng rõ ràng: tối ưu cho môi trường AI chuyên nghiệp, mạng tốc độ cao và truyền dữ liệu dung lượng lớn.

Hệ thống mạng của Gigabyte AI TOP ATOM được đầu tư cực kỳ mạnh mẽ, bởi đây là thiết bị trong nhiều trường hợp sẽ được vận hành từ xa hoặc thông qua dòng lệnh thay vì sử dụng trực tiếp như một PC thông thường.

Máy được trang bị cổng Ethernet 10 Gbps kết nối qua lane PCIe Gen4, cùng với card mạng MediaTek Wi-Fi 7 kết nối qua lane PCIe Gen3 và hỗ trợ Bluetooth 5.3, đảm bảo khả năng kết nối không dây tốc độ cao và ổn định.

Điểm nổi bật nhất nằm ở hai cổng mạng QSFP56, được điều khiển bởi SmartNIC NVIDIA ConnectX-7. Card này sử dụng 2 liên kết PCIe Gen5 x4, mang lại băng thông lý thuyết lên đến 400 Gbps. Tuy nhiên, do cấu hình lane của hệ thống, băng thông thực tế được giới hạn ở 200 Gbps.

Hai cổng QSFP56 này được thiết kế nhằm mục đích kết nối thêm một thiết bị Gigabyte AI TOP ATOM thứ hai, qua đó nhân đôi năng lực tính toán và mở rộng quy mô xử lý AI một cách hiệu quả.

Thiết kế phần cứng bên trong Gigabyte AI TOP ATOM

Sau khi tháo lớp nắp trung tâm và các ốc cố định, toàn bộ cấu trúc bên trong Gigabyte AI TOP ATOM được hé lộ với cách bố trí rất gọn gàng và tối ưu cho hiệu năng AI. Hệ thống được thiết kế dạng một khối thống nhất, linh kiện sắp xếp khoa học nhằm đảm bảo khả năng tản nhiệt và vận hành ổn định lâu dài.

Hai ăng-ten Wi-Fi được tích hợp trực tiếp trên phần nắp tháo rời. SSD có thể tiếp cận khá dễ dàng sau khi mở nắp, nằm ở mặt sau của bo mạch chủ. Toàn bộ khu vực này được che chắn bởi một khối nhôm lớn đóng vai trò bảo vệ và cách nhiệt.

Ở mặt còn lại là hệ thống tản nhiệt gồm hai quạt blower kết hợp cùng cụm lá nhôm lớn giúp đẩy nhiệt ra ngoài hiệu quả. Đáng chú ý, 8 chip RAM cũng tiếp xúc trực tiếp với khối tản này để đảm bảo nhiệt độ luôn được kiểm soát khi xử lý AI trong thời gian dài.

Nvidia GB10 Blackwell Superchip – Trung tâm sức mạnh

Gigabyte AI TOP ATOM được trang bị Nvidia GB10 Blackwell Superchip – nền tảng tích hợp CPU và GPU trên cùng một kiến trúc, tối ưu cho xử lý AI cục bộ.

 

CPU – 20 nhân ARM hiệu năng cao

Phần CPU gồm 20 nhân ARM theo kiến trúc Big.Little, chia thành hai cụm 10 nhân:

Cụm 1:

• 5 nhân hiệu năng cao Cortex-X925 (3.9 GHz)

• 5 nhân tiết kiệm điện Cortex-A725 (2.808 GHz)

• 8 MB cache L3

Cụm 2:

• 5 nhân Cortex-A725 (2.860 GHz)

• 5 nhân Cortex-X925 (tối đa 4.004 GHz)

• 16 MB cache L3

Các nhân X925 sở hữu 2 MB cache L2 mỗi nhân, trong khi A725 có 512 KB L2. Cấu hình này giúp hệ thống cân bằng tốt giữa hiệu suất xử lý AI và khả năng tối ưu điện năng.

GPU Blackwell 2.0 – Sức mạnh xử lý AI chuyên sâu

Về đồ họa và tính toán song song, máy sử dụng chip GB20B dựa trên kiến trúc Blackwell 2.0 (TSMC 3N), với thông số rất ấn tượng:

• 6.144 CUDA Cores

• 384 Tensor Cores thế hệ 5

• 48 RT Cores thế hệ 4

• 48 Streaming Multiprocessors

• Xung boost 2.418 MHz

• 50 MB cache L2

Hiệu năng tính toán có thể đạt tới 1 petaFLOP ở chuẩn FP4 – con số cho thấy thiết bị này thực sự hướng đến AI chuyên nghiệp, không đơn thuần là một mini PC thông thường.

Ngoài ra, hệ thống còn tích hợp NVENC và NVDEC phục vụ mã hóa và giải mã video.

128GB RAM LPDDR5X – Tối ưu cho mô hình AI lớn

Máy sở hữu 128 GB RAM LPDDR5X hàn trực tiếp trên bo mạch:

• Bus 256-bit

• Băng thông 272,2 GB/s

Dung lượng lớn cho phép tải trực tiếp các mô hình AI dung lượng cao vào bộ nhớ mà không phụ thuộc quá nhiều vào lưu trữ ngoài. Dù LPDDR5X tối ưu điện năng và nhiệt độ, nếu sử dụng GDDR6 hoặc GDDR7 thì hiệu suất có thể còn cao hơn – tuy nhiên chi phí chắc chắn sẽ tăng mạnh.

SSD PCIe Gen5 4TB & Nguồn 240W

Về lưu trữ, Gigabyte trang bị sẵn SSD 4TB chuẩn 2242, kết nối qua 4 lane PCIe Gen5. Tốc độ cao và dung lượng lớn giúp người dùng lưu trữ thoải mái các bộ dữ liệu và mô hình AI nặng.

Toàn bộ hệ thống được cấp nguồn bởi adapter rời công suất 240W, kích thước gọn gàng nhưng đủ đảm bảo vận hành ổn định cho cấu hình hiệu năng cao này.

Tổng thể, phần cứng bên trong Gigabyte AI TOP ATOM cho thấy đây không chỉ là một mini PC, mà là một cỗ máy AI thu gọn – tối ưu cho xử lý mô hình lớn, nghiên cứu AI tại chỗ và mở rộng tính toán thông qua kết nối tốc độ cực cao.

Hệ thống & trải nghiệm sử dụng Gigabyte AI TOP ATOM

Gigabyte AI TOP ATOM được định vị như một siêu máy tính AI thu gọn cho bàn làm việc, mang sức mạnh xử lý chuyên sâu của hệ thống DGX nhưng trong kích thước mini PC cực kỳ gọn gàng.

PC AI này đạt hiệu năng khoảng 1 petaFLOP (1000 AI TOPS) ở chuẩn FP4 nhờ kiến trúc NVIDIA Blackwell, SSD NVMe tốc độ cao và bộ NVIDIA AI Software Stack được cài đặt sẵn. Đi kèm đó là ứng dụng Gigabyte AI TOP Utility, giúp người dùng dễ dàng theo dõi, cấu hình và khai thác tối đa sức mạnh phần cứng.

So với một PC truyền thống, AI TOP ATOM mạnh hơn rất nhiều trong các tác vụ AI chuyên sâu. Tuy nhiên, do giới hạn về nguồn điện và kích thước, đây không phải là hệ thống thay thế trung tâm dữ liệu mà là một máy trạm AI cá nhân hiệu năng cao, tối ưu cho làm việc tại chỗ.

Thiết bị đặc biệt phù hợp với:

• Lập trình viên AI & Machine Learning

• Nhóm nghiên cứu khoa học

• Startup phát triển mô hình AI riêng

• Phòng lab và môi trường đào tạo công nghệ

Gigabyte AI TOP ATOM cung cấp môi trường phát triển thống nhất, thuận tiện cho việc thử nghiệm và triển khai mô hình. Người dùng có thể kiểm thử nhiều mô hình khác nhau, thực hiện Fine-Tuning (tinh chỉnh) các mô hình lớn để thích ứng với bộ dữ liệu riêng – ví dụ như những mô hình hàng tỷ tham số như Qwen3 8B.

Ngoài ra, hệ thống còn xử lý tốt các tác vụ:

• Chạy mô hình AI lớn ở chế độ inference cục bộ

• Phân tích và xử lý dữ liệu khoa học

• Mô phỏng 3D

• Dựng hình quang học chân thực (photorrealism)

• Tạo ảnh bằng AI

• Ứng dụng robot và thị giác máy tính

Nhờ GPU tích hợp Tensor Cores và Ray Tracing Cores thế hệ mới, AI TOP ATOM mang đến nền tảng tính toán mạnh mẽ ngay tại bàn làm việc, giúp rút ngắn thời gian phát triển và tối ưu chi phí đầu tư hạ tầng.

Tổng thể, đây là một cỗ máy AI chuyên nghiệp thu gọn – phù hợp cho doanh nghiệp công nghệ, nhóm R&D hoặc cá nhân muốn sở hữu sức mạnh xử lý AI cao cấp mà không cần triển khai server rack phức tạp.

Phân tích hệ thống và phần mềm NVIDIA

Hệ điều hành chạy trên Gigabyte AI TOP ATOM thực chất là nền tảng tương tự như trên NVIDIA DGX bản tiêu chuẩn (không tùy biến riêng).

Cụ thể, máy sử dụng hệ điều hành DGX OS, được phát triển dựa trên Ubuntu Linux. Hiện tại nền tảng này chạy trên Ubuntu 24.04 với Kernel Linux 6.8, tối ưu cho môi trường tính toán AI chuyên sâu.

Hệ thống triển khai ứng dụng thông qua Docker container, cho phép cài đặt và vận hành các công cụ như Ollama hoặc SGLang. Cách triển khai này có thể khiến quá trình cài đặt ban đầu phức tạp hơn so với môi trường desktop thông thường, nhưng bù lại có cộng đồng hỗ trợ rất lớn và tài liệu đầy đủ.

DGX OS sử dụng driver NVIDIA tối ưu hóa cho GPU, hỗ trợ tăng tốc CUDA thông qua toolkit tương ứng. Đồng thời, các nhân Tensor và RT được tích hợp đầy đủ trong bộ AI software stack, bao gồm:

• cuDNN

• cuBLAS

• NCCL

• Docker + NVIDIA Container Toolkit

• Các thư viện và môi trường chuyên dụng cho AI / Machine Learning

Ngoài ra, hệ thống còn tích hợp các công cụ quản lý và bảo mật:

• NVIDIA Dashboard để theo dõi hệ thống

• Mã hóa ổ lưu trữ

• Mã hóa phân vùng hệ thống

• Hỗ trợ kết nối hai thiết bị qua mạng để vận hành song song

Ứng dụng NVIDIA Dashboard cho phép giám sát tài nguyên phần cứng theo thời gian thực, quản lý cập nhật hệ thống như driver GPU và firmware. Người dùng có thể truy cập và điều khiển cả cục bộ lẫn từ xa thông qua giao diện web trực quan.

Đặc biệt, hệ thống đã được cấu hình sẵn JupyterLab, giúp người dùng bắt đầu ngay các dự án AI, inference hoặc Machine Learning mà không cần cài đặt thêm môi trường phát triển bên ngoài.

Đây là một nền tảng phần mềm hoàn chỉnh, tối ưu sẵn cho AI chuyên nghiệp, giúp rút ngắn đáng kể thời gian triển khai và tập trung trực tiếp vào phát triển mô hình.

Gigabyte AI TOP Utility – Tối ưu trải nghiệm làm việc với AI

Không chỉ dừng lại ở phần cứng mạnh mẽ, Gigabyte còn phát triển riêng Gigabyte AI TOP Utility nhằm giúp người dùng khai thác tối đa sức mạnh của AI TOP ATOM. Đây là một giao diện đồ họa trực quan, giúp việc tải, quản lý và vận hành mô hình AI trở nên đơn giản hơn rất nhiều so với thao tác thuần dòng lệnh.

Người dùng chỉ cần tải ứng dụng từ website chính thức của Gigabyte và cài đặt file .deb trên nền tảng Ubuntu (có thể cài qua terminal hoặc giao diện đồ họa). Sau khi hoàn tất, hệ thống đã sẵn sàng để triển khai mô hình.

Quản lý tài nguyên & giám sát thời gian thực

Gigabyte AI TOP Utility cho phép:

• Theo dõi mức sử dụng RAM và SSD khi chạy mô hình dung lượng lớn

• Hiển thị telemetry phần cứng theo thời gian thực

• Kiểm soát tài nguyên khi vận hành các mô hình hàng tỷ tham số

Đây là tính năng rất quan trọng khi làm việc với AI cục bộ, giúp người dùng kiểm soát tải hệ thống và tránh quá nhiệt.

Tải mô hình trực tiếp từ HuggingFace

Ứng dụng hỗ trợ tải mô hình trực tiếp từ HuggingFace (sau khi đăng ký tài khoản và lấy token miễn phí). Hiện tại hệ thống hỗ trợ tải từng mô hình một, đảm bảo quá trình cài đặt ổn định và hạn chế lỗi.

Tùy chỉnh linh hoạt cho từng mô hình

Với mỗi mô hình được chạy, người dùng có thể:

• Điều chỉnh phân bổ CPU và GPU

• Thiết lập giới hạn nhiệt độ

• Cấu hình số lượng token xử lý

• Lựa chọn chế độ từ tiêu chuẩn đến độ chính xác cao

Ứng dụng cũng hỗ trợ môi trường Windows Subsystem for Linux (WSL), giúp linh hoạt hơn trong triển khai.

Fine-Tuning & huấn luyện nâng cao

Gigabyte AI TOP Utility hỗ trợ:

• Tạo bộ dữ liệu phục vụ Fine-Tuning LLM/LMM

• Huấn luyện mô hình với công nghệ RAG (Retrieval-Augmented Generation)

• Chuyển đổi mô hình từ định dạng .safetensors hoặc .bin sang GGUF

• Tùy chọn lượng tử hóa như f32, f16, bf16 hoặc 8-bit để tối ưu dung lượng và hiệu năng

Đây là những tính năng rất hữu ích cho startup, phòng lab hoặc đội ngũ R&D muốn tinh chỉnh mô hình theo dữ liệu riêng.

Điều khiển từ xa tiện lợi

Một điểm cộng đáng chú ý là người dùng có thể truy cập và điều khiển hệ thống từ xa thông qua trình duyệt web. Chỉ cần quét mã QR là có thể quản lý mô hình đang chạy ngay trên điện thoại – nhanh gọn và linh hoạt.

Gigabyte AI TOP Utility đóng vai trò như một “trung tâm điều khiển AI”, giúp AI TOP ATOM không chỉ mạnh về phần cứng mà còn thân thiện trong quá trình triển khai thực tế. Đây là yếu tố quan trọng giúp rút ngắn thời gian làm việc và tối ưu hiệu suất cho các dự án AI chuyên nghiệp.

Cài đặt Ollama và Open WebUI trên Gigabyte AI TOP ATOM

Mặc dù Gigabyte AI TOP Utility đã đáp ứng khá đầy đủ nhu cầu làm việc với AI, nhưng để mở rộng khả năng suy luận (inference) với nhiều mô hình hơn, việc cài đặt thêm Ollama và một giao diện đồ họa như Open WebUI sẽ giúp trải nghiệm sử dụng linh hoạt và thuận tiện hơn, làm việc cục bộ hay truy cập từ xa.

Do hệ thống sử dụng nền tảng Docker, quy trình cài đặt có đôi chút khác biệt so với máy tính thông thường.

Cài đặt Ollama và mô hình AI

Trước tiên, truy cập trang chính thức của Ollama để cài đặt bằng cách chạy lệnh sau trong Terminal:

curl -fsSL https://ollama.com/install.sh | sh

Quá trình này khá đơn giản và diễn ra tự động.

Sau khi cài đặt hoàn tất, bạn có thể tải và chạy các mô hình AI trực tiếp từ trang chính thức của Ollama thông qua dòng lệnh. Ví dụ:

ollama run gpt-oss:120b

Lệnh trên sẽ tải và khởi chạy mô hình tương ứng (nếu chưa có trong hệ thống).

Với cấu hình mạnh mẽ của Gigabyte AI TOP ATOM, người dùng có thể khai thác hiệu quả các mô hình dung lượng lớn ngay tại máy mà không cần phụ thuộc vào hạ tầng cloud.

Cài đặt Docker

May mắn là trên Gigabyte AI TOP ATOM, Docker đã được cài đặt sẵn, vì vậy chúng ta không cần thực hiện thêm bước thiết lập nào.

Để kiểm tra Docker có hoạt động bình thường hay không, chỉ cần chạy lệnh sau trong Terminal:

sudo docker run hello-world

Sau vài giây, nếu hệ thống hiển thị thông báo xác nhận Docker đang hoạt động đúng cách, nghĩa là môi trường container đã sẵn sàng để triển khai các ứng dụng AI.

Cài đặt Open WebUI

Bước tiếp theo là cài đặt giao diện đồ họa Open WebUI thông qua Docker. Bạn có thể tham khảo hướng dẫn chính thức từ trang dự án, tuy nhiên dưới đây là các bước đầy đủ để hệ thống hoạt động ổn định trên Gigabyte AI TOP ATOM.

Cấp quyền Docker cho người dùng

Trước tiên, cần thêm tài khoản người dùng vào nhóm Docker để có quyền cài đặt và chạy container:

sudo usermod -aG docker $USER

Thay $USER bằng tên người dùng của bạn nếu cần.
Sau đó đăng xuất và đăng nhập lại để thay đổi có hiệu lực.

Chạy Open WebUI bằng Docker

Vì Ollama đã được cài đặt trước đó, chúng ta chỉ cần chạy lệnh sau để triển khai Open WebUI:

docker run -d -p 3000:8080 \
--add-host=host.docker.internal:host-gateway \
-v open-webui:/app/backend/data \
--name open-webui \
--restart always \
ghcr.io/open-webui/open-webui:main

Sau khi container khởi chạy, truy cập giao diện bằng trình duyệt:

http://localhost:3000

Tải lại trang cho đến khi giao diện hiển thị màn hình khởi động. Nhấn “Comenzar” (Bắt đầu) và tạo tài khoản để sử dụng cả ở chế độ cục bộ lẫn từ xa.

Hiển thị mô hình Ollama trong Open WebUI

Để các mô hình đã tải bằng Ollama xuất hiện trong giao diện Open WebUI, cần thực hiện thêm một số bước cấu hình.

Kiểm tra địa chỉ Gateway của Docker:

docker network inspect bridge

Tìm dòng có mục “Gateway”, thông thường sẽ là:

172.17.0.1

Chỉnh sửa file cấu hình Ollama

Mở file cấu hình dịch vụ Ollama:

sudo nano /etc/systemd/system/ollama.service

Thêm dòng sau vào bên trong:

Environment="OLLAMA_HOST=172.17.0.1"

(Thay bằng địa chỉ Gateway bạn vừa kiểm tra nếu khác.)

Lưu file bằng tổ hợp Ctrl + O, nhấn Enter để xác nhận, sau đó nhấn Ctrl + X để thoát.

Khởi động lại dịch vụ

Chạy các lệnh sau để áp dụng thay đổi:

sudo systemctl daemon-reload
sudo systemctl restart ollama

Sau khi hoàn tất, tải lại trang Open WebUI. Các mô hình đã tải bằng Ollama sẽ xuất hiện trong giao diện và sẵn sàng để sử dụng.

Với các bước trên, Gigabyte AI TOP ATOM đã được thiết lập môi trường inference hoàn chỉnh: Ollama xử lý mô hình phía backend, còn Open WebUI mang lại trải nghiệm giao diện trực quan, dễ quản lý cả cục bộ lẫn từ xa.

Cài đặt ComfyUI để tạo ảnh bằng AI

ComfyUI là một ứng dụng rất đáng chú ý khi sử dụng trên Gigabyte AI TOP ATOM. Đây là một nền tảng dạng web server, cho phép triển khai và vận hành các mô hình diffusion như FLUX để tạo ảnh bằng AI.

Điểm nổi bật của ComfyUI nằm ở giao diện đồ họa trực quan, cho phép người dùng tạo, chỉnh sửa và quản lý các workflow dưới dạng file JSON. Toàn bộ quá trình xử lý được thực hiện cục bộ trên GPU của hệ thống, tận dụng tối đa sức mạnh Tensor Cores để tăng tốc sinh ảnh.

Người dùng có thể cài đặt và bắt đầu sử dụng ComfyUI bằng cách làm theo hướng dẫn trong tutorial chính thức của NVIDIA dành cho DGX Spark – quy trình này hoàn toàn tương thích với Gigabyte AI TOP ATOM.

Với cấu hình mạnh mẽ của thiết bị, việc chạy mô hình diffusion để tạo ảnh AI chất lượng cao ngay tại máy trở nên khả thi mà không cần phụ thuộc vào nền tảng cloud.

Thực hiện tinh chỉnh FLUX.1-dev 12B với Dreambooth LoRA

Một bước nâng cao rất thú vị khi làm việc với Gigabyte AI TOP ATOM là tự tinh chỉnh (fine-tuning) mô hình diffusion để tạo ra hình ảnh theo phong cách hoặc chủ đề riêng. Trong ví dụ này, chúng ta thực hiện fine-tuning mô hình FLUX.1-dev 12B bằng phương pháp Dreambooth LoRA, theo hướng dẫn từ NVIDIA.

Trước tiên, cần đảm bảo đã cài đặt ComfyUI, vì toàn bộ quá trình chạy và quản lý mô hình sẽ được thực hiện thông qua giao diện này. Hướng dẫn chi tiết cho quy trình fine-tuning có thể tham khảo trong tài liệu chính thức của NVIDIA dành cho DGX Spark, và hoàn toàn tương thích với Gigabyte AI TOP ATOM.

Sau khi hoàn tất các bước thiết lập, mô hình sẽ được vận hành trực tiếp trong giao diện ComfyUI. Kết quả thu được là một mô hình diffusion có khả năng tạo ra hình ảnh bám sát các khái niệm được cá nhân hóa. Ngoài ví dụ mặc định từ NVIDIA, người dùng hoàn toàn có thể sử dụng bộ dữ liệu và quy trình huấn luyện riêng để xây dựng phong cách theo nhu cầu.

Quá trình cài đặt và chuẩn bị tài nguyên thường mất chưa đến 30 phút (tùy tốc độ internet khi tải dữ liệu). Tuy nhiên, thời gian huấn luyện thực tế của mô hình trong thử nghiệm này kéo dài khoảng 3 giờ 57 phút để hoàn tất. Kết quả chi tiết sẽ được đánh giá trong phần thử nghiệm tiếp theo.

Đánh giá hiệu năng Gigabyte AI TOP ATOM

Với một hệ thống chuyên dụng cho AI như Gigabyte AI TOP ATOM, cách kiểm tra hiệu năng cũng hoàn toàn khác so với PC thông thường. Thay vì benchmark CPU hay GPU theo kiểu truyền thống, chúng tôi tập trung đo sức mạnh xử lý mô hình AI trong thực tế sử dụng.

Cụ thể, bài test sẽ dựa trên:

• Tốc độ sinh tokens/giây khi chạy các mô hình suy luận text-to-text

• Thời gian hoàn thành (giây/phút) khi chạy mô hình tạo ảnh hoặc video AI

Qua đó, chúng ta có thể đánh giá chính xác khả năng xử lý và tốc độ phản hồi của hệ thống. Dĩ nhiên, kết quả còn phụ thuộc vào độ phức tạp của prompt, số lượng tham số mô hình và cấu hình chạy.

Để đảm bảo tính đồng nhất khi so sánh giữa các mô hình, Hoàng Hà PC sử dụng cùng một câu hỏi kiểm tra cho toàn bộ mô hình text-to-text:

“Hãy liệt kê và giải thích tất cả các thành phần của một bo mạch chủ PC hiện đại, cách hoạt động của từng phần, các khe mở rộng khác nhau và tốc độ mà chúng có thể đạt được hiện nay.”

Dựa trên câu hỏi tiêu chuẩn này, chúng tôi ghi nhận tốc độ sinh token, độ ổn định khi tải cao và khả năng duy trì hiệu năng trong suốt quá trình xử lý.

Cách tiếp cận này phản ánh đúng bản chất của Gigabyte AI TOP ATOM: một máy trạm AI chuyên sâu, nơi hiệu năng được đo bằng năng lực xử lý mô hình thực tế thay vì chỉ số benchmark đơn thuần.

Gigabyte AI TOP Utility: Thử nghiệm Text-to-Text

Trước tiên, chúng tôi tải về một số mô hình đã được đóng gói sẵn để chạy cục bộ trên Gigabyte AI TOP Utility và tiến hành đánh giá hiệu năng thực tế.

 

gpt-oss-20b-GGUF (UD-Q4_K_XL)

Với mô hình GPT dung lượng 20 tỷ tham số, lượng tử hóa 4-bit, hệ thống đạt tốc độ 58,90 tokens/giây.

Đây là một mô hình tương đối “nhẹ” so với cấu hình của AI TOP ATOM, giúp tốc độ sinh token rất ấn tượng. Tuy nhiên, độ chi tiết trong câu trả lời chưa thực sự sâu bằng phiên bản dung lượng lớn hơn.

gpt-oss-120b-GGUF (UD-Q4_K_XL)

Phiên bản 120 tỷ tham số yêu cầu nhiều RAM hơn đáng kể. Khi chạy trên cùng bài test, tốc độ giảm xuống còn 34,56 tokens/giây.

Đổi lại, nội dung phản hồi có độ chi tiết cao hơn, cấu trúc mạch lạc và đầy đủ hơn rõ rệt. Đây là lựa chọn phù hợp nếu ưu tiên chất lượng nội dung thay vì tốc độ tối đa.

Llama-3.2-3B-Instruct

Mô hình 3B này đã được fine-tune để tối ưu khả năng làm theo hướng dẫn. Khi thử nghiệm, hiệu năng đạt 8,83 tokens/giây.

So với các mô hình GPT phía trên, tốc độ xử lý chậm hơn đáng kể, dù số tham số thấp hơn. Điều này phản ánh sự khác biệt về kiến trúc và cách tối ưu mô hình.

Meta-Llama-3-8B-Instruct

Phiên bản 8B tham số cung cấp câu trả lời chi tiết hơn và tiêu thụ nhiều RAM hơn. Tuy nhiên, hiệu năng giảm xuống còn 6,72 tokens/giây với cùng câu hỏi kiểm tra.

Qua bài test text-to-text, có thể thấy Gigabyte AI TOP ATOM xử lý rất tốt các mô hình GPT dung lượng lớn ở chuẩn lượng tử hóa 4-bit, đạt tốc độ sinh token ấn tượng.

Trong khi đó, các mô hình Llama Instruct cho độ chi tiết ổn định nhưng tốc độ xử lý thấp hơn đáng kể trên cùng cấu hình.

Nhìn chung, nếu ưu tiên tốc độ và khả năng phản hồi nhanh trong môi trường AI cục bộ, các mô hình GPT 20B–120B ở chuẩn GGUF là lựa chọn phù hợp để khai thác tối đa sức mạnh phần cứng của hệ thống.

Dưới đây là bảng tổng hợp hiệu năng text-to-text trên Gigabyte AI TOP ATOM:

Mô hình	Hiệu năng (tokens/giây)
gpt-oss-20b-GGUF (UD-Q4_K_XL)	58,90
gpt-oss-120b-GGUF (UD-Q4_K_XL)	34,56
Llama-3.2-3B-Instruct	8,83
Meta-Llama-3-8B-Instruct	6,72

Thử nghiệm Text-to-Image

Stable Diffusion 3 Medium Diffusers (Text-to-Image)

Chúng tôi tiến hành kiểm tra hiệu năng của mô hình Stable Diffusion 3 Medium Diffusers với ba mức độ phân giải khác nhau:

• 480x480p: mất khoảng 36 giây để tạo ảnh

• 720x720p: thời gian tăng lên 62 giây

• 1024x1024p: thời gian đạt 96 giây

Cả ba bài test đều sử dụng cùng một prompt để đảm bảo tính đồng nhất. Có thể thấy thời gian xử lý tăng tương ứng với độ phân giải đầu ra, phản ánh đúng mức tải GPU khi số lượng pixel tăng lên.

CogVideoX-5B (Text-to-Video)

Với mô hình tạo video CogVideoX-5B, người dùng có thể tùy chỉnh thời lượng, FPS và độ phân giải.

Kết quả thử nghiệm:

• 720x480p, 3 giây, 8 FPS: mất 14 phút 38 giây để tạo video

• 720x480p, 3 giây, 16 FPS: thời gian tăng lên 28 phút 8 giây

Khi tăng gấp đôi FPS, thời gian xử lý gần như tăng tương ứng, cho thấy khối lượng tính toán tăng đáng kể khi số khung hình cần tạo lớn hơn.

ComfyUI FLUX Fine-Tuning

Như đã đề cập ở phần trước, chúng tôi thử nghiệm nhiều lần với workflow đã fine-tune bằng FLUX.1-dev 12B trong ComfyUI để đánh giá thời gian tạo ảnh.

Kết quả tương đối ổn định:

• Trung bình khoảng 100 giây để tạo một ảnh 1024x1024p

• Lần tạo đầu tiên có thể lâu hơn một chút do quá trình khởi tạo

Điều này cho thấy việc fine-tuning theo nhu cầu cụ thể giúp tối ưu đáng kể thời gian xử lý so với chạy mô hình FLUX.1-dev 12B đầy đủ.

Thử nghiệm Image-to-Text

Với các mô hình phân tích hình ảnh như Gemma 3 27B IT, chúng tôi chưa ghi nhận được tốc độ sinh token cụ thể. Tuy nhiên, trải nghiệm sử dụng thực tế cho thấy hệ thống hoạt động ổn định và đáp ứng tốt cho nhu cầu phân tích hình ảnh ở mức trung bình đến cơ bản.

Các bài test cho thấy Gigabyte AI TOP ATOM đủ sức xử lý đa dạng tác vụ AI từ text, hình ảnh đến video ngay tại máy, với hiệu năng phù hợp cho môi trường R&D, phòng lab hoặc startup phát triển AI cục bộ.

Stable Diffusion 3 medium diffusers
	Tiempo (s)	RAM (GB)
480x480p	36 s	24,87
720x720p	62 s
1024x1024p	96 s
CogVideoX-5b
	Tiempo (min)	RAM (GB)
720x480p, 3 s, 8 FPS	14:38 min	30,94
720x480p, 3 s, 16 FPS	28:08 min
ComfyUI FLUX Fine tuning
	Tiempo (s)	RAM (GB)
1024x1024p	100 s	107,59

Trong các mô hình phân tích hình ảnh (chuyển đổi hình ảnh thành văn bản) như gemma 3 27B, chúng tôi chưa đạt được tốc độ đầu ra như mong muốn, nhưng hoạt động của nó hoàn toàn đáp ứng được yêu cầu cơ bản.

Thử nghiệm với Ollama

Chúng tôi tiếp tục đánh giá nhiều mô hình khác nhau trên nền tảng Ollama nhằm kiểm tra hiệu năng thực tế và mức tiêu thụ RAM của hệ thống.

llama3.1:8b

Đây là phiên bản khác so với bản 3.2 đã thử nghiệm trước đó.

• Tốc độ sinh nội dung (eval rate): 37,70 tokens/giây

• Tốc độ xử lý prompt (prompt eval rate): 1827,76 tokens/giây

• Mức sử dụng RAM: khoảng 16 GB

Thông số chi tiết:

total duration:       24.88s
load duration:        109ms
prompt eval count:    51 tokens
prompt eval duration: 27.9ms
prompt eval rate:     1827.76 tokens/s
eval count:           918 tokens
eval duration:        24.34s
eval rate:            37.70 tokens/s

Đây là mức hiệu năng khá tốt với dung lượng RAM tiêu thụ thấp.

llama3.1:70b

Khi chuyển sang phiên bản 70B, mức sử dụng RAM tăng mạnh lên 93 GB, gần chạm ngưỡng tối đa của hệ thống.

• Tốc độ sinh nội dung: 4,10 tokens/giây

• Tốc độ xử lý prompt: 149,85 tokens/giây

total duration: 3m39.731652904s
load duration: 89.366794ms
prompt eval count: 51 token(s)
prompt eval duration: 340.347421ms
prompt eval rate: 149.85 tokens/s
eval count: 897 token(s)
eval duration: 3m38.915843773s
eval rate: 4.10 tokens/s

Hiệu năng giảm đáng kể do kích thước mô hình lớn và áp lực bộ nhớ cao.

gpt-oss:20b

Đây là mô hình cho câu trả lời rất đầy đủ và dài hơn so với các mô hình trước.

• RAM tiêu thụ: khoảng 34 GB

• Tốc độ sinh nội dung: 49,62 tokens/giây

• Tốc độ xử lý prompt: 482,56 tokens/giây

total duration: 2m8.202198394s
load duration: 155.459476ms
prompt eval count: 102 token(s)
prompt eval duration: 211.370623ms
prompt eval rate: 482.56 tokens/s
eval count: 6264 token(s)
eval duration: 2m6.250507766s
eval rate: 49.62 tokens/s

Cân bằng tốt giữa chất lượng nội dung và tốc độ xử lý.

gpt-oss:120b

Phiên bản 120B sử dụng gần như toàn bộ RAM của hệ thống.

• Tốc độ sinh nội dung: 34,36 tokens/giây

• Tốc độ xử lý prompt: 209 tokens/giây

total duration: 2m40.666887494s
load duration: 176.282739ms
prompt eval count: 102 token(s)
prompt eval duration: 488.044056ms
prompt eval rate: 209.00 tokens/s
eval count: 5451 token(s)
eval duration: 2m38.643027507s
eval rate: 34.36 tokens/s

Mặc dù nặng hơn, hiệu năng vẫn duy trì ở mức ổn định so với quy mô tham số.

deepseek-r1:14b

Mô hình này tạo ra nội dung khá chi tiết với mức tiêu thụ RAM không vượt quá 40 GB.

• Tốc độ sinh nội dung: 19,34 tokens/giây

• Tốc độ xử lý prompt: 584,53 tokens/giây

total duration: 1m9.047584402s
load duration: 84.170752ms
prompt eval count: 44 token(s)
prompt eval duration: 75.274752ms
prompt eval rate: 584.53 tokens/s
eval count: 1319 token(s)
eval duration: 1m8.201973806s
eval rate: 19.34 tokens/s

Đây là lựa chọn hợp lý nếu cần chất lượng tốt nhưng không muốn gây áp lực quá lớn lên bộ nhớ.

Qua các bài test với Ollama, Gigabyte AI TOP ATOM cho thấy hiệu năng tương đương với một hệ thống desktop trang bị NVIDIA RTX 5070, đặc biệt khi xử lý mô hình AI ở mức tham số trung bình đến lớn.

Dưới đây là bảng tổng hợp hiệu năng các mô hình chạy trên Ollama (Gigabyte AI TOP ATOM):

Mô hình	Ghi (tokens/s)	Đọc (tokens/s)	RAM tổng (GB)	Thời gian đến token đầu tiên (ms)	Tổng thời gian
llama3.1:8b	37,70	1827	16,78	109,35	24s
llama3.1:70b	4,10	149,85	93,09	89,37	3m39s
gpt-oss:20b	49,62	482,56	34,3	211,37	2m08s
gpt-oss:120b	34,36	209	118,74	176,28	2m40s
deepseek-r1:14b	19,34	584,53	38,48	84,17	1m09s

Tổng thể, hệ thống đủ sức chạy đa dạng mô hình từ 8B đến 120B ngay tại máy, với hiệu năng ổn định và khả năng kiểm soát tài nguyên tốt.

Nhiệt độ và mức tiêu thụ điện của Gigabyte AI TOP ATOM

Chúng tôi tiến hành đo nhiệt độ và mức tiêu thụ điện của Gigabyte AI TOP ATOM trực tiếp tại ổ cắm điện, ở cả trạng thái nghỉ và khi chạy tải nặng với các mô hình AI.

Dưới đây là bảng tổng hợp nhiệt độ và mức tiêu thụ điện của Gigabyte AI TOP ATOM:

Thông số	Nhàn rỗi (Idle)	Tải nặng (Stress)	Mức đỉnh (Peak)
Nhiệt độ	40°C	69°C	75°C
Công suất	57W	146W	154W

Kết quả cho thấy nhiệt độ hoạt động cao hơn đôi chút so với GPU desktop thông thường, và gần với mức thường thấy trên laptop hiệu năng cao. Điều này hoàn toàn dễ hiểu do không gian bên trong máy rất nhỏ gọn. Tuy nhiên, hệ thống tản nhiệt vẫn làm việc rất hiệu quả so với sức mạnh của con chip bên trong, đồng thời độ ồn được kiểm soát tốt và khá yên tĩnh trong suốt quá trình thử nghiệm.

Về mức tiêu thụ điện, trong các điều kiện sử dụng thực tế, công suất ghi nhận được thấp hơn đáng kể so với mức tối đa 240W của bộ adapter đi kèm. Có thể trong các tác vụ nặng như tạo video AI hoặc xử lý đồ họa 3D thời gian thực, mức tiêu thụ điện mới tiệm cận ngưỡng cao hơn, nhất là khi hệ thống có TDP 140W cho chip chính.

Đây là một hệ thống cân bằng tốt giữa hiệu năng AI mạnh mẽ và mức tiêu thụ điện hợp lý cho môi trường làm việc chuyên nghiệp.

Lời kết & đánh giá tổng quan về Gigabyte AI TOP ATOM

Qua toàn bộ quá trình trải nghiệm và thử nghiệm thực tế, có thể khẳng định Gigabyte AI TOP ATOM không phải là một chiếc PC thông thường, mà là một máy trạm AI thu gọn chuẩn chuyên nghiệp, được xây dựng để phục vụ đúng nhu cầu phát triển và triển khai trí tuệ nhân tạo tại chỗ.

Sử dụng cùng nền tảng với NVIDIA DGX Spark, hệ thống thừa hưởng trọn vẹn hệ sinh thái phần mềm và phần cứng tối ưu cho Machine Learning, multimodal inference và các tác vụ khoa học. Điều này mang lại lợi thế rất lớn cho những ai muốn làm AI nghiêm túc mà không cần đầu tư hạ tầng server cồng kềnh.

Nền tảng DGX OS dựa trên Ubuntu, tích hợp sẵn NVIDIA Dashboard và JupyterLab, giúp quá trình triển khai môi trường AI trở nên nhanh chóng và chuyên nghiệp. Bên cạnh đó, Gigabyte bổ sung AI TOP Utility – một công cụ quản lý mô hình trực quan, hỗ trợ tải model từ HuggingFace, theo dõi tài nguyên và chạy inference dễ dàng hơn rất nhiều.

Một điểm mạnh đáng chú ý là khả năng fine-tuning và huấn luyện mô hình ngay tại máy. Thử nghiệm với FLUX.1-dev cho thấy hệ thống hoàn toàn đủ sức xử lý các workflow nâng cao qua ComfyUI, giúp người dùng xây dựng mô hình chuyên biệt theo nhu cầu riêng.

Về phần cứng, chỉ trong khối máy nặng khoảng 1,2 kg, Gigabyte tích hợp NVIDIA GB10 Blackwell Superchip, kết hợp CPU ARM 20 nhân và GPU Blackwell 2.0, đạt khoảng 1 petaFLOP FP4 (~1000 AI TOPS). Đáng chú ý là mức tiêu thụ điện thực tế thấp hơn nhiều so với ngưỡng 240W của adapter – cho thấy hiệu suất trên mỗi watt rất ấn tượng.

Bộ nhớ 128GB LPDDR5X (272 GB/s) đủ để tải và vận hành các mô hình LLM lớn trong môi trường local. Kết hợp với SSD PCIe 5.0 4TB, hệ thống đáp ứng tốt nhu cầu lưu trữ model nặng và dataset dung lượng cao.

Khả năng chạy inference với model lên tới 200B FP4 trong giới hạn bộ nhớ hợp nhất là một điểm cộng lớn cho nhóm R&D hoặc startup AI muốn phát triển tại chỗ mà không phụ thuộc cloud.

Hệ thống mạng cũng là điểm sáng: ngoài 10GbE và Wi-Fi 7, SmartNIC NVIDIA ConnectX-7 dual QSFP56 cho băng thông hiệu dụng lên tới 200 Gbps, hỗ trợ cấu hình cluster hoặc kết nối song song nhiều node – rất phù hợp cho môi trường inference hợp tác.

Trong thử nghiệm thực tế, các model GPT 20B–120B đạt tốc độ tok/s ấn tượng, Stable Diffusion 1024x1024 dưới 100 giây, và các tác vụ video AI nằm trong mức kỳ vọng của một hệ thống 1000 AI TOPS. Tổng thể hiệu năng tương đương desktop trang bị RTX 5070, nhưng trong một form factor nhỏ gọn hơn rất nhiều.

Với mức giá khoảng 4.140€, đây là lựa chọn dành cho:

• Nhà phát triển AI / ML

• Phòng nghiên cứu & đào tạo

• Startup công nghệ

• Lab robot & thị giác máy tính

• Doanh nghiệp muốn triển khai AI local, không phụ thuộc cloud

Gigabyte AI TOP ATOM không hướng đến số đông người dùng phổ thông. Nhưng với nhóm khách hàng đúng nhu cầu, đây là một nút tính toán AI chuyên nghiệp thu gọn, có thể thay thế workstation truyền thống trong nhiều kịch bản triển khai thực tế.

Nếu bạn đang tìm một nền tảng AI mạnh, gọn, tối ưu phần mềm sẵn sàng sử dụng và có khả năng mở rộng, đây thực sự là một giải pháp đáng cân nhắc.