Multi-GPU là gì? AI có tận dụng được nhiều GPU không?

Sự phát triển của Generative AI, Large Language Model (LLM) và các mô hình AI ngày càng lớn khiến một GPU đơn đôi khi không còn đáp ứng đủ nhu cầu về hiệu năng tính toán hoặc dung lượng VRAM. Đây là lý do các hệ thống Multi-GPU ngày càng xuất hiện nhiều trên AI Workstation và AI Server.

Vậy Multi-GPU là gì? AI có tận dụng được nhiều GPU không? Câu trả lời là có, nhưng việc lắp thêm GPU không đồng nghĩa hiệu năng hay VRAM sẽ tự động tăng tương ứng. Khả năng tận dụng nhiều GPU còn phụ thuộc vào mô hình AI, framework, phương pháp phân phối workload, VRAM và tốc độ giao tiếp giữa các GPU.

Trong bài viết này, Hoàng Hà PC sẽ giúp bạn hiểu rõ cách Multi-GPU hoạt động, khả năng ứng dụng trong AI và những yếu tố cần quan tâm khi xây dựng một hệ thống nhiều GPU.

Multi-GPU là gì?

Multi-GPU là thuật ngữ chỉ một hệ thống được trang bị từ hai GPU vật lý trở lên. Tùy vào phần mềm và phương thức triển khai, các GPU có thể cùng xử lý một tác vụ hoặc được phân bổ để thực hiện những tác vụ độc lập.

Trong lĩnh vực AI, hệ thống Multi-GPU thường được sử dụng trên AI Workstation và AI Server nhằm mở rộng năng lực tính toán, tăng tốc quá trình huấn luyện, nâng cao throughput khi inference hoặc hỗ trợ xử lý những mô hình có yêu cầu bộ nhớ vượt quá khả năng của một GPU đơn.

Để khai thác nhiều GPU cho cùng một workload AI, phần mềm hoặc framework phải hỗ trợ cơ chế tính toán phân tán. Workload có thể được phân chia theo nhiều phương pháp như Data Parallelism, Model Parallelism, Tensor Parallelism hoặc Pipeline Parallelism, tùy thuộc vào mục đích training hay inference.

Cần lưu ý rằng việc lắp 2, 4 hoặc nhiều GPU vào máy không đồng nghĩa ứng dụng AI sẽ tự động sử dụng tất cả GPU. Hiệu quả Multi-GPU phụ thuộc vào khả năng hỗ trợ của phần mềm, cách phân chia workload, dung lượng VRAM và tốc độ giao tiếp giữa các GPU.

Multi-GPU (đa GPU) là cấu hình phần cứng sử dụng từ hai hay nhiều card đồ họa

Multi-GPU khác Multi-Instance GPU như thế nào?

Multi-GPU và Multi-Instance GPU (MIG) đều liên quan đến việc phân bổ tài nguyên GPU, nhưng nguyên lý hoạt động và mục đích sử dụng hoàn toàn khác nhau.

Multi-GPU là hệ thống sử dụng từ hai GPU vật lý trở lên. Tùy phần mềm và cách triển khai, các GPU có thể phối hợp xử lý cùng một workload AI thông qua các kỹ thuật tính toán song song/phân tán, hoặc mỗi GPU đảm nhiệm một workload riêng.

Trong khi đó, Multi-Instance GPU (MIG) là công nghệ của NVIDIA trên các GPU được hỗ trợ, cho phép phân vùng một GPU vật lý thành nhiều GPU instance độc lập. Mỗi instance được cấp một phần tài nguyên phần cứng và bộ nhớ GPU riêng, cho phép nhiều workload hoặc người dùng khai thác cùng một GPU với mức độ cách ly tài nguyên nhất định.

Có thể phân biệt ngắn gọn:

• Multi-GPU: mở rộng tài nguyên bằng cách sử dụng nhiều GPU vật lý.

• MIG: phân chia tài nguyên của một GPU vật lý thành nhiều GPU instance độc lập.

Vì vậy, Multi-GPU thường hướng đến mở rộng năng lực tính toán của hệ thống, trong khi MIG chủ yếu giúp phân chia và khai thác hiệu quả tài nguyên của một GPU cho nhiều workload. Hai công nghệ cũng có thể xuất hiện trong cùng một hạ tầng nếu GPU và nền tảng triển khai hỗ trợ.

Vì sao AI cần sử dụng nhiều GPU?

Khi các mô hình AI ngày càng lớn, yêu cầu về năng lực tính toán, VRAM và tốc độ xử lý cũng tăng theo. Một GPU đơn có thể không đủ bộ nhớ để chứa model hoặc cần quá nhiều thời gian để hoàn thành quá trình training. Multi-GPU cho phép phân phối workload trên nhiều GPU để mở rộng tài nguyên của toàn hệ thống.

Một số lý do chính khiến Multi-GPU được sử dụng trong AI gồm:

• Tăng năng lực tính toán: Nhiều GPU có thể cùng xử lý các phép toán ma trận và tensor song song, giúp tăng tổng khả năng tính toán khi workload và phần mềm hỗ trợ.

• Rút ngắn thời gian training: Dữ liệu và phép tính có thể được phân phối trên nhiều GPU để xử lý đồng thời. Tuy nhiên, hiệu năng thường không tăng tuyến tính theo số GPU do còn có chi phí trao đổi dữ liệu và đồng bộ giữa các GPU.

• Chạy model lớn hơn: Với những model vượt quá VRAM của một GPU, các kỹ thuật như Model Parallelism, Tensor Parallelism hoặc Pipeline Parallelism có thể phân chia model trên nhiều GPU. VRAM của các GPU không tự động hợp nhất thành một vùng bộ nhớ chung.

• Tăng throughput khi inference: Nhiều GPU có thể xử lý nhiều request hoặc nhiều bản sao của model đồng thời, đặc biệt hữu ích với AI Server phục vụ số lượng lớn người dùng.

Như vậy, Multi-GPU không chỉ nhằm tăng tốc độ tính toán, mà còn giúp mở rộng quy mô model, rút ngắn thời gian training và nâng cao khả năng phục vụ inference. Hiệu quả thực tế vẫn phụ thuộc vào model, framework, phương pháp parallelism và kiến trúc phần cứng của hệ thống.

AI có tận dụng được nhiều GPU không?

AI có thể tận dụng nhiều GPU để tăng khả năng xử lý, nhưng hiệu quả thực tế phụ thuộc vào mô hình AI, framework, cách phân chia workload và cấu hình phần cứng. Trong thực tế, Multi-GPU được ứng dụng chủ yếu trong hai nhóm tác vụ là training (huấn luyện mô hình) và inference (suy luận), với cách khai thác nhiều GPU khác nhau tùy từng workload.

Multi-GPU trong AI Training

AI Training là một trong những workload có thể hưởng lợi đáng kể từ Multi-GPU, đặc biệt khi huấn luyện mô hình lớn hoặc xử lý tập dữ liệu có quy mô cao.

Thay vì để một GPU đảm nhiệm toàn bộ quá trình tính toán, workload có thể được phân phối trên nhiều GPU để xử lý song song. Chẳng hạn với Data Parallelism, mỗi GPU giữ một bản sao của model nhưng xử lý một phần khác nhau của batch dữ liệu. Sau mỗi bước huấn luyện, kết quả tính toán như gradient sẽ được đồng bộ giữa các GPU để cập nhật tham số của model.

Nhờ khả năng xử lý song song, Multi-GPU có thể rút ngắn thời gian training và tăng lượng dữ liệu được xử lý trong một đơn vị thời gian, đặc biệt khi workload có khả năng mở rộng tốt.

Tuy nhiên, sử dụng 2 GPU không đồng nghĩa quá trình training luôn nhanh gấp đôi, và 4 GPU cũng không mặc định nhanh gấp bốn lần. Hệ thống còn phải dành tài nguyên cho việc trao đổi dữ liệu, đồng bộ gradient và giao tiếp giữa các GPU. Vì vậy, hiệu quả scaling thực tế phụ thuộc vào model, batch size, framework, phương pháp parallelism và băng thông kết nối giữa các GPU.

Multi-GPU giúp tăng tốc quá trình huấn luyện mô hình AI.

Multi-GPU trong AI Inference

Multi-GPU cũng được sử dụng rộng rãi trong AI Inference, đặc biệt khi triển khai các mô hình lớn hoặc hệ thống phải xử lý nhiều yêu cầu đồng thời.

Với những model có yêu cầu bộ nhớ vượt quá VRAM của một GPU, model có thể được phân chia trên nhiều GPU bằng các kỹ thuật như Tensor Parallelism hoặc Pipeline Parallelism. Khi đó, mỗi GPU đảm nhiệm một phần model hoặc phép tính, cho phép hệ thống chạy những mô hình mà một GPU đơn không đủ VRAM để xử lý.

Một cách triển khai khác là nhân bản model trên nhiều GPU. Mỗi GPU chạy một bản sao của model và xử lý các request khác nhau. Phương pháp này đặc biệt hữu ích với AI Server có nhiều người dùng truy cập cùng lúc, giúp tăng throughput, tức số lượng request hệ thống có thể xử lý trong một khoảng thời gian.

Do đó, Multi-GPU trong inference có thể phục vụ hai mục tiêu chính: phân phối model lớn trên nhiều GPU và mở rộng khả năng xử lý đồng thời. Tuy nhiên, hiệu quả thực tế còn phụ thuộc vào kích thước model, số lượng request, framework inference và tốc độ giao tiếp giữa các GPU.

AI phân phối công việc giữa nhiều GPU như thế nào?

Để nhiều GPU cùng xử lý một workload AI, phần mềm cần sử dụng các phương pháp parallelism phù hợp.

Data Parallelism

Data Parallelism là phương pháp xử lý song song phổ biến trong quá trình training AI, trong đó mỗi GPU giữ một bản sao đầy đủ của model, còn dữ liệu của mỗi batch được chia thành các phần nhỏ để các GPU xử lý đồng thời.

Ví dụ, với hệ thống 4 GPU, một batch dữ liệu có thể được phân chia để GPU 1, GPU 2, GPU 3 và GPU 4 cùng thực hiện quá trình forward và backward trên các phần dữ liệu khác nhau. Sau đó, gradient được tổng hợp và đồng bộ giữa các GPU để đảm bảo các bản sao của model được cập nhật nhất quán.

Cách triển khai này giúp tăng lượng dữ liệu có thể xử lý trong một đơn vị thời gian và rút ngắn thời gian training khi workload có khả năng mở rộng tốt. Đây cũng là phương pháp được sử dụng phổ biến trong các framework Deep Learning hỗ trợ distributed training.

Tuy nhiên, vì mỗi GPU vẫn phải lưu một bản sao của model và các dữ liệu cần thiết cho quá trình training, Data Parallelism không đơn thuần cộng VRAM của nhiều GPU thành một vùng bộ nhớ chung. Nếu bản thân model hoặc trạng thái cần thiết không thể nằm trong bộ nhớ của một GPU, cần sử dụng thêm các kỹ thuật phân chia model hoặc sharding phù hợp.

Data Parallelism phân chia dữ liệu để nhiều GPU xử lý song song.

Model Parallelism

Model Parallelism là phương pháp phân chia một model AI trên nhiều GPU, thường được sử dụng khi model hoặc các thành phần cần thiết của model không thể nằm hoàn toàn trong VRAM của một GPU.

Thay vì mỗi GPU lưu một bản sao đầy đủ của model như Data Parallelism, các phần khác nhau của model được phân bổ cho những GPU khác nhau. Ví dụ, một nhóm layer có thể nằm trên GPU 1, trong khi các layer tiếp theo được đặt trên GPU 2.

Trong quá trình xử lý, dữ liệu và các giá trị trung gian cần thiết sẽ được truyền giữa các GPU theo cấu trúc phân chia của model. Nhờ đó, hệ thống có thể phân bổ yêu cầu bộ nhớ và tính toán của một model trên nhiều GPU, cho phép triển khai những mô hình vượt quá khả năng VRAM của một GPU đơn.

Tuy nhiên, Model Parallelism làm tăng nhu cầu trao đổi dữ liệu giữa các GPU. Vì vậy, hiệu năng thực tế phụ thuộc đáng kể vào cách model được phân chia, khối lượng dữ liệu cần truyền và băng thông kết nối giữa các GPU.

Pipeline Parallelism

Pipeline Parallelism là phương pháp chia model thành nhiều stage (giai đoạn) và phân bổ từng stage cho các GPU khác nhau. Mỗi GPU chịu trách nhiệm xử lý một phần của model, sau đó chuyển kết quả trung gian sang GPU đảm nhiệm stage tiếp theo.

Có thể hình dung quá trình này như một dây chuyền xử lý:

GPU 1 → GPU 2 → GPU 3 → GPU 4

Để khai thác các GPU hiệu quả hơn, batch dữ liệu thường được chia thành nhiều micro-batch. Khi GPU 1 chuyển micro-batch đầu tiên sang GPU 2, GPU 1 có thể tiếp tục xử lý micro-batch tiếp theo. Nhờ đó, nhiều GPU có thể hoạt động đồng thời ở các stage khác nhau thay vì phải chờ toàn bộ batch hoàn thành.

Pipeline Parallelism giúp phân bổ model và khối lượng tính toán trên nhiều GPU, đặc biệt hữu ích với các model lớn. Tuy nhiên, hiệu quả thực tế phụ thuộc vào cách chia stage, mức độ cân bằng tải giữa các GPU và chi phí truyền dữ liệu giữa chúng. Nếu các stage có thời gian xử lý chênh lệch lớn hoặc giao tiếp giữa GPU chậm, một số GPU có thể phải chờ, làm giảm hiệu quả của toàn bộ pipeline.

Tensor Parallelism

Tensor Parallelism là phương pháp chia nhỏ các phép tính bên trong cùng một layer của model để nhiều GPU cùng xử lý song song. Thay vì đặt toàn bộ layer trên một GPU, các tensor trọng số và phép toán liên quan có thể được phân chia giữa nhiều GPU.

Phương pháp này đặc biệt hữu ích với Large Language Model (LLM), nơi một layer có thể chứa lượng tham số lớn và yêu cầu khối lượng tính toán đáng kể. Chẳng hạn, một phép nhân ma trận lớn có thể được chia thành nhiều phần để các GPU thực hiện đồng thời, sau đó kết quả được trao đổi hoặc tổng hợp để tiếp tục quá trình tính toán.

Tensor Parallelism giúp phân phối cả yêu cầu bộ nhớ và khối lượng tính toán của model trên nhiều GPU, nhờ đó hỗ trợ triển khai những mô hình lớn và tăng khả năng xử lý song song.

Tuy nhiên, do các GPU phải trao đổi dữ liệu thường xuyên ngay trong quá trình xử lý từng layer, Tensor Parallelism khá nhạy với băng thông và độ trễ kết nối giữa GPU. Vì vậy, hiệu quả thực tế phụ thuộc đáng kể vào kiến trúc hệ thống, số lượng GPU, cách model được phân chia và tốc độ giao tiếp GPU-to-GPU.

Các GPU giao tiếp với nhau bằng cách nào?

Trong hệ thống Multi-GPU, tốc độ giao tiếp giữa các GPU có thể ảnh hưởng đáng kể đến hiệu quả training và inference, đặc biệt với những workload cần trao đổi dữ liệu thường xuyên. Một số cơ chế kết nối và giao tiếp phổ biến gồm:

• PCIe: Là giao tiếp chính kết nối GPU với CPU và hệ thống. Tùy CPU và mainboard, nhiều GPU có thể hoạt động ở x16, x8 hoặc thấp hơn. Cần lưu ý khe PCIe x16 vật lý không đồng nghĩa luôn được cấp đủ 16 lane, vì vậy cần kiểm tra số PCIe lanes và sơ đồ phân bổ lane của nền tảng.

• PCIe Peer-to-Peer (P2P): Trong các cấu hình được hỗ trợ, P2P cho phép GPU truyền hoặc truy cập dữ liệu trực tiếp giữa bộ nhớ của nhau qua PCIe, giúp hạn chế việc phải sao chép dữ liệu qua RAM hệ thống. Khả năng sử dụng P2P phụ thuộc vào GPU, PCIe topology, nền tảng, driver và phần mềm.

• NVLink: Là công nghệ kết nối tốc độ cao của NVIDIA, cung cấp băng thông giao tiếp lớn giữa các GPU trên những sản phẩm và nền tảng được hỗ trợ. NVLink đặc biệt hữu ích với workload cần trao đổi dữ liệu GPU-to-GPU thường xuyên như training mô hình lớn hoặc Tensor Parallelism. Một số hệ thống máy chủ còn sử dụng NVSwitch để kết nối nhiều GPU với băng thông cao.

Không phải hệ thống Multi-GPU nào cũng hỗ trợ PCIe P2P hoặc NVLink, và không phải GPU NVIDIA nào cũng có NVLink. Vì vậy, khi xây dựng AI Workstation hoặc AI Server, cần kiểm tra GPU, PCIe topology, băng thông kết nối và khả năng hỗ trợ của nền tảng để đảm bảo hệ thống phù hợp với workload AI dự kiến.

Các GPU trao đổi dữ liệu thông qua PCIe, P2P hoặc NVLink.

Các mô hình triển khai Multi-GPU phổ biến

Tùy quy mô workload và hạ tầng, hệ thống Multi-GPU Computing có thể được triển khai từ một workstation duy nhất đến cụm máy chủ gồm nhiều node. Một số mô hình phổ biến gồm:

• Single-system Multi-GPU: Nhiều GPU được lắp trong cùng một workstation hoặc server và kết nối thông qua nền tảng PCIe. Đây là cấu hình thường gặp ở AI Workstation, máy chủ AI và các hệ thống training/inference quy mô nhỏ đến trung bình.

• Multi-node GPU Cluster: Nhiều máy chủ, mỗi node có một hoặc nhiều GPU, được kết nối qua mạng tốc độ cao. Workload được phân phối giữa các node, phù hợp với training AI quy mô lớn và hạ tầng trung tâm dữ liệu.

• Heterogeneous Multi-GPU: Hệ thống sử dụng các GPU có cấu hình hoặc đặc tính khác nhau. Cách triển khai này có thể phù hợp với một số workload chuyên biệt, nhưng việc phân phối tải và tối ưu phần mềm thường phức tạp hơn so với sử dụng các GPU đồng nhất.

Bên trong các hệ thống này, GPU có thể giao tiếp qua PCIe, PCIe Peer-to-Peer, NVLink/NVSwitch hoặc hạ tầng mạng giữa các node, tùy thuộc vào GPU và nền tảng được sử dụng.

Đối với người dùng đang build PC AI hoặc AI Workstation, Single-system Multi-GPU là mô hình cần quan tâm nhất. Các hệ thống Multi-node thường phù hợp hơn với doanh nghiệp, trung tâm dữ liệu và những workload AI có quy mô lớn.

Multi-GPU có thể triển khai từ một workstation đến cụm GPU nhiều node.

Phần mềm AI nào hỗ trợ Multi-GPU?

Hệ sinh thái AI hiện nay có nhiều framework, thư viện và công cụ hỗ trợ Multi-GPU, phục vụ từ distributed training đến triển khai inference cho các mô hình lớn. Tùy từng nền tảng, Multi-GPU có thể được triển khai thông qua Data Parallelism, Tensor Parallelism, Pipeline Parallelism hoặc các kỹ thuật phân chia model và bộ nhớ khác.

Một số framework và công cụ phổ biến gồm:

• PyTorch: Hỗ trợ distributed training trên nhiều GPU, trong đó DistributedDataParallel (DDP) là một trong những cơ chế thường được sử dụng để thực hiện Data Parallelism.

• TensorFlow: Cung cấp các chiến lược distributed training cho phép phân phối quá trình tính toán trên nhiều GPU và nhiều máy.

• Hugging Face: Các công cụ như Transformers và Accelerate hỗ trợ triển khai, training và phân phối model trên nhiều GPU, đặc biệt hữu ích với Transformer và LLM.

• DeepSpeed: Hỗ trợ training model quy mô lớn với nhiều kỹ thuật parallelism và tối ưu bộ nhớ, bao gồm ZeRO để phân chia các trạng thái liên quan đến quá trình training giữa nhiều GPU.

• NVIDIA NCCL: Là thư viện giao tiếp dành cho hệ thống GPU NVIDIA, cung cấp các collective operation như AllReduce, Broadcast, Reduce và AllGather, thường được các framework distributed computing sử dụng phía dưới.

• vLLM: Tập trung vào LLM inference và hỗ trợ triển khai model trên nhiều GPU thông qua các cơ chế parallelism phù hợp.

Tuy nhiên, máy tính có nhiều GPU không có nghĩa ứng dụng AI sẽ tự động sử dụng tất cả GPU. Framework, model và phần mềm phải hỗ trợ Multi-GPU, đồng thời workload cần được cấu hình với phương pháp phân phối phù hợp. Vì vậy, khi xây dựng AI Workstation Multi-GPU, khả năng hỗ trợ của phần mềm cũng quan trọng không kém số lượng và hiệu năng GPU.

Nhiều framework và công cụ AI hỗ trợ khai thác hệ thống Multi-GPU.

Yêu cầu phần cứng khi build PC Multi-GPU cho AI

Một hệ thống AI Multi-GPU không đơn giản chỉ là lắp thêm nhiều card đồ họa. CPU, mainboard, RAM, nguồn và hệ thống tản nhiệt đều phải được lựa chọn đồng bộ để các GPU có đủ băng thông, điện năng và điều kiện vận hành ổn định.

Một số yếu tố phần cứng quan trọng cần kiểm tra gồm:

• CPU và PCIe lanes: CPU cần cung cấp đủ PCIe lanes cho số lượng GPU dự kiến sử dụng. Ngoài số lane, cần xem xét thế hệ PCIe và cách lane được phân bổ giữa GPU, SSD NVMe và các thiết bị mở rộng. Với hệ thống 2, 4 hoặc nhiều GPU, nền tảng workstation/server thường có lợi thế về khả năng mở rộng PCIe.

• Mainboard: Không nên chỉ nhìn vào số khe PCIe x16 vật lý. Cần kiểm tra số lane thực tế của từng khe, thế hệ PCIe, khoảng cách giữa các khe và sơ đồ phân bổ lane khi lắp đồng thời nhiều GPU. Một mainboard có 4 khe PCIe x16 vật lý không đồng nghĩa cả 4 khe đều hoạt động ở x16.

• RAM: Dung lượng RAM cần phù hợp với dataset, preprocessing, caching và số lượng workload chạy đồng thời. Không có một tỷ lệ RAM/VRAM cố định phù hợp với mọi hệ thống, vì nhu cầu thực tế còn phụ thuộc vào model và pipeline xử lý dữ liệu.

• Nguồn: PSU phải đáp ứng tổng công suất của GPU, CPU và toàn bộ linh kiện, đồng thời có đủ đầu cấp nguồn và công suất dự phòng phù hợp. Điều này đặc biệt quan trọng khi training hoặc inference khiến nhiều GPU duy trì tải cao trong thời gian dài.

• Tản nhiệt và chassis: Case cần đủ không gian cho kích thước và số lượng GPU, đồng thời đảm bảo khoảng cách giữa các card và airflow phù hợp. CPU, VRM, RAM, SSD và PSU cũng cần được tính đến trong thiết kế tản nhiệt.

Đặc biệt, với các hệ thống Multi-GPU công suất lớn, nguồn điện và khả năng tản nhiệt có thể trở thành giới hạn thực tế trước cả hiệu năng tính toán. Nếu GPU đặt quá sát nhau hoặc airflow không đủ, nhiệt độ tăng cao có thể dẫn đến thermal throttling và làm giảm hiệu năng khi chạy workload AI liên tục.

Vì vậy, khi build PC AI hoặc AI Workstation Multi-GPU, cần thiết kế hệ thống dựa trên số lượng GPU và workload dự kiến ngay từ đầu. Một cấu hình cân bằng giữa PCIe lanes, RAM, nguồn điện, không gian lắp đặt và cooling sẽ giúp các GPU duy trì hiệu năng ổn định và tạo điều kiện thuận lợi cho việc nâng cấp về sau.

PC Multi-GPU cần phần cứng đồng bộ để đảm bảo hiệu năng và vận hành ổn định.

Khi xây dựng PC AI hoặc AI Workstation Multi-GPU, cần thiết kế hệ thống dựa trên số lượng GPU và workload dự kiến ngay từ đầu. Nếu cần tham khảo các cấu hình PC AI chuyên dụng, người dùng có thể lựa chọn hệ thống được tối ưu đồng bộ về CPU, GPU, RAM, nguồn và tản nhiệt tại Hoàng Hà PC.

Nên dùng một GPU mạnh hay nhiều GPU cho AI?

Không có một lựa chọn phù hợp với mọi workload.

Nếu model nằm vừa trong VRAM và workload không hỗ trợ Multi-GPU tốt, một GPU mạnh thường giúp hệ thống đơn giản hơn.

Ngược lại, nếu cần training quy mô lớn, chạy model vượt quá VRAM của một GPU hoặc phục vụ nhiều request inference, Multi-GPU có thể mang lại lợi thế rõ rệt.

Một số cấu hình Multi-GPU phổ biến cho AI

[Products:6683,6931,7164,6735,6259,6293,6497,6636,6729]

Câu hỏi thường gặp về Multi-GPU

2 GPU có cộng VRAM với nhau không?

Hai GPU có tổng dung lượng VRAM vật lý bằng tổng VRAM của từng card, nhưng không tự động trở thành một vùng VRAM thống nhất cho mọi ứng dụng.

Muốn một model sử dụng tài nguyên bộ nhớ trên nhiều GPU, phần mềm phải hỗ trợ phương pháp phân chia phù hợp.

Có thể dùng hai GPU khác nhau để chạy AI không?

Về mặt kỹ thuật, một số phần mềm và workload có thể sử dụng nhiều GPU khác nhau. Tuy nhiên, GPU khác nhau về hiệu năng, VRAM hoặc kiến trúc có thể khiến việc cân bằng workload và tối ưu hệ thống phức tạp hơn.

Đối với các hệ thống Multi-GPU chuyên nghiệp, sử dụng GPU cùng loại thường giúp việc triển khai và tối ưu dễ dàng hơn.

AI có tự động sử dụng tất cả GPU trong máy không?

Không.

Việc máy tính có 2 hoặc 4 GPU không đảm bảo ứng dụng AI sẽ tự động sử dụng tất cả. Framework, model và phần mềm phải hỗ trợ Multi-GPU và được cấu hình đúng.

Có cần NVLink để chạy Multi-GPU không?

Không phải mọi hệ thống Multi-GPU đều cần NVLink.

Nhiều workload có thể chạy nhiều GPU thông qua PCIe. Tuy nhiên, tốc độ kết nối GPU-to-GPU có thể ảnh hưởng đáng kể đến những workload cần trao đổi dữ liệu thường xuyên.

Mainboard có hai khe PCIe x16 là chạy được hai GPU AI không?

Chưa chắc.

Cần kiểm tra số PCIe lanes thực tế mà mỗi khe nhận được, khả năng hỗ trợ của CPU, khoảng cách vật lý giữa các khe, nguồn điện và kích thước GPU.

Hai khe có hình dạng PCIe x16 không đồng nghĩa cả hai đều hoạt động ở x16.

Multi-GPU có phù hợp để chạy LLM Local không?

Có, đặc biệt khi model vượt quá dung lượng VRAM của một GPU và phần mềm hỗ trợ phân chia model trên nhiều GPU.

Tuy nhiên, hiệu năng còn phụ thuộc vào cách model được chia và tốc độ trao đổi dữ liệu giữa các GPU.

Hai GPU tầm trung hay một GPU cao cấp phù hợp hơn cho AI?

Điều này phụ thuộc vào workload.

Nếu ứng dụng chỉ tận dụng tốt một GPU, lựa chọn GPU đơn mạnh hơn và có VRAM lớn có thể đơn giản hơn.

Nếu workload hỗ trợ parallelism tốt hoặc cần phân chia model trên nhiều GPU, hệ thống hai GPU có thể phù hợp hơn.

Do đó, nên lựa chọn dựa trên VRAM, model, framework và cách workload sử dụng GPU thay vì chỉ so sánh tổng sức mạnh tính toán lý thuyết.

Kết luận

Multi-GPU là giải pháp sử dụng nhiều GPU vật lý trong cùng một hệ thống nhằm mở rộng năng lực tính toán cho những workload có khả năng xử lý song song. Trong AI, nhiều GPU có thể được sử dụng cho cả training và inference, từ tăng tốc huấn luyện, chạy model lớn đến tăng throughput cho AI Server.

Tuy nhiên, lắp thêm GPU không đồng nghĩa hiệu năng hoặc VRAM sẽ tự động tăng theo tỷ lệ tương ứng. Hiệu quả của Multi-GPU phụ thuộc vào framework, phương pháp parallelism, dung lượng VRAM, PCIe, tốc độ giao tiếp giữa GPU và khả năng scaling của workload.

Vì vậy, khi xây dựng PC AI hoặc AI Workstation Multi-GPU, người dùng cần lựa chọn đồng bộ GPU, CPU, mainboard, RAM, nguồn và hệ thống tản nhiệt thay vì chỉ tập trung vào số lượng card đồ họa. Nếu cần xây dựng workstation phục vụ training, fine-tuning LLM, AI Image/Video hoặc inference chuyên nghiệp, Hoàng Hà PC có thể tư vấn cấu hình Multi-GPU phù hợp với từng mô hình và quy mô workload.