Trong các bài viết và thảo luận về AI, chúng ta thường nhắc nhiều đến những hệ thống GPU quy mô lớn, dạng rack tích hợp cao cấp như NVIDIA GB200 NVL72 hay các nền tảng NVIDIA HGX 8-GPU – vốn được thiết kế cho các mô hình AI Factory ở tầm dữ liệu trung tâm. Tuy nhiên, thực tế tại Hoàng Hà PC cho thấy: AI không chỉ tồn tại trong những cụm máy khổng lồ, mà còn xuất hiện rất nhiều ở các hệ thống nhỏ hơn như server doanh nghiệp, edge server, thậm chí là workstation chuyên dụng.
Trong nội dung này, Hoàng Hà PC sẽ tập trung vào nhóm hệ thống đó – từ góc nhìn của một “Enterprise AI Factory” thu nhỏ, cho đến các bài toán triển khai AI thực tế trên workstation và edge server. Đây là chủ đề mà chúng tôi đã ấp ủ suốt nhiều tháng, và với sự hỗ trợ từ Supermicro, toàn bộ các nền tảng phần cứng cần thiết đã được tập hợp đầy đủ để có thể phân tích và minh họa trực quan. Mục tiêu rất rõ ràng: giải đáp những câu hỏi mà khách hàng hỏi nhiều nhất – nên chọn GPU AI dạng gắn rời (chuẩn PCIe) nào, dùng cho hệ thống nào và thời điểm nào là hợp lý.
Như thường lệ, Hoàng Hà PC khuyến nghị bạn theo dõi nội dung trong một tab hoặc ứng dụng riêng để có trải nghiệm tốt nhất. Chúng tôi cũng xin gửi lời cảm ơn tới Supermicro vì đã hỗ trợ toàn bộ hệ thống, cũng như NVIDIA – đơn vị cung cấp các dòng GPU AI đang được sử dụng rộng rãi nhất hiện nay. Nội dung này có yếu tố tài trợ, nhưng định hướng đánh giá và phân tích vẫn dựa trên trải nghiệm thực tế và nhu cầu triển khai thật.
Và bây giờ, hãy cùng Hoàng Hà PC đi vào phần chi tiết.
Hệ thống 8 GPU AI gắn rời
Các hệ thống 8 GPU AI dạng gắn rời (chuẩn PCIe) về nhiều mặt có thể xem là “song song” với các nền tảng sử dụng SXM, tuy nhiên vẫn tồn tại một số khác biệt quan trọng. Trước hết, các hệ thống này thường sử dụng GPU AI gắn rời với mức tiêu thụ điện trong khoảng 300W đến 600W mỗi GPU, thấp hơn so với các giải pháp dựa trên SXM.
Bên cạnh đó, cấu hình mạng thường thấy trên các hệ thống GPU AI cho máy chủ là tỷ lệ 2 card mạng 400GbE (East–West) cho mỗi GPU, trong khi với các hệ thống SXM, tỷ lệ này thường gần như 1:1. Việc loại bỏ kiến trúc NVLink switch cũng giúp các hệ thống sử dụng GPU AI gắn rời có chi phí sản xuất thấp hơn và mức tiêu thụ điện năng thấp hơn, dù phải đánh đổi việc không đạt được hiệu năng liên GPU cao như SXM.
Tuy vậy, không nên đơn giản xem các hệ thống dùng GPU AI gắn rời chỉ là phiên bản “giảm công suất” của nền tảng SXM. Trên thực tế, chúng mang lại nhiều tùy chọn linh hoạt hơn trong việc lựa chọn card GPU AI, đồng thời cho phép bổ sung các tính năng đồ họa, đáp ứng tốt hơn các nhu cầu triển khai đa dạng trong môi trường máy chủ.
Các GPU AI gắn rời thường được sử dụng
Những dòng GPU AI dạng gắn rời (chuẩn PCIe) phổ biến mà chúng ta thường gặp trong các hệ thống máy chủ bao gồm:
-
NVIDIA H100 NVL / H200 NVL đi kèm NVIDIA AI Enterprise
-
NVIDIA L40S
Trong đó, NVIDIA H100 NVL và H200 NVL khi kết hợp với NVIDIA AI Enterprise được thiết kế để hỗ trợ kết nối NVLink giữa tối đa 4 GPU. Đây là những card GPU AI cho máy chủ thường được sử dụng cho các mô hình sau huấn luyện (post-training) và AI inference, với mức tiêu thụ điện năng trên mỗi GPU thấp hơn so với các hệ thống SXM.
Một trong những lý do lớn nhất để lựa chọn H200 NVL thay vì H100 NVL nằm ở hệ thống bộ nhớ HBM thế hệ mới, được cải thiện rõ rệt cho các tác vụ phụ thuộc nhiều vào băng thông bộ nhớ (memory-bound workloads).
Supermicro SYS-522GA-NRT với 8 GPU NVIDIA H200 NVL và cầu nối NVLink
NVIDIA RTX PRO 6000 Blackwell được sử dụng cho một nhóm nhu cầu khác biệt hơn. Đây là giải pháp của NVIDIA dành cho những hệ thống phải xử lý đa dạng loại workload cùng lúc. Dù không sử dụng bộ nhớ băng thông cao (HBM), nhưng bù lại, dòng card này được trang bị RT Core, bộ mã hóa/giải mã (encoder/decoder) và thậm chí là cổng xuất hình trực tiếp.
Nhờ đó, RTX PRO 6000 không chỉ phù hợp cho các tác vụ AI, mà còn đáp ứng tốt các workload đồ họa chuyên nghiệp như kỹ thuật – thiết kế, VDI, render, và nhiều ứng dụng tương tự. Song song với đó, card vẫn có thể đảm nhiệm AI inference, với mỗi GPU được trang bị 96GB bộ nhớ GDDR7.
Trong một hệ thống 8 GPU, các GPU này có thể được phân vùng thành 4 instance trên mỗi card thông qua công nghệ Multi-Instance GPU (MIG), tạo ra tối đa 32 GPU logic. Tổng cộng, 8 card RTX PRO 6000 mang lại 768GB bộ nhớ GPU, phục vụ hiệu quả cho các bài toán AI inference quy mô lớn.
Một lợi thế lớn của cấu hình này là tính linh hoạt trong vận hành. Trong cùng một hệ thống 8 GPU, người dùng hoàn toàn có thể:
-
Ban ngày sử dụng GPU cho VDI, đồ họa, làm việc kỹ thuật
-
Buổi tối chuyển sang AI inference hoặc các tác vụ tính toán khác
Hoặc đơn giản là phân bổ GPU cho những công việc khác nhau theo từng khung thời gian. Điểm mấu chốt nằm ở sự linh hoạt: mỗi GPU có dung lượng bộ nhớ rất lớn, đồng thời sở hữu đầy đủ năng lực đồ họa RTX – điều mà các GPU thuần AI thường không có.
NVIDIA H100, L40S, A100 – xếp hạng Top 1
NVIDIA L40S về bản chất là một lựa chọn GPU chi phí thấp hơn cho nền tảng này, dựa trên kiến trúc Ada Lovelace. Dòng GPU này được trang bị 48GB bộ nhớ, vẫn hỗ trợ khả năng đồ họa, nhưng sẽ không có một số tính năng mới như Multi-Instance GPU (MIG).
Về phía hệ thống, Supermicro SYS-522GA-NRT là một máy chủ RTX PRO Server hỗ trợ 8 GPU RTX PRO 6000 Blackwell Server Edition. Bên trong nền tảng này bao gồm:
-
2 switch PCIe
-
2 CPU
-
32 khe DDR5 DIMM
-
Không gian mở rộng cho nhiều card mạng (NIC) và ổ SSD
Đây là cấu hình máy chủ được thiết kế để đáp ứng các workload AI, đồ họa và doanh nghiệp đòi hỏi hiệu năng cao nhưng vẫn giữ được tính linh hoạt trong triển khai.
Bo mạch chuyển mạch PCIe Supermicro SYS-522GA-NRT
Mức tiêu thụ điện năng có thể thay đổi rất lớn tùy theo cấu hình, nhưng ưu điểm của các nền tảng này là thường tiêu thụ ít điện hơn so với hệ thống SXM, từ đó giúp giảm chi phí vận hành. Bên cạnh đó, chi phí đầu tư ban đầu của các hệ thống này cũng thấp hơn so với các nền tảng sử dụng SXM.
Supermicro SYS-522GA-NRT với 8 GPU NVIDIA RTX PRO 6000 Blackwell
Một điểm mới đáng chú ý trong năm 2025 là sự xuất hiện của bo mạch chuyển mạch NVIDIA MGX PCIe tích hợp NVIDIA ConnectX-8 SuperNIC, dành cho các máy chủ 8 GPU PCIe. Đây là một thay đổi lớn về kiến trúc nền tảng và Supermicro đang áp dụng thiết kế này trên mẫu Supermicro SYS-422GL-NR.
Bo mạch chuyển mạch PCIe NVIDIA MGX của Supermicro, tích hợp NVIDIA ConnectX-8 SuperNIC, dành cho máy chủ 8 GPU PCIe (khe cắm kích thước lớn)
Thay vì sử dụng hai hoặc bốn switch kích thước lớn như trước đây, nền tảng mới tận dụng các ConnectX-8 SuperNIC cùng bộ chuyển mạch tích hợp sẵn bên trong để cung cấp kết nối mạng tốc độ cao trực tiếp cho GPU. Đây được xem là thay đổi lớn nhất của nền tảng này trong nhiều năm trở lại đây.
Bo mạch chuyển mạch PCIe NVIDIA MGX của Supermicro, tích hợp NVIDIA ConnectX-8 SuperNIC, dành cho máy chủ 8 GPU PCIe (cổng mạng NIC kích thước lớn)
Tiếp theo, chúng ta hãy cùng xem xét một số máy chủ tính toán tiêu chuẩn được thiết kế để hỗ trợ và lắp đặt GPU.
Máy chủ tiêu chuẩn sử dụng GPU AI dạng gắn rời (chuẩn PCIe)
Trong khi các hệ thống 8 GPU thường được xây dựng để phục vụ những bài toán tính toán GPU rất nặng, thì thực tế triển khai AI tại doanh nghiệp lại không chỉ xoay quanh các nền tảng đó. Ở góc độ vận hành, nhiều khách hàng của Hoàng Hà PC lựa chọn hướng đi này vì một lý do rất đơn giản: nếu tin rằng AI sẽ sớm xuất hiện trong hầu hết mọi quy trình làm việc, thì câu hỏi quan trọng không phải là có dùng AI hay không, mà là đưa AI vào hệ thống hiện tại như thế nào cho hiệu quả.
Nếu ngay từ đầu chỉ triển khai máy chủ không có GPU, thì khi phát sinh nhu cầu AI, phương án gần như duy nhất là đẩy workload sang một AI server chuyên biệt. Cách làm này không sai, nhưng thường kéo theo độ trễ cao hơn, luồng xử lý phức tạp hơn và chi phí vận hành lớn hơn. Trong nhiều trường hợp, giải pháp hợp lý hơn là tích hợp GPU AI trực tiếp vào các máy chủ tiêu chuẩn, để GPU chỉ được sử dụng ở những giai đoạn thật sự cần tăng tốc phần cứng, còn các phần việc khác vẫn chạy như bình thường trên CPU.
Cách tiếp cận này giúp doanh nghiệp tận dụng hạ tầng sẵn có, giảm phụ thuộc vào hệ thống AI tập trung, đồng thời đưa AI đến gần dữ liệu và người dùng hơn – đúng với xu hướng triển khai AI thực tế mà Hoàng Hà PC đang thấy ngày càng rõ ràng.
Mặt trước Supermicro SYS-212GB-NR
Tương tự như các hệ thống 8 GPU, những GPU thường được sử dụng trong nhóm máy chủ này bao gồm NVIDIA H100 NVL, H200 NVL, RTX PRO 6000 Blackwell và L40S. Tuy nhiên, điểm khác biệt lớn nằm ở thiết kế vật lý: trong một máy chủ 2U tiêu chuẩn, thông thường chỉ có thể lắp tối đa hai GPU đặt song song.
Mặt sau Supermicro SYS-212GB-NR
Vì vậy, cấu hình NVLink 4 chiều (4-way NVLink) ít phổ biến hơn trên các máy chủ truyền thống, so với các hệ thống chỉ triển khai một hoặc hai GPU trong mỗi node. Bên cạnh đó, một số đơn vị còn lựa chọn các GPU công suất thấp hơn như NVIDIA L4, nhằm bổ sung một mức năng lực tính toán GPU và dung lượng bộ nhớ vừa phải, nhưng đổi lại là mức tiêu thụ điện năng và chi phí thấp hơn.
Máy chủ Supermicro SYS-212GB-NR với luồng gió tản nhiệt được tối ưu cho NVIDIA H100 NVL
Ví dụ cụ thể, chúng tôi đã giới thiệu Supermicro SYS-212GB-NR – một đại diện thuộc dòng Hyper cao cấp của Supermicro, cho phép người dùng lắp đặt nhiều loại GPU khác nhau. Ý tưởng ở đây là: khi AI dần trở thành một phần trong quy trình làm việc, do các phần mềm ngày càng tích hợp nhiều tính năng AI, thì việc bổ sung GPU trực tiếp vào máy chủ là một hướng đi hợp lý để giữ các tác vụ AI inference xử lý ngay tại chỗ (local), thay vì phải chuyển sang hệ thống AI chuyên biệt.
Mặt trước máy chủ GPU 2U Supermicro lấy cảm hứng từ kiến trúc MGX
Supermicro cũng sở hữu các mẫu máy chủ GPU 2U được thiết kế dựa trên kiến trúc NVIDIA MGX. Trước đây, chúng tôi đã có dịp tìm hiểu qua khá nhiều nền tảng dạng này, nhưng trong buổi demo lần này, chúng tôi còn được thấy một thiết kế mới sử dụng nền tảng Intel Xeon, cho phép lắp đặt nhiều GPU ngay trong cùng một hệ thống.
Máy chủ GPU 2U Supermicro lấy cảm hứng từ kiến trúc MGX với CPU, bộ nhớ, quạt và GPU
Tiếp theo, chúng ta hãy chuyển sang các hệ thống máy chủ mật độ cao (high-density servers).
Máy chủ tối ưu không gian sử dụng GPU AI dạng gắn rời (chuẩn PCIe)
Bên cạnh các hệ thống máy chủ truyền thống, Hoàng Hà PC cũng giới thiệu nhóm máy chủ thiết kế tối ưu không gian – nơi GPU AI vẫn được triển khai, nhưng theo cách gọn hơn, tập trung hơn. Một ví dụ rất điển hình là Supermicro SuperBlade kết hợp với GPU NVIDIA L4.
NVIDIA L4 là lựa chọn cực kỳ phù hợp cho nhóm hệ thống này nhờ thiết kế low-profile, tiêu thụ điện thấp và yêu cầu tản nhiệt tối thiểu. Điều này cho phép triển khai GPU AI ngay cả trong những nền tảng có không gian và ngân sách điện năng hạn chế, mà vẫn đáp ứng tốt các tác vụ như AI inference, computer vision hay xử lý dữ liệu tại chỗ.
Supermicro SuperBlade với GPU NVIDIA L4
Trong thực tế triển khai, Hoàng Hà PC đã thấy các nền tảng SuperBlade và nhiều hệ thống thiết kế gọn, mật độ phần cứng cao khác của Supermicro hỗ trợ rất nhiều loại GPU khác nhau – từ GPU đơn khe, low-profile cho đến GPU hai khe kích thước lớn. Về bản chất, mục tiêu sử dụng vẫn tương tự các máy chủ tiêu chuẩn, nhưng toàn bộ phần cứng được đóng gói trong kiến trúc tối ưu không gian hơn, giúp doanh nghiệp tăng mật độ triển khai mà không phải mở rộng thêm hạ tầng rack.
Tiếp theo, chúng ta hãy chuyển sang edge.
Máy chủ Edge sử dụng GPU AI dạng gắn rời (chuẩn PCIe)
Edge server mở ra một hướng triển khai hoàn toàn khác. Các ứng dụng như computer vision ngày càng phổ biến tại edge. Một ví dụ rất điển hình là trong nhiều cửa hàng bán lẻ, các hệ thống tự thanh toán (self-checkout) được vận hành bởi edge server trang bị GPU.
Ngoài ra, trong lĩnh vực bán lẻ còn có nhiều ứng dụng phổ biến khác như:
-
Phân tích tồn kho (inventory analytics)
-
Phân tích hành vi khách hàng (shopper analytics)
-
Và nhiều bài toán xử lý dữ liệu thời gian thực khác tại điểm bán
Mặt trước Supermicro SYS-E403-14B-FRN2T
Ngoài ra, chúng tôi đã giới thiệu một ví dụ cụ thể là Supermicro SYS-E403-14B-FRN2T, được trang bị hai GPU NVIDIA L4.
Supermicro SYS-E403-14B-FRN2T với hai GPU NVIDIA L4 lắp trên riser
Những máy chủ này thường bị giới hạn rất chặt về điện năng và không gian, vì vậy các GPU đơn khe, low-profile với TDP khoảng 75W hoặc thấp hơn thường là lựa chọn tối ưu và phổ biến nhất.
Mặt trước Supermicro SYS-E403-14B-FRN2T với các riser PCIe
Ngoài GPU L4, còn có nhiều kịch bản triển khai edge khác – từ hạ tầng mạng cho đến thành phố thông minh – nơi các GPU kích thước lớn hơn vẫn có thể được sử dụng, thường đi kèm với giải pháp mạng cao cấp hơn.
Workstation sử dụng GPU AI dạng gắn rời (chuẩn PCIe)
Trong kỷ nguyên AI, workstation đang trở lại đúng vị thế vốn có của nó. Ngày càng nhiều người dùng – từ kỹ sư, đội R&D cho đến studio và doanh nghiệp – muốn phát triển, thử nghiệm và chạy AI trực tiếp trên máy cục bộ, thay vì phụ thuộc hoàn toàn vào cloud hay cụm AI tập trung. Khi AI bắt đầu len vào các công việc hằng ngày, việc trang bị GPU mạnh hơn và dung lượng bộ nhớ lớn hơn không chỉ để “chạy được”, mà còn mang lại mức tăng năng suất rất rõ rệt.
Các phiên bản dòng NVIDIA RTX PRO 6000 Blackwell
Với dòng RTX 6000 PRO Blackwell, NVIDIA mang đến cho workstation ba phiên bản phần cứng khác nhau, phục vụ các kịch bản triển khai rất cụ thể. Phiên bản 600W được thiết kế để đẩy hiệu năng lên mức tối đa trong một khe PCIe duy nhất, phù hợp với những workstation tập trung vào sức mạnh đơn GPU.
Bên cạnh đó là hai phiên bản card hai khe (double-width):
-
Một phiên bản 300W, sử dụng tản nhiệt chủ động
-
Một phiên bản tản nhiệt thụ động, thường được sử dụng trong các hệ thống 8 GPU
Supermicro AS-2115HV-TNRT với 2 GPU NVIDIA RTX 6000 Ada lắp trên riser 1
Ở góc độ nền tảng phần cứng, gần đây Hoàng Hà PC đã trực tiếp đánh giá Supermicro AS-2115HV-TNRT – một máy chủ 2U nhưng có thể lắp tối đa tới bốn GPU dạng double-width. Đây là điểm khác biệt rất lớn, bởi phần lớn workstation trên thị trường hiện nay, kể cả các mẫu có thể mở rộng lên 4U hoặc 5U, thường chỉ dừng lại ở ba GPU.
Với nền tảng này, người dùng có thể đưa bốn GPU mạnh vào cùng một hệ thống, vẫn giữ được IPMI để quản trị từ xa, và quan trọng hơn là đóng gói gọn gàng trong rack của trung tâm dữ liệu. Đây là kiểu cấu hình lai rất thực tế, kết hợp được hiệu năng của workstation với tính ổn định và khả năng vận hành của server.
Supermicro SYS-532AW-C với GPU NVIDIA RTX PRO 6000 Blackwell
Ngoài AS-2115HV-TNRT, Supermicro cũng có thêm các lựa chọn như AS-531AW-TC và SYS-532AW-C. Những nền tảng này được thiết kế để chạy một GPU RTX PRO 6000 công suất 600W, hoặc nhiều phiên bản 300W như Max-Q, phù hợp với các workstation AI cần cân bằng giữa hiệu năng, điện năng và khả năng mở rộng.
Tổng kết - Góc nhìn từ Hoàng Hà PC
Nếu bạn đang theo sát làn sóng AI và đã quen với việc sử dụng các công cụ AI mỗi ngày, thì có lẽ không khó để nhận ra một điều: AI sẽ sớm trở thành một phần mặc định trong hầu hết mọi quy trình làm việc. Thông qua nội dung này, Hoàng Hà PC đã đi qua nhiều dòng GPU khác nhau, phân tích từng kịch bản sử dụng thực tế, cũng như cách triển khai GPU AI phù hợp cho từng loại hệ thống – từ server, edge cho đến workstation.
Thực tế cho thấy, AI không chỉ dành cho các “AI Factory” khổng lồ trong trung tâm dữ liệu. Những yếu tố rất “đời” như độ trễ, luồng xử lý công việc, yêu cầu bảo mật dữ liệu hay cách doanh nghiệp muốn triển khai hạ tầng đang dần đẩy GPU AI xuất hiện ngày càng nhiều trong các máy chủ tiêu chuẩn, hệ thống edge, thậm chí cả workstation làm việc hằng ngày.
Trong thời gian dài, phần lớn sự chú ý đều đổ dồn vào các cụm AI quy mô lớn, nhưng xu hướng hiện tại đã khá rõ ràng: GPU AI đang lan rộng ra nhiều môi trường hơn, với nhiều hình thái máy chủ khác nhau. Điều này phản ánh đúng nhu cầu triển khai AI thực tế của doanh nghiệp – linh hoạt hơn, gần dữ liệu hơn và dễ vận hành hơn.
Vì vậy, Hoàng Hà PC cho rằng đã đến lúc cần nhìn AI theo góc nhìn tổng thể hơn: không chỉ là phần cứng mạnh nhất, mà là lựa chọn đúng GPU, đúng hệ thống và đúng cách triển khai cho từng phân khúc. Trong tương lai, chắc chắn sẽ còn nhiều GPU mới, công nghệ mạng mới và kiến trúc mới xuất hiện, nhưng hy vọng bài viết này sẽ giúp bạn hình dung rõ hơn những mô hình triển khai GPU AI phổ biến và hiệu quả ở thời điểm hiện tại.
