Supermicro推出三款基於NVIDIA技術的全堆疊結構、可立即部署型生成式AI SuperCluster，從企業規模擴大至LLM硬體基礎架構
 |
全堆疊結構式SuperCluster超級運算叢集包含氣冷、液冷訓練與雲端級推論機櫃配置，並搭載最新型NVIDIA Tensor Core GPU、網路技術與NVIDIA AI Enterprise軟體
美國聖荷西2024年3月22日 /美通社/ — Supermicro, Inc.（納斯達克股票代碼：SMCI）為AI、雲端、儲存和 5G/邊緣領域的全方位 IT 解決方案製造商，宣布推出其最新產品組合，加速生成式AI部署。Supermicro SuperCluster解決方案能為現今及未來大型語言模型（Large Language Model，LLM）硬體基礎設施提供核心建構組件。
Supermicro三款強大的SuperCluster解決方案現已上市並可被用於生成式AI工作運行。這些解決方案內的4U液冷系統或8U氣冷系統是專為強大LLM訓練性能以及高度批次大小且大量的LLM推論所設計。配備了1U氣冷Supermicro NVIDIA MGXTM系統的第三款SuperCluster超級叢集則針對雲端級推論進行了最佳化。
Supermicro總裁暨執行長梁見後表示：「在AI時代，運算力單位是以叢集來衡量，不再只用伺服器數量作為依據。我們的全球製造產能已擴大到每月5,000台機櫃，能比以往更快地為客戶提供完整生成式AI運算叢集。只需透過我們採用400Gb/s NVIDIA Quantum-2 InfiniBand和Spectrum-X Ethernet網路技術的數個可擴充型叢集建構組件，一個64節點的運算叢集能支援具有72TB HBM3e的512個NVIDIA HGX H200 GPU。結合了NVIDIA AI Enterprise軟體的Supermicro SuperCluster解決方案非常適合用於針對現今企業與雲端基礎架構的LLM訓練，且最高可達兆級參數。互連的GPU、CPU、記憶體、儲存、以及網路硬體在被部署至機櫃內的多個節點後形成現今AI技術的基礎。Supermicro的SuperCluster解決方案為快速發展的生成式AI與LLM提供了核心建構組件。」
如需Supermicro AI SuperCluster的詳細資訊，請造訪：
配置4U液冷系統的5組機櫃或8U氣冷系統的9組機櫃型SuperCluster
- 單一可擴充單元含256個NVIDIA H100/H200 Tensor Core GPU
- 液冷技術能支援512個GPU、64個節點，而其體積空間等同於搭載256個 GPU的氣冷式32節點解決方案
- 單一可擴充單元含具有20TB HBM3的NVIDIA H100或具有36TB HBM3e的NVIDIA H200
- 一對一網路傳輸結構可為每個GPU提供最高400 Gbps頻寬，並支援 GPUDirect RDMA與GPUDirect Storage技術，實現最高兆級參數的LLM訓練
- 400G InfiniBand或400GbE Ethernet網路交換器結構採用高度可擴充型主幹枝葉式網路架構技術，包括NVIDIA Quantum-2 InfiniBand和NVIDIA Spectrum-X Ethernet網路平台
- 可客製化AI資料管道儲存結構具有領先業界的平行檔案系統選項技術
- 搭載NVIDIA AI Enterprise 5.0軟體，能支援可加速大規模AI 模型部署的新型NVIDIA NIM推論微服務
配置1U氣冷NVIDIA MGX系統的9組機櫃型SuperCluster
- 單一可擴充單元含256個GH200 Grace Hopper Superchips
- 最高可達144GB HBM3e加480GB LPDDR5X的統一記憶體，適用於雲端級、大量、低延遲和高批次推論，並能在單一運算節點中容納超過700億個參數規模的模型
- 400G InfiniBand或400GbE Ethernet網路交換器結構採用了高度可擴充型主幹枝葉式網路架構技術
- 每節點最多含8個內建E1.S NVMe儲存裝置
- 可客製化AI資料管道儲存結構搭配NVIDIA BlueField®-3 DPU與領先業界的平行檔案系統選項，能為每個GPU提供高傳輸量、低延遲的儲存裝置存取
- NVIDIA AI Enterprise 5.0軟體
透過GPU間可實現的頂級互連效能，Supermicro的SuperCluster解決方案針對LLM訓練、深度學習，以及大量且高批次推論進行了最佳化。Supermicro的L11和L12驗證測試結合了現場部署服務，可為客戶提供更順暢體驗。客戶收到隨插即用的可擴充單元後能實現資料中心內的輕鬆部署，並可更快獲取成果。
關於Super Micro Computer, Inc.
Supermicro（納斯達克股票代碼：SMCI）為應用最佳化全方位IT解決方案的全球領導者。Supermicro的成立據點及營運中心位於美國加州聖荷西，致力為企業、雲端、AI和5G電信/邊緣IT基礎架構提供領先市場的創新技術。我們是全方位IT解決方案製造商，提供伺服器、AI、儲存、物聯網、交換器系統、軟體及支援服務。Supermicro的主機板、電源和機箱設計專業進一步推動了我們的發展與產品生產，為全球客戶實現了從雲端到邊緣的下一代創新。我們的產品皆由企業內部團隊設計及製造（在美國、亞洲及荷蘭），透過全球化營運實現極佳的規模與效率，並藉營運最佳化降低總體擁有成本（TCO），以及經由綠色運算技術減少環境衝擊。屢獲殊榮的Server Building Block Solutions®產品組合，讓客戶可以自由選擇這些具高度彈性、可重複使用且極為多元的建構式組合系統，我們支援各種外形尺寸、處理器、記憶體、GPU、儲存、網路、電源和散熱解決方案（空調、自然氣冷或液冷），因此能為客戶的工作負載與應用提供最佳的效能。
Supermicro、Server Building Block Solutions和We Keep IT Green皆為Super Micro Computer, Inc.的商標和/或註冊商標。
所有其他品牌、名稱和商標皆為其各自所有者之財產。