Supermicro推出支援NVIDIA Blackwell和NVIDIA HGX H100/H200的機櫃級隨插即用液冷AI SuperCluster
為AI時代的重大創新,提供免費液冷與額外價值
生成式AI SuperCluster與NVIDIA AI Enterprise、NIM微服務整合,並透過大規模可擴展的運算單元,提供立即性投資報酬率效益和更低的AI運行成本,進而簡化AI以利快速部署
加州聖荷西和台北2024年6月7日 — Supermicro, Inc.(納斯達克股票代碼:SMCI)為AI、雲端、儲存和 5G/邊緣領域的全方位 IT 解決方案製造商,推出可立即部署式液冷型AI資料中心。此資料中心專為雲端原生解決方案而設計,透過SuperCluster加速各界企業對生成式AI的運用,並針對NVIDIA AI Enterprise軟體平台最佳化,適用於生成式AI的開發與部署。透過Supermicro的4U液冷技術,NVIDIA近期推出的Blackwell GPU能在單一GPU上充分發揮20 PetaFLOPS的AI效能,且與較早的GPU相比,能提供4倍的AI訓練效能與30倍的推論效能,並節省額外成本。配合此率先上市的策略,Supermicro近期推出基於NVIDIA Blackwell架構的完善產品系列,支援新型NVIDIA HGXTM B100、B200和GB200 Grace Blackwell Superchip。
Supermicro總裁暨執行長梁見後表示:「Supermicro 在打造與部署具有機櫃級液冷技術的AI解決方案方面持續領先業界。資料中心的液冷配置設計可幾近免費,並透過能持續降低用電量的優勢為客戶提供額外價值。我們的解決方案針對NVIDIA AI Enterprise軟體最佳化,滿足各行各業的客戶需求,並提供世界規模級效率的全球製造產能。因此我們得以縮短交付時間,更快提供搭配NVIDIA HGX H100和H200,以及即將推出的B100、B200和GB200解決方案的可立即使用型液冷或氣冷運算叢集。從液冷板到CDU乃至冷卻塔,我們的機櫃級全方位液冷解決方案最大可以降低資料中心40%的持續用電量。」
更多資訊,請參考:https://www.supermicro.com/zh_tw/solutions/ai-deep-learning?utm_source=ai&utm_medium=301
在台北國際電腦展(COMPUTEX 2024)上,Supermicro展示了即將推出,並針對NVIDIA Blackwell GPU最佳化的系統,包括基於NVIDIA HGX B200的10U氣冷系統和4U液冷系統。此外,Supermicro也將提供8U氣冷型NVIDIA HGX B100系統、NVIDIA GB200 NVL72機櫃(具有72個透過NVIDIA NVLink 交換器互連的GPU)與新型 NVIDIA MGX™系統(支援NVIDIA H200 NVL PCIe GPU與最新發表的NVIDIA GB200 NVL2架構)。
NVIDIA創辦人暨執行長黃仁勳表示:「生成式AI正在推動整個運算堆疊的重置,新的資料中心將會透過GPU進行運算加速,並針對AI最佳化。Supermicro設計了頂尖的NVIDIA加速運算和網路解決方案,使價值數兆美元的全球資料中心能夠針對AI時代最佳化。」
隨著大型語言模型(Large Language Model,LLM)的快速發展以及Meta的Llama-3和Mistral的Mixtral 8x22B等開源模型不斷推出,企業更容易取得並使用當今最先進的AI模型。簡化AI基礎設施並以最具成本效益的方式提供存取能力,對於支援目前的快速AI變革至關重要。Supermicro雲端原生AI SuperCluster使即時存取的雲端便利性和可攜性之間得以連結,並透過NVIDIA AI Enterprise讓任何規模的AI專案,從評估測試階段順暢地進行到實際作業階段。這提供了能在任何地方運行並安全管理資料的靈活性,包括自架系統或地端大型資料中心。
隨著各界企業快速進行生成式AI的實驗性使用,Supermicro與NVIDIA密切合作,確保完善且靈活地從AI應用的實驗和評估試行推動至作業部署和大規模資料中心AI。此順暢流程是藉由NVIDIA AI Enterprise軟體平台的機櫃、叢集級最佳化而實現,能使從初步探索至可擴展AI落地的過程更流暢無阻。
託管服務涉及基礎架構的選擇、資料共享和生成式AI策略控管。NVIDIA NIM微服務作為 NVIDIA AI Enterprise的一部分,可在無缺陷情況下提供託管生成式AI和開源部署優勢。其多功能推論運行環境透過微服務,可加速從開源模型到NVIDIA基礎模型等各類型生成式AI的部署。此外,NVIDIA NeMoTM可實現透過資料庋用、進階自訂和檢索增強生成(Retrieval-Augmented Generation,RAG)的客製模型開發,以實現企業級解決方案。與搭配NVIDIA AI Enterprise的Supermicro SuperCluster整合後,NVIDIA NIM能為可擴展、加速型生成式AI作業的部署提供最快途徑。
Supermicro目前的生成式AI SuperCluster產品包括:
- 液冷型Supermicro NVIDIA HGX H100/H200 SuperCluster,具有256個H100/H200 GPU,為5個機櫃規模的可擴展運算單元(包括 1 個專用網路機櫃)
- 氣冷型Supermicro NVIDIA HGX H100/H200 SuperCluster,具有256個HGX H100/H200 GPU,為9個機櫃規模的可擴展運算單元(包括1個專用網路機櫃)
- Supermicro NVIDIA MGX GH200 SuperCluster,具有256個GH200 GraceTM Hopper Superchip,為9個機櫃規模的可擴展運算單元(包括1個專用網路機櫃)
Supermicro的SuperCluster支援NVIDIA AI Enterprise,其中包括NVIDIA NIM微服務和NVIDIA NeMo平台,能實現端對端生成式AI客製,並針對NVIDIA Quantum-2 InfiniBand以及具有每GPU 400Gb/s網速的新型NVIDIA Spectrum-X乙太網路平台最佳化,可擴展到具有數萬個GPU的大型運算叢集。
Supermicro即將推出的SuperCluster包括:
- Supermicro NVIDIA HGX B200 SuperCluster,液冷型
- Supermicro NVIDIA HGX B100/B200 SuperCluster,氣冷型
- Supermicro NVIDIA GB200 NVL72 或 NVL36 SuperCluster,液冷型
Supermicro的SuperCluster解決方案針對LLM訓練、深度學習以及大規模與大批量推論最佳化。Supermicro的L11和L12驗證測試及現場部署服務可為客戶提供無縫順暢體驗。客戶收到隨插即用的可擴充單元後即可在資料中心輕鬆部署,進而更快取得效益。
關於Super Micro Computer, Inc.
Supermicro(納斯達克股票代碼:SMCI)為應用最佳化全方位IT解決方案的全球領導者。Supermicro的成立據點及營運中心位於美國加州聖荷西,致力為企業、雲端、AI和5G電信/邊緣IT基礎架構提供領先市場的創新技術。我們是全方位IT解決方案製造商,提供伺服器、AI、儲存、物聯網、交換器系統、軟體及支援服務。Supermicro的主機板、電源和機箱設計專業進一步推動了我們的發展與產品生產,為全球客戶實現了從雲端到邊緣的下一代創新。我們的產品皆由企業內部團隊設計及製造(在美國、亞洲及荷蘭),透過全球化營運實現極佳的規模與效率,並藉營運最佳化降低總體擁有成本(TCO),以及經由綠色運算技術減少環境衝擊。屢獲殊榮的Server Building Block Solutions®產品組合,讓客戶可以自由選擇這些具高度彈性、可重複使用且極為多元的建構式組合系統,我們支援各種外形尺寸、處理器、記憶體、GPU、儲存、網路、電源和散熱解決方案(空調、自然氣冷或液冷),因此能為客戶的工作負載與應用提供最佳的效能。
Supermicro、Server Building Block Solutions和We Keep IT Green皆為Super Micro Computer, Inc.的商標和/或註冊商標。
所有其他品牌、名稱和商標皆為其各自所有者之財產。