 |
最新基準測試顯示配備 NVIDIA B200 的 Supermicro
系統效能勝於上一代系統，每秒令牌生成量是上一代系統的 3 倍
加州聖何西2025年4月3日 — Super Micro Computer, Inc. (SMCI) 是人工智能/機器學習 (AI/ML)、高效運算、雲端、儲存和 5G/Edge 的全面 IT 解決方案供應商，宣佈率先上市領先業界效能的系統。該系統使用 NVIDIA HGX™ B200 8-GPU，在多個 MLPerf Inference v5.0 基準上領先業界。這些 4U 液體冷卻和 10U 風冷系統，已於多個選擇基準中，取得了最佳效能。在 Llama2-70B 和 Llama3.1-405B 基準測試中，Supermicro 展示每秒令牌生成量 (Token/s) 為 H200 8-GPU 系統 3 倍以上。
Nvidia HGX B200 系統
Supermicro 主席兼行政總裁 Charles Liang 表示：「MLCommons 於 2025 年已發佈的首批新基準測試證明，Supermicro 仍然是人工智能行業領導者。我們的構建塊架構協助我們為各種工作負載，率先上市多個最佳化系統。我們將繼續與 NVIDIA 密切合作，微調我們多個系統和確保人工智能工作負載領導地位。 」
如欲更多最新 MLPerf v5.0 Inference 基準資料，請瀏覽：https://mlcommons.org/benchmarks/inference-datacenter/
Supermicro 是唯一為多個風冷和液冷 NVIDIA HGX™ B200 8-GPU 系統，發佈 MLPerf Inference 效能（在選定的基準上）的系統供應商。MLCommons 基準測試開始日期前，多個風冷和液冷系統均已投入運作。Supermicro 工程師們已最佳化多個系統和軟件，展示與眾不同的效能。在經營利潤範圍內，Supermicro 風冷 B200 系統表現與液冷 B200 系統相同效能水準。Supermicro 向客戶提供這些系統期間，我們同時進行基準測試。
MLCommons 強調全部結果都是可重複的，而該等產品的供應及結果可由其他 MLCommons 成員審核。Supermicro 工程師們根據 MLCommons 規則，已最佳化多個系統和軟件。
SYS-421GE-NBRT-LCC（8 個 NVIDIA B200-SXM-180GB）和 SYS-A21GE-NBRT（8 個 NVIDIA B200-SXM-180GB）顯示運行 Mixtral 8x7B Inference 的效能領先地位，混合專家模型測試基準為每秒 129,000 個令牌。Supermicro 風冷和液冷 NVIDIA B200 為本的系統，為大型 Llama3.1-405b 型號提供每秒超過 1,000 個令牌的推論，而前幾代 GPU 系統則較小很多。Supermicro 系統配備 NVIDIA B200 SXM-180GB，並為了較小型推理任務而使用 LLAMA2-70b 基準，展現第 1 級系統供應商的最高效能。
具體：
- Stable Diffusion XL（伺服器）
SYS-A21GE-NBRT（8 個 B200-SXM-180 GB）#1 每秒 28.92 個查詢
- llama2-70b-interactive-99（伺服器）
SYS-A21GE-NBRT（8 個 B200-SXM-180 GB）#1 每秒 62,265.70 個令牌
- Llama3.1-405b（離線）
SYS-421GE-NBRT-LCC (8 個 B200-SXM-180GB)#1 每秒 1521.74 個令牌
- Llama3.1-405b（伺服器）
SYS-A21GE-NBRT（8 個 B200-SXNM-180 GB）#1 每秒 1080.31 個令牌（適用於 8 個 GPU 節點）
- mixtral-8x7b（伺服器）
SYS-421GE-NBRT-LCC（8 個 B200-SXM-180 GB）#1 每秒 129,047.00 個令牌
- mixtral-8x7b（離線）
SYS-421GE-NBRT-LCC（8 個 B200-SXM-180 GB）#1 每秒 128,795.00 個令牌
MLCommons 的 MLPerf 主管 David Kanter 表示：「MLCommons 恭喜 Supermicro 提交 MLPerf Inference v5.0 基準測試結果。我們很高興得悉他們的結果較前幾代系統，顯著提升效能。客戶將對所實現的效能提升，感到滿意。這些提升已透過中立、具代表性兼可重複的 MLPerf 結果，獲得驗證。」
Supermicro 提供全面人工智能產品組合，當中包括超過 100 個 GPU 最佳化系統。這提供包括風冷和液冷選擇，並配備多種（從單插槽最佳化系統到 8 路多處理器系統）CPU 選擇。Supermicro 機架式系統包括運算、儲存和網路元件，減少送往到客戶地點後的安裝所需時間。
Supermicro 的 NVIDIA HGX B200 8-GPU 系統，採用新一代液體冷卻和空氣冷卻技術。在相同 4U 外形尺寸內，最新開發的冷板和最新 250kW 冷卻液分配裝置 (CDU) 的冷卻能力，較上一代產品提升一倍以上。這提供 42U、48U 或 52U 配置選擇，附設最新垂直冷卻液分配歧管 (CDM) 機架級設計，不再佔用寶貴機架單位。這樣便可實現八個系統，包括 42U 機架內有 64 個 NVIDIA Blackwell GPU，以及最多 12 個配備 52U 機架內有 96 個 NVIDIA Blackwell GPU 的系統。
全新風冷式 10U NVIDIA HGX B200 系統，採用重新設計機架。這機架擴大散熱空間，並可容納八個 1000W TDP Blackwell GPU。單一機架最多可安裝和完全整合 4 個新型 10U 風冷系統。這密度與上一代相同，同時提供高達 15 倍推理效能和 3 倍訓練效能。
關於 Super Micro Computer, Inc.
Supermicro（納斯達克股票代碼：SMCI）是應用程式最佳化全面 IT 解決方案的全球領導者。Supermicro 在美國加州聖何西成立及營運，致力為企業、雲端、人工智能和 5G Telco/Edge IT 基礎設施，帶來率先上市的創新。我們是伺服器、人工智能、儲存、物聯網、交換系統、軟件和支援服務的全面 IT 解決方案供應商。Supermicro 的主機板、電源和機架設計專業知識，進一步協助我們的研發與生產，並為全球客戶提供從雲端至邊緣的新一代創新。我們的產品均由公司內部（在美國、亞洲和荷蘭）設計及製造，利用全球營運實現規模、效率和最佳化，從而改善 TCO 和降低對環境的影響（綠色運算）。屢獲殊榮的 Server Building Block Solutions® 產品組合，允許客戶透過從廣泛系統系列中作出選擇，而最佳化他們的實際工作負載和應用程式。這些系列均建基於我們的靈活兼可重複使用構建塊，而這些構建塊支援各種尺寸、處理器、記憶體、GPU、儲存、網絡、電源和冷卻解決方案（空調、自由風冷或液體冷卻）。
Supermicro、Server Building Block Solutions 和 We Keep IT Green，均為 Super Micro Computer, Inc. 的商標和/或註冊商標。
全部其他品牌、名稱和商標，均為它們各自擁有者的財產。
