劍指輝達?Cerebras推出「號稱」全球最快AI推論解決方案
商傳媒|記者許方達/綜合報導
輝達在AI晶片市場的獨霸地位讓人虎視眈眈,在輝達公布財報之前,專門開發AI運算系統的Cerebras Systems搶先一步發表最新的「Cerebras Inference」AI推論工具平台,在Llama 3.1 8B模型上每秒可生成1800個Token,在Llama 3.1 70B模型上每秒可生成450個Token,號稱在AI推理方面,比起輝達旗下大型雲端解決方案快上20倍,且價格更便宜、只有輝達GPU的五分之一。
圖片來源:Cerebras
《金融時報》分析,輝達諸多競爭對手正另闢蹊徑,企圖攻破輝達在AI晶片市場的壟斷壁壘,包括Cerebras、d-Matrix和Groq等公司,目前均專注在更便宜且更快速的專業產品開發。Cerebras於本月稍早申請首次公開募股,預計在今年下半年上市。
「Cerebras Inference」的AI推論工具平台,基於旗下AI加速系統Cerebras CS-3,此款晶片尺寸是輝達H100的57倍,核心數量是H100的52倍,晶片記憶體是H100的800倍,記憶體頻寬更是H100的7000倍。Cerebras獨特的晶圓設計,能在單個晶片上集成44GB SRAM,也就是將記憶體直接內建在晶片晶圓中,以突破記憶體牆的瓶頸。
Cerebras執行長費德曼(Andrew Feldman)對輝達下戰帖,「打敗800磅大猩猩的方法就是向市場推出更好的產品,根據我的經驗,更好的產品通常會獲勝,而且我們已經從輝達那裡搶到有意義的客戶」。
賽斯(Sid Sheth)於2019年創立的d-Matrix公司,也計畫今年底推出自己的「Corsair」平台,d-Matrix打算將旗下產品與Triton等開放軟體配對,以加速與輝達展開對決。另一家AI新創公司Groq本月從由貝萊德BlackRock Private Equity Partners領投的融資中籌集到6.4億美元,公司估值也達到28億美元。
Groq的產品是「語言處理單元(LPU)」,公司曾聲稱「在Groq上運行大模型的推理速度,相較輝達GPU高出10倍之多」,其突出優勢點是在加快聊天機器人的回應速度,但綜合能力考量,可能還是與輝達A100、H100等多款GPU存在落差。