EE Times Taiwan
台北2024年4月17日 — 人工智慧(AI)浪潮襲捲全球，特別是由ChatGPT帶起的各種生成式AI機會風起雲湧，不僅吸引業界大廠競相加大對於AI的投資力度，這股熱潮也燒進了新創圈，讓AI新創公司得以在國際市場上嶄露頭角。在今年初的國際消費電子展(CES)上，台灣AI新秀——創鑫智慧(Neuchips)憑藉支援其AI晶片的高能效PC應用展示備受矚目，在新任執行長劉景慈(Ken Lau)領軍下，首度參展即成為國際媒體鎂光燈捕捉的焦點，同時也為其進軍國際舞台鋪路。
2019年成立的AI ASIC新創公司Neuchips以深度學習推薦模型(DLRM)為基礎，2022年開發出專用於推論的首款RecAccelTM N3000 PCIe加速器，並率先切入7奈米製程，可廣泛應用於社群影音、線上購物的AI推薦系統。2023年4月，在MLPerf v3.0 AI推論效能基準測試中，更由於這款加速器晶片在伺服器領域的能效表現超越主流競爭產品約1.7倍，讓成立僅五年多的這家小型IC設計新創打響了名號。
超低功耗AI技術實力亮相國際
因應大型語言模型的崛起，為了區隔市場，Neuchips將N3000更名為Raptor，並定義為專做語言模型的推論加速晶片。據Neuchips執行長劉景慈介紹，該公司在CES 2024即展示了一台搭配這款Raptor晶片與i5 CPU的可攜式工作站，利用Whisper模型執行語音轉文字(speech to text)並以Llama-2模型回應，無需連網即可打造如聊天機器人般的對話功能，可說是以地端(On-Prem)單機實現離線版ChatGPT。相較於其他競爭方案必須連網或使用幾百顆晶片才能實現相同應用情境，Neuchips Raptor晶片由於從軟體層寫入模型，還能實現功耗約55W 的小尺寸PCIe板卡，DM.2版本功耗甚至低至30W。
著眼於此低功耗、小尺寸的特性，國際知名的工程和應用科學專業組織IEEE旗艦雜誌《IEEE Spectrum》報導CES最具潛力的五家公司中，還特別介紹了Neuchips AI PC板卡所具備的超低功耗以及大幅降低記憶體需求等特性優勢。
事實上，在稍早之前由全球電子工程領域專業媒體《EE Times》主辦的2023年亞洲金選獎(EE Awards Asia)，Neuchips獲得了由亞洲工程師票選的最佳AI產品奬殊榮。Neuchips執行長劉景慈指出，Neuchips之所以能夠獲得工程師的青睞，除了產品本身的能效表現，其脫穎而出的關鍵在於以精簡的團隊與資源開發出這款令人驚艷的晶片，展現了這家新創公司穩固且堅實的技術基礎；而這也正是他心目中最值得投入的AI團隊。
此次領軍Neuchips首度參加CES即告捷的正是去年八月甫加入團隊的新任執行長劉景慈。他曾經是英特爾(Intel)台灣總經理，擁有長達26年的產業經驗，直到去年(2023年) 8月退休後不久即加入Neuchips，期望貢獻自己多年在資料中心、PC客戶端和半導體等多元領域的經驗與產業人脈，將這家台灣AI新創公司帶到國際舞台。
Neuchips推出的Evo PCIe卡，在LLM上的應用只需55W的功耗，預計今年第二季將推出半高半寬的PCIe卡，更能大幅縮小系統所需空間。
「什麼都做過了，就是沒做過AI！」
劉景慈回想自己從研究所時獲得英特爾等業界半導體公司的奬學金贊助、畢業後在英特爾實習並順利成為正式員工，多年來在英爾累積了從製造、營運到供應鏈等不同領域的經驗，帶領伺服器、PC客戶端到手機業務等新事業投資，以及從銷售、行銷到升任台灣總經理等高階管理職務等完整的歷練。
在英特爾任職期間，他因為具備中文能力而被外派到台灣負責伺服器行銷(2002年)，廣泛地建立了產業人脈關係，並成功贏得許多合作案，成為英特爾在美國與亞洲發展資料中心生態系的關鍵人物。他還曾帶領Chromebook工程產品線，與OEM和主要的雲端服務供應商建立合作夥伴關係，將使用x86處理器架構的Chromebook打造成當今市場上先進的雲端客戶系統。
劉景慈說，英特爾給了他不同的機會以及完整的歷練，「可以說我什麼都做過了，就是沒做過AI！」因此，當退休後思考下一階段的職業生涯時，他期望能從AI領域開啟事業的「第二春」。
另一方面，在加入Neuchips以前，他從不曾轉換過跑道，職業生涯中唯一的英特爾工作經驗，多年來也已瞭若指掌，讓他認為是時候走出舒適圈了，下一個階段必須找到全新領域尋求自我突破。他說：「如果你在同一個地方待久了缺乏挑戰，那麼就不再有學習或進步。」因此，加入Neuchips至今近5個月以來的成長與學習，劉景慈打趣地說感覺就像已經待5年之久了。
以「效率」翻轉公司成長思維
從英特爾到Neuchips，兩家公司的文化畢竟大不相同。相較於他所熟悉的外商公司環境和文化，Neuchips是一家台灣色彩濃厚的本地新創公司，他必須盡可能在兩種文化中尋找折衷與平衡。不過，對他來說，無論是哪一種文化，「效率」才是王道。
為了提升公司的運作效率，加速實施「流程」(process)，他致力於為Neuchips建立以「人」為主的基礎設施，包括加速會議時間、搬遷辦公據點至交通便捷之處，以及直接與團隊成員面對面的溝通加速瞭解等等，讓大家能聽到新任執行長擘劃的未來願景以及如何具體實施，讓每個人的工作朝著相同的方向前進。
劉景慈說，「我認為台灣有這樣一家AI公司十分難得，未來將會看到我們更多的改變，我希望將它帶到一個國際化的舞台。」Neuchips的目標客戶主要是海外公司，劉景慈對自己的期許正是打造Neuchips成為一家全球化的公司。因此，對外他先從改變公司的品牌與形象開始，並搭配行銷策略打入國際。除了年初的CES，今年也計劃參加一系列海外展會，包括第二季即將赴東京參加AI Expo以及台灣的Computex，期望透過端到雲等生態系夥伴的整合，大幅加速生成式AI相關應用。
多年來在英特爾學習到從設計晶片到製造的完整流程，以及如何重新評估、管理並組織結構等都有助於在此發揮作用，而他建立了涵蓋美國以及亞洲地區的豐富產業經驗與人脈，更讓Neuchips無論是需要晶片、板卡或是伺服器，「很多時候只要打一通話就來了！」
「軟硬兼施」發展AI
為了進一步突顯Neuchips作為台灣第一家以推論為導向的公司，他並提出了未來的發展策略，包括開發同級產品中專用(purpose-built) AI軟體，打造從硬體到軟體與服務的完整解決方案、建立合作夥伴生態系與供應鏈，以及為客戶的產品增加價值等等。
劉景慈特別強調軟體的重要性，他指出，「晶片開發完成後的主要任務都在於軟體，因此，Neuchips也自行開發驅動程式、編譯器以及上層軟體。」這為Neuchips賦予了更多的靈活度與可執行性，特別是因應2022年11月ChatGPT橫空出世，Raptor晶片由於其推薦引擎所搭配的記憶體架構也適用於生成式AI (Gen AI)，使其只需在相同晶片硬體上調整軟體配置，即可因應不同的需求執行LLM或推薦系統。
在「軟硬兼施」發展AI的道路上，劉景慈也看到了台灣面臨最大的挑戰在於缺乏底層軟體人才。「台灣一直在積極發展半導體，但硬體晶片開發出來後的編譯器、驅動器到韌體缺一不可，少了這些很難推動半導體，但目前這些底層的人才都很難找。」
他呼籲台灣政府正視並協助產業克服底層軟體人才荒的問題。「編譯器、驅動器和韌體人才是目前產業較大的缺口，C-code工程師也很難找，甚至學校也不教了。政府在發展半導體產業時，看重的不應只是半導體，人才的培養也很重要。」
擘劃下一代產品開發藍圖
看好Gen AI市場呈指數級成長態勢，劉景慈強調，「Neuchips的下一代產品開發藍圖十分明確，就是Gen AI。」因此，在Raptor之後的第二代產品部署將專注於Gen AI，並保有其低功耗的優勢。
特別是針對資料中心，正因為AI快速發展，對於低功耗的需求持續增加。劉景慈加入Neuchips2 後，致力於「開發可擴展的解決方案，以滿足從個人電腦、工作站到企業/資料中心的多個市場應用需求。」極致發揮晶片的靈活度，並針對不同市場擴展多元應用。
當推論應用持續擴展，新的商業模式不斷增加，劉景慈認為未來將延伸發展出「text to text」、「text to image」或「text to video」等應用場景，屆時AI模型將會發展得越來越大，而相關應用的準確度與效率將會變得更重要。「特別是有些大模型是用許多小模型來執行，如何能跑得更有效率才是關鍵。」
此外，目前記憶體容量增加的腳步趕不上模型的尺寸增加，而高頻寬記憶體(HBM)仍無法滿足AI算力要求，因此，Neuchips目前正架構以推論為基礎的第二代產品，除了持續鎖定低功耗，未來將透過Transformer模型進一步實現最佳化效能，並著眼於記憶體子系統以及提升架構效率等特性。Neuchips預計將在2025-2026年左右推出下一代產品。
