聯發科從「不會」到贏過GPT 蔡明介為何堅持做LLM?
聯發科9日發表450億參數的繁中語言模型MR BreeXe,為何這家IC設計公司堅持投資大語言模型LLM?聯發創新基地負責人許大山表示,董事長蔡明介曾說聯發科是一個以技術力為主,而不是以產品為主的公司,所以要做就做對世界有最重要影響的技術,以最好的人才去掌握,「而AI最重要的技術就是大語言模型」。
另外,聯發科運用「達哥」作為集團內部提高生產力的生成式AI工具平台已久,目前應用滲透率96%,跨部門生成式AI專案超過50個,88%使用同仁認同可以提升工作效率,從軟體開發需求分析、人資自動媒合、財務報銷都有用AI協助。
如今達哥變身成有40多家企業參與的開放平台生態系,能串接各家大語言模型如Anthropic公司Claude2/3、Google Vertex AI、Amazon Bedrock、微軟Cognitive AI、GPT3.5/4、DALLE3、及Google Gemini等,開放開發者上傳客製化外掛插件,成為百工百業都能應用的生成式AI工具平台,尤其是企業希望在「地端」使用生成式AI時,而目前國際開源大語言模型(LLM)可落地的選擇少,聯發科打造自有LLM就十分重要。
「在企業內部封閉環境,很多模型用不了,要就得自己下載去DIY,做得頭破血流,所以我們做了這個450億參數的模型,有很好的表現,看在這方面能不能幫大家一點?」許大山表示,MR BreeXe強調可以支援全地端或部分地端。
許大山透露,2年前聯發科決投入生成式AI,就是對標OpenAI,目標打造的大語言模型要成為繁中版GPT4。
聯發科這套LLM用輝達(NVIDIA)16台「DGX H100」AI系統,訓練歷時一個月,在繁中測試項目上表現超過GPT3.5。
許大山透露,2年前聯發科鎖定投入生成式AI時,同仁都不知怎麼做,「不會做,才更要做!」許大山指出,MR BreeXe不是聯發科最後一個大語言模型,「期望技術力能跟世界上最強的一樣強。」
不過,隨聯發科發布旗下大語言模型MR BreeXe,AI業者認為,該模型是基於Mixtral所開發,而Mixtral的弱點是呼叫外部功能能力不如OpenAI,後者目前是在功能呼叫上做得最好的,但若企業將生成式AI落地,則勢必是不能用OpenAI。
聯發科「MR BreeXe」是以Mixtral 8x7B模型為基礎去開發,具備Mixtral多專家模型的特色,運算資源節省,而聯發科又根據繁中進行優化,並導入生成式AI檢索增強生成(RAG)功能,可以讓企業在地端取用內部文件檔案協助工作,速度比Mixtral快,「我希望生成式AI可以普及台灣各產業,生成式AI是一個平台,聯發科已經做出來了,大家不要再花時間做。」許大山說。
而助攻聯發科訓練該大語言模型的夥伴是NVIDIA,NVIDIA去年在台灣設立「人工智慧創新研發中心」,去年底建置完成超級電腦「Taipei-1」後,建置64個DGX H100系統,而第一個從Taipei-1訓練出來的AI模型就是MR BreeXe,用掉系統資源1/4,凸顯聯發科與輝達關係密切。輝達的Taipei-1預計7月將釋出25%算力給一般企業團隊免費申請。
不僅輝達助攻,生成式AI服務應用平台「達哥」背後整合8個大模型服務,雲端服務由微軟Azure支援,聯發科很快將對外宣布達哥的服務方案,並透過協力系統整合商對外提供導入服務,目前系統整合商包括宏碁資訊、雲馥數位、賽微科技及緯創軟體。
意藍科技是AI語意分析、搜尋引擎、商業數據分析業者,在達哥平台上也推出相關應用。意藍策略行銷副總經理張建文表示,透過輿情資料庫開發出兩個小助理,一個是風向小精靈,另一個反向推出炎上小精靈,讓AI可以像幕僚一樣提前預警企業什麼事件可能會導致公司被「炎上」,聯發科透過廣邀開發者加入,在達哥平台推出並分享AI插件,未來商業模式將隨生態系逐漸豐富化進一步落實。