HPE於2024 NVIDIA GTC大會上宣佈更新其在業界最完整的AI原生產品組合之一,以加速生成式人工智慧(GenAI)、深度學習和機器學習(ML)應用的運作。
PE總裁暨執行長Antonio Neri表示,為實現GenAI的承諾,並有效涵蓋完整的AI生命週期,解決方案必須採用混合設計。無論是內部部署、主機代管中心或公有雲上訓練與調校模型,到邊緣端的推論運算,AI都是一種混合雲工作負載。NVIDIA是HPE的長期創新合作夥伴,未來將持續共同開發AI軟硬體解決方案,協助客戶加速GenAI從概念驗證階段進入到生產階段的開發與部署。
HPE在SC23大會上宣佈其生成式AI超級運算解決方案已開放訂購,企業組織能透過預先配置並經過測試的全端解決方案開發與訓練大型AI模型。該解決方案專為加速執行GenAI及深度學習專案所設計,採用NVIDIA技術,最多可支援168個NVIDIA GH200 Grace Hopper超級晶片。
其可協助大型企業、研究機構及政府單位簡化模型開發流程。透過AI/ML軟體堆疊,客戶可以加速執行GenAI及深度學習專案,包括大型語言模型(LLM)、推薦系統及向量資料庫。該解決方案亦提供安裝與設定服務,協助AI研究中心及大型企業加速價值創造時間,並將訓練速度提升2至3倍。
HPE生成式AI企業運算解決方案在2023 Discover Baecelona大會已搶先曝光。客戶現在可以直接購買或透過HPE GreenLake,以靈活、可擴充且按使用量付費的方式購買。此由HPE與NVIDIA共同開發並預先配置的調校和推論解決方案可為企業組織提供生產GenAI應用所需的運算、儲存、軟體、網路和諮詢服務,並減少準備時間和成本。透過這套AI原生的全端解決方案,企業可獲得所需的速度、規模和控制力,以使用私有資料調校基礎模型並在混合雲環境中部署GenAI應用程式。
該解決方案採用HPE和NVIDIA的高效能AI運算叢集和軟體,適合對模型進行輕量級微調、RAG及橫向擴展推論。執行該解決方案時,調整一個擁有700億參數的Llama 2模型所需時間會隨節點數量增加而線性下降,在一個擁有16個節點的系統上,這個過程只需6分鐘即可完成1。其速度和效能有助於客戶使用虛擬助理、智慧聊天機器人及企業搜尋等AI應用程式提升企業生產力,進而加速價值創造時間。
其採用HPE ProLiant DL380a Gen11伺服器,並預先配置了NVIDIA GPU、NVIDIA Spectrum-X乙太網路平台和NVIDIA BlueField-3資料處理單元(DPU),同時搭載HPE的機器學習平台和分析軟體、NVIDIA AI Enterprise 5.0軟體(包含用以最佳化GenAI模型推論的新NVIDIA NIM微服務)、NVIDIA NeMo Retriever以及其他資料科學和AI程式庫。
為解決AI技能短缺的問題,HPE Services專家將協助企業設計、部署和管理此解決方案,包括應用適當的模型調校技巧。
HPE與NVIDIA正合作開發軟體解決方案,協助企業將AI和ML從概念驗證推進至實際生產應用。HPE客戶可以透過技術預覽版使用HPE機器學習推論軟體,迅速且安全地大規模部署ML模型。新的解決方案將與NVIDIA NIM整合,利用預先建置的容器提供NVIDIA最佳化的基礎模型。
為協助企業快速建置和部署具備私有資料的GenAI應用程式,HPE開發了採用NVIDIA NeMo Retriever微服務架構的企業級RAG參考架構,由HPE Ezmeral Data Fabric軟體和HPE GreenLake for File Storage提供完整的資料基礎架構,為企業提供用以打造客製化聊天機器人、生成器或智慧助理的藍圖。
為協助資料準備、AI訓練和推論運算,該解決方案整合了HPE Ezmeral Unified Analytics軟體和HPE AI軟體的開源工具和解決方案,其中包括HPE機器學習資料管理軟體(HPE Machine Learning Data Management Software)、HPE機器學習開發環境軟體(HPE Machine Learning Development Environment Software)和新的HPE機器學習推論軟體(HPE Machine Learning Inference Software)。HPE的AI軟體可應用於HPE生成式AI超級運算和企業級運算解決方案,讓客戶在一致的環境中管理GenAI工作負載。