資策會產業情報研究所(MIC)今(17)日聚焦生成式AI產品應用型態發展,分析AI引發的資安風險與網路攻擊,衍生出的防護發展。觀察生成式AI市場發展,投資規模與廠商數量仍急劇增加,顯示市場抱持高度期待與信心,生態角色競合也更加激烈。產業顧問韓揚銘表示,根據MIC調查,2024年臺灣五大行業有採用生成式AI意願或相關行動的比例已達19%,金融保險業高達25%、製造業(22%)居次,另為營建業、批發零售及醫療照護業。
面對生成式AI正在快速改變每間公司的流程、產品創新、商業模式與生態,企業除了須能即時掌握生成式AI應用發展,也應思考如何導入來提高效益,並快速識別導入的手段與目的,而企業可依據生成式AI的三種不同應用型態,進一步思考新興產品與服務。
綜覽生成式AI產品與服務,資策會MIC歸納出三種形態,最常見的是功能嵌入(Feature Embedding),以單點AI功能嵌入方式提升流程效率,如重點總結工具、協助回覆訊息等,整個流程以人為主導,部分關鍵決策點才運用生成式AI。第二是人機協作(Copilot),應用檢索增強生成(RAG)技術,隨時取得最新資訊並即時反應,並且多模態能力將大量運用到Copilot型態產品,以無縫接軌互動方式,如貼身助手般協助人完成工作。最後是AI代理(AI Agent),具有AI能力,可高度代理人類工作,也是邁向通用人工智慧(AGI)的階段性成果,AI代理甚至可多角色執行不同工作任務,一同促成共同工作目標。產業顧問韓揚銘表示,這些不同應用形態展示出生成式AI在提高工作效率、增強用戶體驗與推動創新的巨大潛力與商機,預期將顛覆軟體產業與許多既有流程,改變產品設計模式,增加溝通介面、工具連結等需求,揭示未來資訊系統演變的方向。
生成式AI的潛力無窮,實踐上卻有許多挑戰。資策會MIC產業顧問韓揚銘表示,即使系統有不同的服務模式,要建立生成式AI系統仍有許多難題,包含建立可信任AI機制、對應新舊軟體的工程挑戰、遵循全球AI監管治理政策。生成式AI的影響也帶來許多議題思考,在提升生產力與產值、提供淨零轉型數位工具的同時,也衝擊人們就業市場,帶來能耗等問題。長遠來看,生成式AI是否能穩健發展,將取決於未來如何平衡技術創新與社會信任、經濟效益與環境責任,以及遵守日益嚴格的AI政策法律框架。
AI發展帶來新的資安風險,也驅動防護發展與商機。資策會MIC表示,AI資安威脅有兩類,第一類是AI系統為攻擊目標,包含資料處理階段的資料污染,以及模型部屬後攻擊,情境如模型遭竊導致對抗性攻擊、提示注入導致資料外洩,以及AI蠕蟲,特別是RAG技術可存取企業知識庫,形成新的攻擊途徑,加上AI自主行為情境複雜且管理不易,使得零信任機制面臨極大挑戰。第二類是駭客利用AI進行網路攻擊,如DeepFake、識別系統漏洞、網路釣魚郵件,生成式AI可加速駭客學習新知與開發攻擊程式。
不同的威脅與攻擊樣態衍生不同的資安防護與商機。關注AI資安防護發展趨勢,資策會MIC表示,資安已是國安層面的議題,推動AI監管法規已成為國際共識並逐漸具體化,為此,企業須配合制定策略、流程,產出符合法規要求的評測與透明度報告,驅動可信任AI的流程與技術發展。資深產業分析師徐暐釗分析,這將涉及AIOps、攻擊偵測、弱點管理與紅隊演練等技術,直接影響AI資安新創的發展方向,觀察過去一年成長最多的AI資安新創,即是AI治理、風險與法遵(GRC)等整合型資安新創,偏重模型開發階段與攻擊偵測的新創公司,也因法遵需求而發展全面性解決方案。
因應AI網路攻擊,資策會MIC表示,AI在網路安全、防護應用具有巨大潛力,特別是應用在四個面向:偵測異常網路行為、強化威脅情資分析能力、強化弱點管理,以及偵測AI生成的文字與圖像詐欺。資深產業分析師徐暐釗綜觀AI強化網路安全商機,預期未來5年內,全球AI網路安全市場規模將超過350億美元。面對AI資安威脅,員工也是防護的關鍵一環,企業除了採取更主動與動態的安全策略,更須強化員工資安教育與培訓,提高企業對威脅的認識與應對能力。另外,開發者在AI整個生命週期都必須考慮資安,即使AI有強大的工作代理能力,也應避免賦予不恰當的權限。