訓練人工智慧 資料不夠用
爭相開發更強大人工智慧(AI)的企業很快就會遭遇一個新難題:比起他們的遠大計畫,網際網路太小了。
網路資源供不應求的主要原因是,有些資料所有人不讓AI公司透過網際網路取用他們擁有的資料,而網際網路上優質的公共資源也不多。有的AI業界高階主管與研究人員認為,符合AI訓練所需的高品質文本資料,可能在兩年內就會出現供應短缺問題,拖累AI發展速度。
AI公司物色所需資料通常都秘密進行,業者相信,這些手段都攸關競爭優勢。
目前AI語言模型是使用取自網際網路的文本所建立,收進來的材料被分解成詞元(token),AI模型用它們來學習如何構建出類似人類的表達。
OpenAI沒有透露過目前最先進的語言模型GPT-4的詳細訓練材料。根據AI研究專家維拉羅伯推估,GPT-4的訓練素材應該已經多達12兆個詞元;而根據一個電腦運算擴展定律,如果繼續遵循當前軌跡,像GPT-5這樣的AI系統將需要60兆到100兆個詞元的資料。
Meta Platforms執行長祖克柏最近宣傳了公司可由自家旗下各平台獲取資料的能力,認定這將會是Meta發展AI的一大優勢。他說,Meta可以挖掘旗下Facebook、Instagram等網站上,數以千億計公開分享的圖片和影片,總量大於多數常用的資料集。不過數量雖大,但還不清楚有多大比率會被視為高品質資料。
OpenAI執行長奧特曼則說過,OpenAI正在研究訓練未來AI模型的新方法。他去年在一場會議上提到,「我認為我們正處於那種模型要很大、很大的時代的末期;我們會用其他方法讓AI系統變得更好」。