隨着人工智能聊天機械人（AI chatbot）愈趨普及，現時不少人都會利用這些工具來搜尋資訊，不過其可信性卻成疑。在教育界，不少學校和教師都會擔心學生在做功課的過程中，不當使用AI chatbot，不單學習了錯誤知識，而且更會犯上搬字過紙的抄襲問題。而在新聞界，傳媒亦有同樣關注。當讀者透過AI chatbot來搜索新聞，又是否能夠得到準確無誤的新聞呢？
最近英國牛津大學路透新聞研究所發表研究報告（註），回答了上述問題。該研究所在今年1至2月期間，選取了兩大AI chatbot平台——OpenAI的ChatGPT和Google的Bard（現稱Gemini）——作為研究對象。研究範圍覆蓋了10個國家，包括巴西、丹麥、德國、印度、墨西哥、挪威、波蘭、西班牙、英國及美國。
研究團隊在每個地方挑選15間最受歡迎的網上新聞機構，分別3次向兩個AI平台索取每間機構的5條新聞標題，一共提出4500個問題（10個國家×15間機構×5條新聞標題×2個AI chatbot平台×3次）。為檢測兩個AI chatbot平台回覆的新聞標題是否最新和準確，研究團隊同時記錄該些新聞機構在網頁當刻的新聞標題，以作對比。
無法給予「新聞式回應」
該研究有幾個主要發現。第一，兩大AI chatbot平台都不能給予「新聞式回應」（news-like response）。所謂「新聞式回應」，即用家索取新聞後，平台會提供一份包含5條新聞標題的清單，當中或更附有每單新聞的簡短介紹。但如果平台的回覆是表示未能從傳媒機構抓取到新聞內容（unable to access），則會被歸類為「非新聞式回應」（non-news response）。
整體而言，ChatGPT的非新聞式回應比率，為過半的54%，而Bard則高達95%。這結果說明，兩大AI chatbot平台並非有效搜尋新聞資訊的渠道，相信會令AI樂觀主義者大失所望。
新聞搜索可靠度偏低
第二，就算AI chatbot平台能夠提供新聞式回應，但也不保證回應的內容準確。就此，研究人員只集中研究ChatGPT，因為Bard的有效回應樣本太少。按檢測分析，在2250項ChatGPT提問裏面，只有8%的回應是完全脗合傳媒機構網頁上的標題內容。其餘回應情况，包括所羅列的標題不是最新、來自機構官方網頁以外的其他網頁、標題太過模糊未能指向單一具體新聞，以及未能按要求提供所有5篇新聞。換言之，AI chatbot在新聞搜索的可靠度相當之低。
第三，傳媒機構網頁有否攔阻ChatGPT，是影響到能否從該平台索取最新、最準確新聞的一大關鍵。近年，許多傳媒機構為保障自身版權利益，紛紛開始阻截AI平台從它們網站上抓取內容，用作訓練其AI系統。研究發現，如果傳媒機構網頁有攔阻ChatGPT，非新聞式回應的比例高達86%，另外幾乎沒有其他回應是脗合標準的新聞標題。至於沒有攔阻ChatGPT的傳媒機構，非新聞式回應只有20%，而脗合標準新聞標題的回應也有20%。由於AI平台的運作需依靠大量數據，如果欠缺數據輸入，自然沒有輸出。
第四，ChatGPT提供的新聞來源資料不夠精準。研究發現，在那些新聞式回應裏面，大部分（72%）只是附有傳媒機構的網站連結，只有10%有提供具體文章的直接連結，而有18%沒有提供任何連結。故此，用家在大部分情况下，在獲得新聞標題之後，是需要在AI chatbot平台以外的地方（例如搜尋引擎、傳媒機構網頁），再自行搜索個別文章連結。
總結而言，上述研究表示了，AI chatbot迄今為止仍然不是搜尋新聞的好地方。當然，隨着AI技術不斷提升，以及假若AI平台和傳媒機構的關係能夠改善，將來AI chatbot在相關方面的發展，仍然可期。
註：Fletcher, R. et al. (2024). " 'I'm unable to': How Generative AI Chatbots Respond when Asked for the Latest News." Reuters Institute for the Study of Journalism.
作者是香港樹仁大學新聞與傳播學系助理教授
（本網發表的時事文章若提出批評，旨在指出相關制度、政策或措施存在錯誤或缺點，目的是促使矯正或消除這些錯誤或缺點，循合法途徑予以改善，絕無意圖煽動他人對政府或其他社群產生憎恨、不滿或敵意）