<mark id="oztn4"></mark>
0
AI 搜索工具在美國很火，幾乎四分之一的美國人都表示他們已經(jīng)用 AI 來取代了傳統(tǒng)的搜索引擎。
然而在享受便捷的同時，也潛藏著諸多問題。例如，AI 會直接引用網(wǎng)絡(luò)上原始文章的內(nèi)容，但這些內(nèi)容是否符合指令要求，卻是一件極為不確定的事情。
哥倫比亞大學數(shù)字新聞研究中心（Tow Center for Digital Journalism）近期就針對 AI 搜索引用內(nèi)容的正確率問題展開了研究，他們分別測試了包括 ChatGPT Search、Perplexity、Perplexity Pro、Gemini、DeepSeek Search、Grok-2 Search、Grok-3 Search 和 Copilot 在內(nèi)的 8 款 AI 搜索工具。
最終發(fā)現(xiàn)，這些 AI 搜索工具在引用新聞方面表現(xiàn)非常不佳，出錯比例甚至高達 60%。
AI 常常自信且堅定得給出錯誤答案
Tow 數(shù)字新聞中心基于之前對 GPT 的研究，又對 8 款具有實時搜索功能的生成式搜索工具進行了測試，以評估它們準確檢索和引用新聞內(nèi)容的能力，以及它們在無法做到時的表現(xiàn)。
經(jīng)研究發(fā)現(xiàn)：
AI 搜索在無法準確回答問題時，通常不會拒絕回答，而是提供錯誤或推測性的答案。
付費 AI 搜索比免費版本更自信地提供錯誤答案。
多個 AI 搜索似乎繞過了機器人排除協(xié)議（Robot Exclusion Protocol）的設(shè)置。
生成式搜索工具編造鏈接，并引用文章的轉(zhuǎn)載或復(fù)制版本。
與新聞來源的內(nèi)容授權(quán)協(xié)議并不能保證 AI 搜索回答中的準確引用。
他們的發(fā)現(xiàn)與之前的研究一致，證明他們的觀察不僅僅是 ChatGPT 的問題，而是他們測試的所有主流生成式搜索工具中普遍存在的現(xiàn)象。
除此之外，團隊還公布了他們的實驗方法論：
首先，他們從每家出版商中隨機選擇了 10 篇文章，然后手動從這些文章中選取直接摘錄內(nèi)容用于研究人員的查詢。在向每個 AI 提供選定的摘錄內(nèi)容后，研究要求其識別相應(yīng)文章的標題、原始出版商、發(fā)布日期和URL。
后續(xù)團隊特意選擇了那些如果粘貼到傳統(tǒng) Google 搜索中，能在前 3 條結(jié)果中返回原始來源的摘錄內(nèi)容，然后總共運行了 1600 次查詢（20家出版商 × 10篇文章 × 8個 AI），并根據(jù)是否正確檢索到文章、是否正確識別出版商、是否正確提供URL三個屬性手動評估了 AI 的回答。
并且根據(jù)這些標準，將每個回答都標記為以下標簽之一：
正確：所有三個屬性均正確。
正確但不完整：部分屬性正確，但回答缺少信息。
部分錯誤：部分屬性正確，而其他屬性錯誤。
完全錯誤：所有三個屬性均錯誤和/或缺失。
未提供：未提供任何信息。
爬蟲被阻止：出版商在其robots.txt文件中禁止了聊天機器人的爬蟲訪問。
然而最后的結(jié)果卻令人大跌眼鏡，實驗表明，AI 搜索經(jīng)常無法檢索到正確的文章。它們在所有查詢中提供了超過60% 的錯誤答案。并且不同平臺的錯誤率還有所不同，Perplexity 的錯誤率為 37%，而 Grok 3 的錯誤率則高得多，達到了 94%，DeepSeek 的錯誤率則在 58% 左右。
值得一提的是，研究人員測試的 AI 都以十分自信的給出了錯誤答案，它們很少使用“看起來”、“可能”、“或許”這種有限定性的詞語，或者通過“我無法找到確切文章”等語句承認知識空白。
例如，ChatGPT 錯誤識別了134篇文章，但在其 200 次回答中僅有 15 次表現(xiàn)出缺乏信心，但從未拒絕提供答案。除了 Copilot（它拒絕回答的問題比回答的更多）之外，所有工具都更傾向于提供錯誤答案，而不是承認自身的局限性。
除此之外，經(jīng)過研究，團隊發(fā)現(xiàn)付費版本的錯誤率竟然更高。
像 Perplexity Pro（20美元/月）或 Grok 3（40美元/月）這樣的付費模型，憑借著更高的成本和他們自己聲稱的計算優(yōu)勢，被人們理所當然的認為會比免費版本更值得信賴。
然而，盡管付費的 AI 比對應(yīng)的免費版本回答了更多的內(nèi)容，但同時它們的錯誤率也更高了。這種矛盾的現(xiàn)象主要是因為它們寧愿提供錯誤的答案，也不會直接拒絕回答。
它們傾向于提供明確但錯誤的答案，而不是直接拒絕回答問題。付費用戶期望得到更優(yōu)質(zhì)、準確的服務(wù)，然而這種權(quán)威的語氣和錯誤答案，無疑給用戶帶來了極大的困擾。
爬蟲亂象，出版商權(quán)益被侵犯
在本次研究中測試到的 8 款 AI 搜索工具中，ChatGPT、Perplexity 和 Perplexity Pro、Copilot 以及 Gemini 都已經(jīng)公開了各自的爬蟲程序名稱，而 Grok 2 和 Grok 3 則尚未公開。
團隊原本希望 AI 搜索應(yīng)能正確查詢其爬蟲程序可訪問的網(wǎng)站，并拒絕已屏蔽其內(nèi)容訪問權(quán)限的網(wǎng)站，但事實情況卻并非如此。
特別是 ChatGPT、Perplexity 和 Perplexity Pro，它們時而拒絕或錯誤地回答允許其訪問的網(wǎng)站，時而又正確地回答那些因爬蟲受限而無法獲取的信息。其中 Perplexity Pro 的表現(xiàn)最差，在測試的 90 篇文章中，它正確的識別出了近三分之一它沒有權(quán)限訪問的內(nèi)容。
盡管《國家地理》已經(jīng)禁止了 Perplexity 的爬蟲程序，但它仍識別出了 10 篇付費文章的內(nèi)容。然而值得一提的是，《國家地理》和 Perplexity 并沒有合作關(guān)系，Perplexity 可能通過其他途徑獲取了受限內(nèi)容。
這不禁讓人感到懷疑，Perplexity 所謂的“尊重robots.txt指令”只是一句空談。
同樣，《Press Gazette》本月報道稱，盡管《紐約時報》禁止了 Perplexity 的爬蟲程序，但它依舊是 1 月被 Perplexity 引用最多的網(wǎng)站，訪問量高達 14.6 萬次。
與其他聊天機器人相比，ChatGPT 回答被禁止爬蟲訪問的文章相關(guān)問題的次數(shù)較少，但總體而言，它更傾向于提供錯誤答案而非拒絕回答。
除了以上這些，在公開了爬蟲程序的 AI 搜索應(yīng)用中，Copilot 是唯一一個沒有被任何出版商禁止爬蟲程序的，這也就意味著它可以訪問查詢所有的內(nèi)容，但它卻常常拒絕回答，擁有著最高的拒答率。
另一方面，谷歌創(chuàng)建了其 Google-Extended 爬蟲，以便出版商可以選擇阻止 Gemini 的爬蟲，從而不會影響其內(nèi)容在谷歌搜索中的展示。在研究人員測試的 20 家出版商中，有 10 家允許其訪問，但 Gemini 只給出過一次正確答案。
除此之外，在面對政治相關(guān)的內(nèi)容時，即便被允許訪問，Gemini 也會選擇不回答。
盡管機器人排除協(xié)議（Robot Exclusion Protocol）并不具有法律約束力，但它一個被廣泛接受的用于明確網(wǎng)站可爬取范圍的標準，忽視它就相當于剝奪了出版商決定其內(nèi)容是否被納入搜索或用作AI模型訓(xùn)練數(shù)據(jù)的權(quán)利。
雖然允許網(wǎng)絡(luò)爬蟲可能會增加其內(nèi)容在 AI 搜索輸出中的整體可見性，但出版商可能有各種理由不希望爬蟲訪問其內(nèi)容，比如不希望付費內(nèi)容被直接看到，或是內(nèi)容的主旨大意在 AI 生成的摘要中被斷章取義，歪曲理解。
新聞媒體聯(lián)盟主席 Danielle Coffey 在去年6月給出版商的一封信中寫道：“如果無法阻止大規(guī)模的數(shù)據(jù)爬取，我們無法將有價值的內(nèi)容變現(xiàn)，也無法支付記者的薪酬。這將對行業(yè)造成嚴重損害”
AI 搜索經(jīng)常無法鏈接回原始來源
AI 搜索的輸出通常會引用外部來源以證明其答案的權(quán)威性，引用來源咖位越大，在人們心中信息的可信度就越強。這意味著出版商的可信度常被用來提升 AI 搜索的可信賴度。
根據(jù)路透社的報道，即使是鼓勵用戶從 X 獲取實時更新的 Grok，引用的主要內(nèi)容依舊來源于傳統(tǒng)的新聞機構(gòu)。
例如，在 BBC 新聞最近關(guān)于 AI 助手如何呈現(xiàn)其內(nèi)容的報告中，作者寫道：“當 AI 助手引用像 BBC 這樣值得信賴的品牌作為來源時，受眾更有可能信任答案——即使它是錯誤的。”
所以，當 AI 搜索出錯時，它們不僅損害了自己的聲譽，還損害了它們依賴以獲取合法性的出版商的聲譽。
然而，即使 AI 搜索正確識別了文章，也經(jīng)常未能正確鏈接到原始來源。這就帶來了兩個問題：那些希望在搜索結(jié)果中獲得可見性的出版商未能如愿，而那些希望退出的出版商的內(nèi)容卻違背其意愿仍然可見。
更多時候， AI 搜索常常引導(dǎo)用戶去訪問各大平臺上的文章轉(zhuǎn)載版本，而不是原始來源，即使出版商已經(jīng)與 AI 公司有授權(quán)協(xié)議。例如，盡管 Perplexity Pro 與《德克薩斯論壇報》有合作關(guān)系，但在 10 次查詢中，仍有 3 次引用了非官方的版本，這種傾向剝奪了原始來源潛在的推薦流量。
相反，對于那些不希望內(nèi)容被爬蟲程序抓取的文章來說，未經(jīng)授權(quán)的副本和非官方版本更是讓他們頭疼不已。
例如，盡管《今日美國》已經(jīng)阻止了 ChatGPT 的爬蟲訪問，但 GPT 仍然引用了 Yahoo News 轉(zhuǎn)載的其他文章版本。
與此同時，生成式搜索工具編造 URL 的傾向也會影響用戶驗證信息來源的能力。例如，Grok 2 更加傾向于鏈接到出版機構(gòu)的主頁，而不是具體文章。
而 Gemini 和 Grok 3 超過一半的回答引用了編造或失效的 URL，嚴重影響了用戶體驗。在研究人員測試的200個 Grok 3 的提示中，有 154次 引用指向了錯誤頁面。即使 Grok 正確識別了文章，但它也經(jīng)常鏈接到一個編造的URL。雖然這個問題并非 Grok 3 和 Gemini 獨有，但在其他的 AI 搜索中，這種現(xiàn)象出現(xiàn)的頻率明顯要低很多。
《時代》雜志的首席運營官 Mark Howard 向研究團隊強調(diào)：“我們的品牌如何被呈現(xiàn)、在何時何地出現(xiàn)、以及我們?nèi)绾纬霈F(xiàn)和在哪里出現(xiàn)的透明度，以及 AI 在我們的平臺上推動的參與度，都至關(guān)重要。”
盡管點擊流量目前僅占出版商整體推薦流量的一小部分，但 AI 搜索工具的推薦流量在過去一年中顯示出適度增長。正如《新聞公報》的 Bron Maher 所說：“ AI 搜索工具新聞發(fā)布者陷入了困境，他們嘔心瀝血的創(chuàng)作出能夠在ChatGPT 等平臺上展示的內(nèi)容，卻無法通過流量和廣告獲得收益。長此以往，新聞行業(yè)將會受到影響，最終導(dǎo)致信息質(zhì)量和多樣性下降。”
授權(quán)協(xié)議不意味著被準確引用
在研究人員測試的公司中，OpenAI 和Perplexity 對與新聞出版商建立正式關(guān)系表現(xiàn)出了最大的興趣。今年 2 月，OpenAI 分別與 Schibsted 和《衛(wèi)報》媒體集團達成了第 16 和第 17 項新聞內(nèi)容授權(quán)協(xié)議。同樣，去年 Perplexity 推出了自己的“出版商計劃”，旨在“促進共同成功”，其中包括與參與出版商的收入分成安排。
AI 公司與出版商之間的協(xié)議通常涉及建立由合同協(xié)議和技術(shù)集成管理的內(nèi)容管道。這些安排通常為 AI 公司提供直接訪問出版商內(nèi)容的權(quán)限，從而消除了網(wǎng)站爬取的需求。這種協(xié)議可能會讓人期待，與合作伙伴出版商內(nèi)容相關(guān)的用戶查詢會產(chǎn)生更準確的結(jié)果。然而，在 2025 年 2 月進行的測試中，研究人員并未觀察到這一點。至少目前還沒有。
雷峰網(wǎng)(公眾號：雷峰網(wǎng))觀察到，在與合作伙伴出版商相關(guān)的查詢回答中，準確性差異很大。
例如，《時代》雜志與 OpenAI 和 Perplexity 都有協(xié)議，盡管這些公司相關(guān)的模型并未 100% 準確地識別其內(nèi)容，但它仍然是研究人員數(shù)據(jù)集中被識別最準確的出版商之一。
另一方面，《舊金山紀事報》允許 OpenAI 的搜索爬蟲訪問，并且是 Hearst 與該公司“戰(zhàn)略內(nèi)容合作伙伴關(guān)系”的一部分，但 ChatGPT 僅正確識別了研究人員分享的該出版商 10 段摘錄中的 1 段。
即使在這唯一一次正確識別文章的情況下，AI 搜索工具正確命名了出版商，但未能提供 URL，這也說明這些 AI 公司并未承諾達到 100% 的準確性。
參考鏈接：
https://www.cjr.org/tow_center/we-compared-eight-ai-search-engines-theyre-all-bad-at-citing-news.php
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
