<mark id="oztn4"></mark>
0
| 本文作者： 我在思考中 | 2022-12-15 10:13 |
作者 | 李梅、黃楠
編輯 | 陳彩嫻
以 ChatGPT 為代表的文本生成的興起，正促使許多研究人員尋求一個比原始版本更具挑戰性的圖靈測試。
圖靈測試解決兩個問題：“機器可以思考嗎？”，如果可以，“如何證明它？”經典圖靈測試針對的是 AI 最棘手的目標之一：如何欺騙不知情的人類？但隨著當前語言模型變得越來越復雜，與 AI 如何欺騙人類相比，研究人員開始更關注“如何證明它？”的問題。
有觀點認為，現代的圖靈測試應當在科學的環境中證明語言模型的能力，而不是僅僅看語言模型是否能夠愚弄或模仿人類。
最近有項研究就重新審視了經典圖靈測試，并將圖靈在 1950 年所著論文的內容作為 prompt，使用 ChatGPT 生成了一份更可信的論文版本，來評估它的語言理解和生成能力。在使用 AI 寫作輔助工具 Grammarly 進行定量評分后發現，ChatGPT 生成的論文得分比圖靈原始論文高出 14%。有趣的是，該項研究所發表的論文部分內容是由 GPT-3 生成的。
然而，ChatGPT 的算法是否真的展示了圖靈的最初觀點，這仍然是個問號。尤其是，當下越來越擅長模仿人類語言的大型語言模型，很容易讓人產生它們具有“信念”、能夠“推理”的錯覺，這會阻礙我們以更可信、更安全的方式部署這些 AI 系統。
1950年版本的圖靈測試是問答形式。圖靈在論文中模擬了未來智能計算機的測試，如下圖所示的一個算術問題：34957 加 70764 等于多少？
圖注：ChatGPT 的問答序列，當中答案正確，問題來自圖靈 1950 年論文
這個問題曾使當時最好的語言模型如 GPT?2 失手。然而諷刺的是，在當時，圖靈的論文（人類版本）給出了一個錯誤答案：（停頓約30秒，然后給出答案）105621。即使存在機器為了通過圖靈測試而故意犯錯的可能性，五分鐘的對話仍讓裁判人員相信，計算機30%以上的時間是人為操控的。
自1950年以來，圖靈測試出現了許多改進，包括2014年一項著名的測試，稱為“Lovelace 2.0 測試”。Lovelace 2.0 測試的標準是，機器可以在藝術、文學或任何類似創造性飛躍中創造出具有代表性的例子。
2014年，一個名為 Eugene Goostman 的聊天機器人模擬了一位13歲的烏克蘭男孩，成功欺騙了 33% 的裁判人員，被認為是第一個通過圖靈測試的機器。
但批評者很快注意到了預定義的問題和主題，以及僅使用鍵盤敲擊的簡短格式，這意味著該圖靈測試的結果是不可靠的。
2018 年，谷歌 CEO Sundar Pichai 在一段視頻中介紹了他們最新的名為 Duplex 的計算機助手，該機器成功實現了美發沙龍預約，成為人們在不知不覺中同機器互動的一部分。雖然正式通過圖靈測試可能需要多種形式，但 The Big Think 得出結論：“迄今為止，還沒有計算機明確通過圖靈 AI 測試”。其他研究人員也重申了所有這些問題是否值得被探討，其中特別考慮到目前大型語言模型在大量場景中的應用，比如航空工程的文本并沒有將其領域的目標定義為“制造出的飛行器要與鴿子完全一樣，并騙過其他鴿子”。
在 PeopleTec 的一項研究中，作者將圖靈測試的原始論文內容作為 prompt，讓 ChatGPT 重新生成一個更具可信性度的論文版本，并使用寫作評估工具進行評估。
此前已經有使用 GPT?3模型早期版本撰寫和發表完全由機器撰寫的研究論文的工作。識別機器所生成的敘述，對機器生成文本的抱怨通常源于已知的模型缺陷，例如容易丟失上下文、退化為重復或胡言亂語、答案形式重述問題，以及在被難住時抄襲互聯網資源。
這里要生成的論文格式主要執行幾個常規的大型語言模型（Large Language Model，LLM ）任務，特別是文本摘要和使用圖靈問題作為 prompt 本身來生成原始內容。另外，作者使用 Grammarly Pro 工具來評估生成的內容，對論文的原創性、風格、清晰度和整體說服力等難以表征的特征進行定量評估。
這項工作更多地側重于圖靈挑戰的后半部分，不是關于模型如何欺騙人類，而更多是關于如何量化好的文本生成。因此，OpenAI 的努力所展示的部分顯著進步歸結為它以提高人類生產力的方式改進機器衍生對話的能力。
作者首先用 Grammarly 來評估圖靈的原始論文、得出各項分數，然后使用圖靈提出的測試問題作為 prompt 來創造原始的 GPT-3 內容，從而復制這些分數。
研究使用三個文本作為基準：
（1）Turing Original，圖靈 1950 年在 Mind 上發表的論文；
（2）Turing Summarization，2022 年“Free Research Preview: ChatGPT optimized for dialog”；
（3）Turing Generative Prompt，與（2）相同，但是使用圖靈問題在對話中生成。
每個文本塊輸出都為可為 Grammarly 指標提供數據，并設定了基于受眾：專家，形式：中性，領域：一般，當中應用大多數語法規則和約定，具有中等嚴格性。
這樣一個圖靈測試，其實也可驗證一個欺騙性任務：一臺機器（ChatGPT）可以欺騙另一臺機器（Grammarly）嗎？
圖注：用于對大型語言模型和圖靈論文進行評分的指標
圖靈 1950 年的原始論文提出了用于圖靈測試的 37 個問題，當中有針對他思考關于機器的中心主題，還有一些是向實驗模仿游戲的計算機提出的示例問題。研究人員在 ChatGPT 的對話框中，將論文大綱中的主題混合在一起后摘錄了這些問題，用來提示 ChatGPT 重現原始的基本內容。
ChatGPT 完成內容的生成后，在可讀性、正確性、清晰性等指標上與圖靈的原始論文進行比較，結果如下圖。
圖注：圖靈 1950 年的論文與 ChatGPT 生成論文在各種任務中的比較結果
在清晰性（“有點不清楚”）、參與感（“有點乏味”）和信息傳達（“略有偏差”）等更主觀的評分中，所有四個版本都未能引起專家或普通讀者的共鳴。
第一個文本摘要挑戰表明，ChatGPT 能夠掌握簡短提示的意圖，如：將論文總結成十段，并提供 PDF 論文的鏈接。這不僅需要模型理解和遵循請求中的摘要程度，還需要知道鏈接代表什么，并找到它作為參考或從其標記化標題中猜測。
OpenAI 稱 GPT3 不會回答可能不屬于其初始訓練數據的內容，例如“誰贏得了 2022 年 11 月的選舉？”。這種知識差距表明，ChatGPT 本身并不主動尋找鏈接，而是了解其他人之前對其內容所做行為。
有趣的是，當同一提示出現兩次時（唯一的區別是提示工程和鏈接本身冒號后的文本換行符），ChatGPT 的答案會大相徑庭。其中，第一次是一篇及格的學生論文，總結了圖靈原始論文的要點；第二次則將問題解釋為對前十段中的每一段的總結，而不是對整篇論文的總結。
最終的結果表明，ChatGPT 生成的研究論文的整體內容在度量意義上可獲得較高的分數，但缺乏連貫性，尤其當問題作為敘述中的提示被省略時。
由此或許能夠得出結論，這次與 ChatGPT 的交流充分說明了它能夠產生真正有創意的內容或思想飛躍的能力。
GPT?3 在生成內容時，有一個重要過濾器用于消除固有偏見。這次的 ChatGPT 也被設計為頗具有道德正當性，當被問及對某事物的看法時，ChatGPT 會拒絕給出任何具體答案，而只強調自己是如何被創造的。
許多研究人員也認同，任何模型在被問到時，都必須在道德上聲明自己僅僅是一臺機器，ChatGPT 嚴格遵守了這一要求。
而且，經過 OpenAI 對 ChatGPT 各個模型層進行的微調，當前的 ChatGPT 在被直接問到它只是一個方程式還是圖靈欺騙時，它會回答：“我模仿人的能力并不一定意味著我有與人相同的思想、感覺或意識。我只是一臺機器，我的行為是由所受過訓練的算法和數據決定的。”
圖靈還提出人類的列表記憶能力：“實際的人類計算機真的記得它們必須做什么......構建指令表通常被描述為‘編程’?！?/span>
就像越來越大的語言模型（>1000 億）的演變一樣，改進也有內置的啟發式或模型執行護欄，GPT?3 的 Instruct 系列就展示了直接回答問題的能力。而 ChatGPT 包括長期對話記憶， 因此，即便單個 API 調用無法跨越的敘述跳躍，但 API 仍可以跟蹤對話。
我們可以測試帶有非人稱代詞（如“it”）的對話，在對話中將上下文與單個會話中的先前 API 調用一起進行——這是一個易于掌握的示例，用于 ChatGPT 的 API 內存，因為對較長的對話進行編碼既強大又昂貴。
在 LLM 中，API 限制以及費用影響，使得很長一段時間里，token 權重之間的相關性通常在每隔幾段的整體上下文中衰減（GPT-3 中的2048個token）?？朔松舷挛南拗瓶蓪?ChatGPT 與其公開可用的前身區分開來。
第二代 Lovelace 2.0 測試提出了創造性任務和細化執行任務的約束條件。然后，人類判斷專家會評估該模型是否可以用確定性的方式進行解釋，或者輸出是否符合有價值、新穎和令人驚訝的條件。因此，與其讓程序“寫短篇小說”，不如改進任務以展示特定的長度、風格或主題。該測試結合了許多不同類型的智能理解，其中，約束層試圖限制谷歌搜索內容和有關 AI 成功稀釋或偽裝原始來源的爭論。
以下展示了一個直接回答 Lovelace 2.0 測試中提出的挑戰的短篇故事示例：講述一個男孩愛上一個女孩，外星人綁架男孩，女孩在一只會說話的貓的幫助下拯救了世界
自2014年以來，作為對文本和圖像生成的限制，高質量提示工程的使用已變得司空見慣，通常效果越好，關于樣式、地點或時間的說明或限定詞越詳細。事實上，構建提示本身是當今 AI 中獲得良好輸出的最具創造性的方面。在這種情況下，人們可以通過使用 ChatGPT 強制進行創造性工作，同時處理單一主題、對所需輸出的風格和基調的多層限制，將圖靈和 Lovelace 測試交織在一起。
下面顯示了 ChatGPT 在圖靈模仿游戲中生成的十種詩歌：
圖靈測試的結果由人類來裁決。正如 ChatGPT 所回答的，提問者是否判斷模型通過了圖靈測試問題“將取決于多種因素，例如機器提供的響應質量、提問者區分人和機器響應的能力，以及用于確定機器是否成功模仿人類的特定規則和標準。最終，游戲的結果將取決于具體情況和參與者。”
LLM 只做序列預測
可以看到，當代基于 LLM 的對話互動可以創造一種令人信服的錯覺，仿佛置身于我們面前的，是像人類這樣會思考的生物。但就本質而言，此類系統從根本上不同于人類，像 ChatGPT 這樣的 LLM 還涉及技術哲學的話題。
語言模型正變得越來越擅長模仿人類語言，這帶來一種強烈的感受，即這些 AI 系統已經與人類非常相像，而且我們會使用“知道”、“相信”和“認為”等具有強烈自主意識的詞語去描述這些系統?；谏鲜霈F狀，DeepMind 資深科學家 Murray Shanahan 在近日一篇文章中提到，要破除任何或過度悲觀或過度樂觀的迷思，我們需要清楚 LLM 的系統到底是如何運作的。
Murray Shanahan
BERT、GPT-2 等 LLM 的出現改變了人工智能的游戲規則，之后的 GPT-3、Gopher、PaLM 等大模型基于 Tansformer 架構，在數百 TB 的文本數據上進行訓練，更加凸顯了數據的強大作用。
這些模型的能力是令人驚訝的。首先，它們在基準上的表現與訓練集的大小成比例；其次，隨著模型規模的擴大，它們的能力有了質的飛躍；最后，許多需要人類智能的任務可以簡化為使用性能足夠的模型“對下一個token進行預測”。
最后一點實際上揭示了語言模型的運作方式與人類的根本不同。人類在相互交流中所使用的的直覺是經過數千年進化而來的，如今人們正在錯誤地把這些直覺遷移到 AI 系統上。ChatGPT 具有相當大的實用性和巨大的商業潛力，為了確保它能被可信地、安全地部署，我們需要了解它的實際工作原理。
與人類語言相比，大型語言模型有什么本質上的不同？
如維特根斯坦所說，人類語言的使用是人類集體行為的一個方面，它只有在人類社會活動的大背景下才具有意義。人類嬰兒是出生在一個與其他語言使用者共享的世界，并通過與外部互動來習得語言。
而 LLM 的語言能力來源不同。人類生成的文本構成一個大規模的公共語料庫，它包含了單詞、單詞的構件、或帶標點的單個字符等 tokens，大型語言模型就是關于這些 tokens 的統計分布的生成式數學模型。
所謂的“生成”，是指我們可以從這些模型中取樣，也就是進行提問。但提問的問題是非常具體的，比如我們要求 ChatGPT 幫我們續寫一段話，實際上是在要求它根據它的人類語言統計模型，來預測接下來可能會出現什么詞。假如我們給 ChatGPT 提示“第一個在月球上行走的人是”，并假設它會回答“Neil Armstrong”。這里實際上并不是真的在問誰是第一個在月球上行走的人，而是：給定大量文本公共語料庫中單詞的統計分布，哪些單詞最有可能遵循“第一個在月球上行走的人是”的序列？
盡管模型對這些問題給出的答案可能會被人類解讀為模型“理解”了語言，但實際上對模型而言，它要做的就是生成具有在統計上可能的單詞序列。
LLM 通過以下兩個方式來轉變為問答系統：
a) 將其嵌入到更大的系統中；
b) 使用 prompt 工程來引發所需的行為。
這樣一來，LLM 不僅可以用于問答，還可以用來總結新聞文章、生成劇本、解決邏輯難題以及進行語言翻譯等。
這里有兩個重要的要點。首先，LLM 的基本功能即生成統計意義上可能的單詞序列，是非常通用的。其次，盡管具有這種多功能性，但所有這類應用程序的核心都是同一種模型，都只做同一件事，即生成統計意義上可能的單詞序列。
LLM 的基礎模型包括模型架構和訓練參數。一個 LLM 并不真正“知道”任何事情，因為它所做的一切在底層意義上都是序列預測。模型本身并沒有“真”或“假”的概念，因為它們不具備人類運用這些概念的方法。LLM 在某種意義上并不依賴意圖立場。
這對于以 LLM 為核心的對話系統也是一樣，它們并不能理解人類語言中關于真理的概念，因為它們不存在于我們人類語言使用者所共享的世界中。
如今的 LLM 是如此強大、多才多藝，以至于人們很難不或多或少地賦予其人格。一個相當具有吸引力的論點是，盡管 LLM 從根本上說只執行序列預測，但在學習這樣做的過程中，它們有可能發現了需要用更高層次的術語比如“知識” 和“信念”進行描述的涌現機制。
事實上，人工神經網絡可以將任何可計算函數逼近到任意精度。因此，無論需要何種機制來形成信念，它們都可能駐留在參數空間的某個地方。如果隨機梯度下降是優化準確序列預測目標的最佳方式，那么給定一個足夠大的模型、足夠多的正確類型的數據以及足夠的算力來訓練模型，也許它們真的可以發現那種機制。
而且，最近的 LLM 研究進展已經表明，當足夠大的模型在非常大量的文本數據上進行訓練時，就會涌現出非凡的、意想不到的能力。
然而，只要我們的考慮僅限于一個簡單的基于 LLM 的問答系統，它就根本不涉及交際依圖。不管它使用的內部機制是什么，序列預測本身并沒有交際意圖的，簡單地將交際依圖嵌入到對話管理系統中也無濟于事。
只有在能夠區分真假的情況下，我們才能談論最完整意義上的“信念”，但是 LLM 并不負責做出判斷，它只是模擬哪些詞可能跟在其他詞后面。我們可以說 LLM“編碼”、“存儲”或“包含”知識，也可以合理地稱 LLM 的一個涌現屬性是它編碼了日常生活世界的各種知識及其工作方式，但如果說“ChatGPT 知道北京是中國的首都”，那便只是一種修辭。
這里的重點是，涉及將任何信念完全歸于一個系統的先決條件。
任何東西都不能算作對我們共享的世界的信念，從廣義上講，除非它是在根據來自某個世界的證據適當地更新信念的能力的背景下，這是辨別真假能力的一個重要方面。
維基百科或其他一些網站，能否提供外部標準來衡量一個信念的真實性或虛假性？假設一個 LLM 被嵌入到一個系統中，該系統定期咨詢此類資源，并使用現代模型編輯技術來保持其預測的事實準確性，實現信念更新需要什么樣的能力？
序列預測器本身可能不是那種可以具有交流意圖或形成對外部現實的信念的事物。但是，正如反復強調的那樣，野外的 LLM 必須嵌入到更大的體系結構中才能發揮作用。
要構建一個問答系統，LLM 只需輔以一個對話管理系統以適當地查詢模型。這個更大的架構所做的任何事情都可以算作交流意圖或形成信念的能力。
至關重要的是，這種思路取決于從語言模型本身到語言模型所屬的更大系統的轉變。語言模型本身仍然只是一個序列預測器，并沒有像以往那樣更多地訪問外部世界。只有相對于整個系統，在這種情況下，意向性立場才會變得更有說服力。但在屈服于它之前，我們應該提醒自己，這樣的系統與人類有多么不同。
LLM 可以與其他類型的模型結合和/或嵌入到更復雜的體系結構中。例如，VilBERT 和 Flamingo 等視覺語言模型 (VLM) 將語言模型與圖像編碼器相結合，并在文本-圖像對的多模態語料庫上進行訓練。這使得它們能夠預測給定的單詞序列將如何在給定圖像的上下文中繼續。VLM 可用于視覺問答或就用戶提供的圖像進行對話，也就是俗稱的“看圖說話”
那么，用戶提供的圖像能否代表可以評估命題真假的外部現實？談論 LLM 的信念是否合理？我們可以想象，一個 VLM 使用 LLM 來生成關于圖像的假設，然后針對該圖像驗證其真實性，然后對 LLM 進行微調，以免做出被證明是錯誤的陳述。
但大多數基于 VLM 的系統并不是這樣工作的。相反，它們依賴于文本和圖像聯合分布的凍結模型。用戶提供的圖像與 VLM 生成的文字之間的關系，與人類共享的世界與我們談論該世界時使用的文字之間的關系根本不同。重要的是，前者僅僅是相關關系，而后者則是因果關系，當然，模型在推理過程中進行的計算存在因果結構，但這跟詞語與其所指事物之間的因果關系不同。
人類語言使用者存在于一個共享世界中，這使得我們與 LLM 有著本質區別。孤立的 LLM 無法通過與外界交流來更新自己的信念，但如果將 LLM 嵌入到更大的系統中會如何呢？比如，呈現為機器人或虛擬化身的系統。這時候談論 LLM 的知識和信念是合理的嗎？
這要取決于 LLM 是如何具身化的。
以今年谷歌發布的 SayCan 系統為例，在這項工作中，LLM 被嵌入到控制物理機器人的系統中。機器人根
據用戶的高級自然語言指令執行日常任務（例如清理灑在桌面上的水）。
其中，LLM 的工作是將用戶的指令映射到將幫助機器人實現所需目標的低級動作（例如尋找海綿）。這是通過一個工程化的 prompt 前綴來完成的，該前綴使模型輸出合適的低級動作的自然語言描述，并對它們的有用性進行評分。
SayCan 系統的語言模型組件可能會無視機器人所在的實際環境來給出動作建議，比如旁邊并沒有海綿。所以，研究人員使用一個單獨的感知模塊利用機器人的傳感器來評估場景，并確定執行每個低級動作的當前可行性。將 LLM 對每個動作的有用性評估與感知模塊對每個動作的可行性評估結合起來，便可以得出下一步最優動作。
盡管 SayCan 在物理上有與現實世界的互動，但它學習和使用語言的方式與人類仍然非常不同。SayCan 這類系統中包含的語言模型經過預訓練，可以在純文本數據集的無實體環境中執行序列預測。它們并沒有通過與其他語言使用者交談來學習語言。
SayCan 的確給我們帶來了關于未來語言使用系統的一種想象，但在今天這樣的系統中，語言的作用非常有限。用戶用自然語言向系統發出指令，系統生成對其動作的可解釋的自然語言描述。但是，這種微小的語言使用范圍根本無法與由語言?持的人類集體活動的規模相提并論。
所以，即使是對于包含 LLM 的具身 AI 系統，我們也要謹慎地選擇詞語去描述它們。
現在我們可以否認 ChatGPT 具有信念，但它真的可以推理（reason）嗎？
這個問題更加棘手，因為在形式邏輯中，推理是內容中立的（content neutral）。比如無論前提如何，“肯定前件”（modus ponens）的推理規則都是有效的：
如果：所有的人都會死，蘇格拉底是人；那么：蘇格拉底會死。
邏輯的內容中立性似乎意味著我們不能在推理方面對 LLM 過多苛求，因為 LLM 無法杰出到可以衡量真假的外部現實。但即便如此，當我們提示 ChatGPT“所有的人都會死，蘇格拉底是人，那么”時，我們并不是在讓模型進行假言推理，而是在問：給定的公共語料庫中的詞語統計分布，哪些詞可能遵循“所有的人都會死，蘇格拉底是人，那么”這一序列。
而且，更復雜的推理問題會包含多個推理步驟，由于聰明的提示工程，LLM 可以有效地應用于多步推理，無需進一步培訓。例如，在思維鏈提示中，在用戶查詢之前向模型提交一個提示前綴，其中包含一些多步驟推理的示例，并明確說明，所有中間步驟在思維鏈風格中都包含一個提示前綴會鼓勵模型，以相同的風格生成后續序列，也就是說，包括一系列導致最終答案的顯式推理步驟。
像往常一樣，真正向模型提出的問題的形式是“給定公共語料庫中單詞的統計分布，哪些單詞可能遵循序列 S ”，在這種情況下，序列 S 是鏈接 thought 提示前綴加上用戶的查詢，最有可能跟在 S 之后的標記序列，將具有與提示前綴中找到的序列類似的形式，也即是在它們當中，將包括多個推理步驟，因此這些就是模型生成的。
值得注意的是，不僅模型的響應采用多步驟論證的形式，而且所討論的論證通常（但并非總是）有效，并且最終答案通常（但并非總是）正確。在某種程度上，適當提示的 LLM 似乎推理正確，它通過在其訓練集中和/或提示中模仿格式正確的參數來實現。
但是，這種模仿能構成真正的推理嗎？即使今天的模型偶爾會犯錯誤，是否可以進一步縮小這些錯誤，使模型的性能與硬編碼推理算法的性能無法區分？
或許答案確實為“是”，但是我們怎么知道呢？我們怎么能相信這樣的模型呢？
定理證明器生成的句子序列是忠實于邏輯的，因為它們是底層計算過程的結果，其因果結構反映了定理的推理結構問題。使用 LLM 構建可信推理系統的一種方法是將其嵌入到執行相同因果結構的算法中。但是，如果我們堅持使用純 LLM，那么，要完全相信它產生的論點，唯一方法就是對其進行逆向工程，并發現符合忠實推理規定的緊急機制。與此同時，我們應該更加謹慎，并在描述這些模型的作用時慎重行事。
2.https://arxiv.org/pdf/2212.03551v1.pdf
更多內容，點擊下方關注：
未經「AI科技評論」授權，嚴禁以任何方式在網頁、論壇、社區進行轉載！
公眾號轉載請先在「AI科技評論」后臺留言取得授權，轉載時需標注來源并插入本公眾號名片。
雷峰網(公眾號：雷峰網)
