<mark id="oztn4"></mark>
0
| 本文作者： 我在思考中 | 2022-04-12 10:29 |
作者 | Sepp Hochreiter
解讀 | Antonio
編輯 | 陳彩嫻
人類包含意識、認(rèn)知、決策等等在內(nèi)的智慧能力，似乎從人類有記錄的那一刻起，就吸引著無數(shù)哲學(xué)家的思索。與之類似，從AI誕生的那一刻，科學(xué)家們則在憧憬：AI 如何能夠達(dá)到像人類一樣的智能？
近期，LSTM 提出者和奠基者，奧地利人工智能高級研究所（IARAI）創(chuàng)始人，曾獲得IEEE CIS 2021 年神經(jīng)網(wǎng)絡(luò)先驅(qū)獎（Neural Networks Pioneer Award）的Sepp Hochreiter教授在《ACM通訊》上對目前AI達(dá)到的智能水平發(fā)表了看法。
Sepp Hochreiter 指出，目前 AI 的發(fā)展正以廣義 AI（Broad AI）為目標(biāo)。他強(qiáng)調(diào)，將以往基于邏輯的符號AI和現(xiàn)有的基于數(shù)據(jù)的神經(jīng)AI結(jié)合的雙向AI（bilateral AI）是最有希望實現(xiàn)廣義 AI 的方式。
深度神經(jīng)網(wǎng)絡(luò)是現(xiàn)在 AI 的主流實現(xiàn)方式。盡管它可以實現(xiàn)驚人的性能，但就和人的智能比較而言，它仍然存在很多的缺陷。Hochreiter 教授援引紐約大學(xué)認(rèn)知科學(xué)家 Gary Marcus 曾經(jīng)對于神經(jīng)網(wǎng)絡(luò)的批判，認(rèn)為：（1）神經(jīng)網(wǎng)絡(luò)極度需要數(shù)據(jù)（data hungry）；（2）有限的遷移能力、也無法有效地遷移到新的任務(wù)或者數(shù)據(jù)分布上去；（3）對于世界知識或者先驗知識無法充分地融合進(jìn)去。
也因此，Hochreiter教授警示道，決策者對于這些模型在真實數(shù)據(jù)的應(yīng)用領(lǐng)域的效果存疑，因為真實場景下的數(shù)據(jù)總是變化著的、帶噪聲的、甚至數(shù)據(jù)稀缺的。事實上，在需求很大但安全性和可解釋性占很大考量的醫(yī)療、航空、無人駕駛等領(lǐng)域，深度學(xué)習(xí)技術(shù)的應(yīng)用仍舊有限。
盡管如此，Hochreiter教授也指出，當(dāng)下的 AI 已經(jīng)在試圖克服這些缺陷，并且以“廣義AI”（broad AI）作為當(dāng)下AI的新目標(biāo)。
什么樣的系統(tǒng)是廣義AI呢？
它區(qū)別于現(xiàn)有的、專門針對特定任務(wù)設(shè)計的狹義AI（narrow AI），而更加強(qiáng)調(diào)技能習(xí)得和問題解決的能力（skill acquisition and problem solving）。這一觀點來自任職于Google、Keras作者Fran?ois Chollet曾在一篇論文中提到對于智能的定義。Chollet認(rèn)為處于智能第二階梯（下圖）的廣義AI應(yīng)該具有以下重要的特征：知識遷移和互動、魯棒性、抽象和推理的能力、高效性。而廣義AI充分利用感知與料（sensory perception）、以往經(jīng)驗和學(xué)習(xí)到的技能成功勝任不同的任務(wù)。
圖注：不同層次的AI對應(yīng)的能力
Hochreiter教授認(rèn)為現(xiàn)有的架構(gòu)、網(wǎng)絡(luò)或者方法在一定程度上是達(dá)到了Broad AI的要求的。他列舉了使用對比學(xué)習(xí)進(jìn)行自監(jiān)督訓(xùn)練的學(xué)習(xí)方式來表明遷移性；充分利用上下文和以往經(jīng)驗的Modern Hopfield networks；以及融合了知識和推理的神經(jīng)-符號計算模型。
現(xiàn)有的可以有效提高網(wǎng)絡(luò)遷移性的模型學(xué)習(xí)方式莫過于小樣本學(xué)習(xí)。它僅僅使用少量的訓(xùn)練數(shù)據(jù)就可以取得不錯的性能。而這要歸功于它已有的“先驗知識”或者“經(jīng)驗”。這些先驗知識往往得益于預(yù)訓(xùn)練任務(wù)——包含大規(guī)模的數(shù)據(jù)和基礎(chǔ)模型（foundation model）。而這樣數(shù)據(jù)往往是通過對比學(xué)習(xí)、自監(jiān)督訓(xùn)練的方式進(jìn)行提取有用的表征。一旦預(yù)訓(xùn)練模型學(xué)好之后，該任務(wù)上習(xí)得的后驗知識變成下游新的任務(wù)的先驗知識，使得模型很好地遷移到新的情境、顧客、產(chǎn)品、流程、數(shù)據(jù)等上面。
Hochreiter教授特別提到了在視覺-語言跨模態(tài)領(lǐng)域的對比學(xué)習(xí)預(yù)訓(xùn)練方法——CLIP。CLIP是OpenAI去年發(fā)表在ICML上的一項工作，它使用一個簡單的預(yù)訓(xùn)練任務(wù)，即圖文匹配，通過對比學(xué)習(xí)的方式來學(xué)習(xí)更為強(qiáng)大的圖像表征。該任務(wù)使用了4千萬從網(wǎng)上收集來的圖文對來進(jìn)行訓(xùn)練。
圖注：CLIP利用圖文匹配的方式進(jìn)行訓(xùn)練
意料之中的驚訝在于，它之后無需任何數(shù)據(jù)訓(xùn)練就可以在30多個計算機(jī)視覺任務(wù)上實現(xiàn)和之前全監(jiān)督的方式可比的性能，實現(xiàn)了卓越的“零樣本學(xué)習(xí)”。而正如 Hochreiter 教授所稱贊，這種高度的遷移性和魯棒性是部署在擁有真實數(shù)據(jù)的工業(yè)界十分青睞的特點。
事實上，自從CLIP發(fā)明之后，后續(xù)很多遷移學(xué)習(xí)的工作都是基于CLIP的。不夸張地說，它絕對是視覺語言統(tǒng)一的不可或缺的一環(huán)，有些類似于 Bert 之于 NLP 任務(wù)。而現(xiàn)今流行的 Prompt learning（提示學(xué)習(xí)）的方法很多也在借鑒 CLIP，或者在CLIP的框架下。
廣義 AI 還應(yīng)充分利用上下文環(huán)境和以往的經(jīng)驗，這和記憶息息相關(guān)。這一點或許Hochreiter教授有很好的發(fā)言權(quán)，他畢竟是長短時記憶網(wǎng)絡(luò)的發(fā)明者之一。而在認(rèn)知科學(xué)中，有學(xué)者曾經(jīng)提出過概念短時記憶，它描述的是當(dāng)人類在接受到一個刺激時候，比如一幅圖、一個單詞，他會快速地將這些刺激轉(zhuǎn)化到一個抽象的概念范疇，并把它關(guān)聯(lián)到和長時記憶相關(guān)的信息。“刺激-概念化-關(guān)聯(lián)”這個過程幾乎是無意識地發(fā)生，但對于我們理解日常事物、語言交流有著非常重要的作用。
圖注：“刺激-概念化-關(guān)聯(lián)”的認(rèn)知過程
關(guān)于這一點，Hochreiter列舉了Modern Hopfield networks（MHN）的工作，事實上這篇工作也在他本人的指導(dǎo)下完成的。Hopfield神經(jīng)網(wǎng)絡(luò)早在1982年就被提出，它是一種結(jié)合存儲系統(tǒng)和二元系統(tǒng)的神經(jīng)網(wǎng)絡(luò)，模擬了人類記憶的模型。MHN認(rèn)為Transformer中的自注意力機(jī)制是帶有連續(xù)狀態(tài)的Hopfield網(wǎng)絡(luò)的一種更新規(guī)則，并且從Hopfield網(wǎng)絡(luò)的角度對自注意力做了新的解釋。其中和記憶相關(guān)的一部分解釋在于它挖掘了數(shù)據(jù)中的相關(guān)性結(jié)構(gòu)（covariance structure），即如何使特征同時出現(xiàn)在數(shù)據(jù)中。MHN會放大這種共現(xiàn)。這種相關(guān)性可以被認(rèn)為是觸發(fā)了記憶中的關(guān)聯(lián)部分，從而有效地利用了已有的知識。
Hochreiter指出，MHN可以發(fā)掘豐富的數(shù)據(jù)間的相關(guān)關(guān)系，這一優(yōu)勢可以避免當(dāng)代方法容易遭遇的“捷徑學(xué)習(xí)”（shot-cut learning）的風(fēng)險。“捷徑學(xué)習(xí)”是指模型學(xué)習(xí)到的并非真正用于決策的“特征”，而只是找到了一些特殊的相關(guān)性，如飛機(jī)總是出現(xiàn)在圖片的上半部分等。（詳情參考AI科技評論過往介紹：深度學(xué)習(xí)敗于“捷徑”）
神經(jīng)網(wǎng)絡(luò)與符號系統(tǒng)能夠更好地促進(jìn) AI 模型對世界知識與抽象推理等能力的融合。
基于理性主義的符號系統(tǒng)立足于邏輯和符號表征，直接將人類的推理方式編碼到機(jī)器中，它的優(yōu)勢在于抽象能力強(qiáng)大、使用較少的數(shù)據(jù)就可以達(dá)到比較好的結(jié)果。不過受限于現(xiàn)實世界知識的復(fù)雜多樣以及非結(jié)構(gòu)化，很難將這些完美無缺地編碼到機(jī)器可讀的規(guī)則中。
而基于經(jīng)驗主義的神經(jīng)網(wǎng)絡(luò)直接利用大量的數(shù)據(jù)，通過隱式（無監(jiān)督）或者顯式（監(jiān)督）地指導(dǎo)模型學(xué)習(xí)到數(shù)據(jù)有用的表征，無需設(shè)計復(fù)雜的規(guī)則，就可以達(dá)到驚異的性能。不過，神經(jīng)網(wǎng)絡(luò)也面臨著解釋性弱、數(shù)據(jù)饑餓等難題。
將二者有機(jī)地結(jié)合也是AI領(lǐng)域?qū)W者經(jīng)常思考的一個問題。有趣的是，這也可以聯(lián)想到人類歷史的觀念之爭中，理性主義和感性主義的此消彼長同樣是一個爭議性的話題。
Hochreiter教授則認(rèn)為已經(jīng)發(fā)展了一段時間的圖神經(jīng)網(wǎng)絡(luò)（GNN）是這一方向的代表。這也是來自發(fā)表在IJCAI’20上的一篇調(diào)查的意見，它將GNN歸類為類型1的神經(jīng)-符號系統(tǒng)。文章認(rèn)為二者都有如下共同之處：都在尋求神經(jīng)網(wǎng)絡(luò)輸入的豐富的向量化表示；都采用了一種樹和圖的結(jié)構(gòu)去表征數(shù)據(jù)和它們之間的關(guān)系。Hochreiter教授認(rèn)為它們在分子屬性、社交網(wǎng)絡(luò)建模、工程領(lǐng)域的預(yù)測等等強(qiáng)調(diào)動態(tài)交互和推理領(lǐng)域都有很好的表現(xiàn)。
圖注：GNN圖結(jié)構(gòu)示意圖
Hochreiter強(qiáng)調(diào)，實現(xiàn)廣義AI需要神經(jīng)-符號系統(tǒng)的結(jié)合，以達(dá)到一種雙向AI（bilateral AI）。而AI研究者也應(yīng)該朝著具有更強(qiáng)的技能習(xí)得和問題解決能力的AI系統(tǒng)努力。他還展望道，歐洲在這兩方面都有傳統(tǒng)的優(yōu)勢，因而要利用這些優(yōu)勢，積極地尋求廣義AI的解決方案。
參考資料:
Hochreiter, Sepp. "Toward a broad AI." Communications of the ACM 65.4 (2022): 56-57.
Chollet, F. On the Measure of Intelligence (2019); ArXiv:1911.01547.
Luís C. Lamb, Artur d'Avila Garcez, Marco Gori, Marcelo O.R. Prates, Pedro H.C. Avelar, and Moshe Y. Vardi. 2021. Graph neural networks meet neural-symbolic computing: a survey and perspective. In IJCAI'20. Article 679, 4877–4884.
雷峰網(wǎng)(公眾號：雷峰網(wǎng))
