<mark id="oztn4"></mark>
0
作者 | 丁效
整理 | 維克多
在過去十年的人工智能浪潮中，以深度學習為代表的人工智能技術已基本實現了視覺、聽覺等感知智能，但依然無法很好地做到思考、推理等認知智能。
4月9日，哈爾濱工業大學計算學部副研究員丁效，在AI TIME青年科學家——AI 2000學者專場論壇上，做了《基于神經符號的認知推理方法》的報告，分享了神經網絡方法執行符號推理任務的最新進展，同時也給出了將符號知識注入神經網絡的思路以及如何將神經網絡與符號系統相融合。
以下是演講原文，AI科技評論做了不改變原意的整理。
今天和大家分享神經符號認知推理方面的研究工作。人工智能（AI）已經歷了第一代符號智能，第二代感知智能以及當前的認知智能。認知智能是一種融合的狀態，強調表示學習與復雜知識推理的有機結合是人工智能進步的階梯。
實際上，在自然語言處理（NLP）領域，預訓練模型規模以每年約10倍的速度增長， 模型的通用智能水平顯著增強。如上圖，無論是計算的復雜度、參數以及訓練時間，隨著時間的推移，都有跨越性的發展，也促使模型性能大幅度提升。
同時，預訓練語言模型還有很大的發展空間。例如詢問GPT-3：烤箱和鉛筆哪個更重？腳有幾只眼睛？等問題，它的回答的結果差強人意。根本原因是缺少對知識的推理的能力，以及對推理結果的可解釋性。
如何解決？我認為需要開發新的計算范式，即將基于感知的深度學習和基于認知的符號計算，進行融合。
傳統基于符號的表示，例如在NLP領域，對于句子的處理是分詞，文本中有1萬個詞就對應1萬維。
現在分布式的表示方法是基于神經網絡，需要學習出每個詞的向量，此向量維度不高，也不會那么稀疏，它是低維稠密的實數值向量，很容易捕獲文本的語義信息。
利用符號系統和利用上下文表示的系統有什么區別？首先對于詞匯的理解，一定離不開上下文的語義的理解。例如：小明離開星巴克和喬布斯離開蘋果公司，同樣是離開一詞，前者可能表示消費完了，離開某個商店，后者可能表示辭職。因此，兩種語義是截然不同的。
傳統的NLP任務從語料中提取特征，利用統計關系學習建模語義結構，屬于符號系統處理方法。給定若干個任務，例如共旨消解、語義角色標注、依存分析或者NER等等任務，傳統方法是手工提取一些特征，然后把特征輸入到一些統計模型當中，然后得出分類結果、預測結果。
傳統的 NLP的處理方式，提取特征可以認為是符號系統，即手工提取的特征本身就可以用來解釋最后的預測結果，這是典型的可解釋的方式。
基于神經網絡的分布式的語義表示，在處理各種NLP任務時，“省略”了特征提取步驟，有幾個特點：1. 單詞用稠密的低維向量表示；2.上下文語義表示是單詞語義表示的組合；3.表示向量與組合方式需要在大量的數據上進行訓練；4.能夠得到詞的任務特異表示。
雖然運用神經網絡能夠得到遠超以前的性能，但也有“需要大量訓練數據”、“可解釋性差”、“推理基于表面特征”等缺點。
神經方法和符號方法各有哪些優缺點？符號AI對于規則、知識，能夠可程序化，可以用編程的方式直接把規則編寫到程序當中，然后可以進行精確、嚴格的匹配、推理，得到的結果也是符合規則的，因此解釋性強。缺點是構造成本太高，覆蓋率低，穩定性也不太夠。
神經方法的優點是表示能力非常強，任務的適應性很強，無論生成任務，還是分類任務，亦或回歸任務都能“拿下”。缺點是學習最簡單的模式，距離人的智慧還有很大的距離，以及一直被詬病的黑盒、不可解釋性等等。
顯然，如果有方法將神經與符號相融合就能優勢互補。目前，有三種方法可供參考：
1.神經網絡方法執行符號推理任務，神經網絡在此過程當中可能幫助我們把詞進行泛化。
2. 符號知識注入神經網絡。進行損失函數設計，或者進行一些正則化的約束，或者進行數據增廣等操作。
3. 神經網絡與符號系統相融合。即不以符號為主，也不以神經為主，而是進行有機融合。
在NLP處理領域，如果想獲得以“類人”方式學習和思考的機器，需要在語義合成、推理、常識學習，學會學習等四個方面努力。NLP中的推理是指文本推理能夠推動另外三個任務不斷的進步。
文本推理是指給定文本形式的前提(Premise)與前提相關的某一假設(Hypothesis)，建模文本語義與文本結構，以判斷前提與假設之間的關系。具體的例子如下圖所示：
文本推理有三個典型的任務，文本蘊含、因果推理以及故事結尾預測。結合認知的文本推理，其實來源于認知科學當中的雙過程的理論。
雙過程理論是指人的思考和學習是有兩個系統：直覺系統和邏輯系統。直覺系統幫助我們進行一些直覺的無思決策，快速回答問題；邏輯系統要調用大腦當中存儲的知識進行邏輯的推理。
下面介紹實現剛才提到的三種不同認知推理任務的方法。
符號推理的任務有很多，自動定理證明、多項選擇問答、邏輯規則歸納。由于時間有限，主要介紹多項選擇問答任務。
在去年的EMNLP 2021一篇論文中，我們采用自然邏輯，幫助完成多項式選擇的問答任務。
自然邏輯是一種語義單調性的邏輯系統，它主要是定義了7種單詞之間的語義關系，包括等價、前向蘊含、反向蘊含、前向蘊含、反義、并列、覆蓋、獨立等等。然后我們要在遵循自然邏輯的前提下，在文本上進行推理，例如把句子進行增刪改操作，然后保持語義的不變性，進行替換。
例如：
給定句子：所有的動物需要水
自然邏輯：動物 ? (反向蘊含) 狗
替換操作后：所有的動物需要水 ? 所有的狗需要水
推理中的換詞對NLP中的多項選擇問答任務非常有必要。例如上圖中的任務形式：給定問題：嚙齒動物吃植物？知識庫當中有一條知識是：松鼠吃松子。
第一步需要進行單詞的替換，將嚙齒動物替換成倉鼠，然后把植物替換成果實，或者把植物可以替換成莊稼。
接下來不斷替換，把植物替換成谷物，把果實替換成堅果，把嚙齒動物替換成田鼠，經過一步一步的的替換，最終替換到了知識庫當中的某一條知識。因此，基于自然邏輯進行多項選擇問答這條路徑就是可解釋的。其實，不僅是可以替換，也可以增加詞、刪除詞、修改詞。
問題在于是基于語義詞典進行詞的替換，而語義詞典是非常有限的。再者沒有考慮上下文的語義關系。
引入神經網絡的方法，可以將詞的替換直接進行神經化。具體過程可以分為4步：
1. 利用預訓練語言模型生成候選單詞
2. 判斷原單詞和候選單詞之間的語義關系
3. 根據上下文的單調性將詞級別的語義關系映射到句子級別
4. 保留滿足恒等和反向蘊含關系的候選句
符號知識注入神經網絡的方式有很多，可以利用邏輯規則約束神經網絡的模型；可以利用基于邏輯規則進行數據增強的任務。
例如數據增強，給定三元組 B的首都是A（A,首都,B），可以擴展出A位于B。具體一些，知識庫總已經有: （北京，首都，中國），則基于該規則可以補充額外的三元組（北京，位于，中國）。
如何利用邏輯規則，約束神經模型？上圖是事件時間常識知識預測任務，其中預測為對應的時間單元：給定事件起床，推測頻率、持續時間以及典型發生時間。
這些事件的常識知識有什么用？可以把事件的常識知識注入到預訓練語言模型當中，讓模型對事件時間的常識知識能夠掌握，會讓模型在進行時間相關的推理的工作中更加高效。
存在的問題在于，從文本中無監督抽取的時間常識可能存在報告偏差（Reporting Bias）。例如常見的情況的在文本中并未顯式提及：自然文本中幾乎不會有“睡醒之后，我一般要花幾分鐘的時間起床”等類似的表達！ 在文本表達中會對非尋常現象加以強調：我每天都得花一個小時才能起床！。
如何解決？利用不同維度間的時間常識知識之間的約束關系，減緩報告誤差。對于“我是在媽媽準備早餐期間起床的”，利用事件間時序關系可以得出：起床的持續時間短于準備早餐 ；“自己在家準備早餐，十分鐘就可以搞定” 可以得出：準備早餐的持續時間大概約為10分鐘。
下表詳細總結了類似于上述所有的可能的互補關系：
此規則怎樣利用？我們設計了基于軟邏輯規則的時間的常識預測。給定輸入：我是在媽媽<e2>準備早餐</e2>期間<e1>起床</e1>的，得到原子式：<HRCHY((e1,e2),during>，然后將原子式概括成概率軟邏輯規則，如下圖。
將概率軟邏輯規則放到神經網絡模型當中，將其制作成損失函數。這一步是在交叉熵損失函數的基礎上，添加了概率軟邏輯的約束損失，使得模型在做的時間推理的過程當中，既考慮概率軟邏輯的規則，同時考慮對于語義理解之后的的推理結果。
融合神經和符號的推理系統，在進行數值運算，因果邏輯推理，一階謂詞邏輯規則等方面具有優勢。它可以利用神經網絡模塊，顯式建模符號規則。
傳統的因果推理模型多數以黑盒方式，直接從標注的因果事件對中學習因果知識。因此可能利用部分與標簽存在相關關系的統計特征做出判斷，致推理結果的不穩定，不可靠，不可解釋。
如何還原背后的因果決策機制？我們提出引入中間證據事件，還原背后的因果邏輯鏈條。這種因果邏輯鏈條提供了更強的可解釋性。在ACL 2021上，我們的工作ExCAR: 事理圖譜知識增強的因果推理框架，能夠從預先構建的事理圖譜中獲取中間證據事件。
具體而言是使用條件馬爾可夫神經邏輯網絡(CMNLN)，其中邏輯網絡具有較強的可解釋性與可靠性。神經邏輯網絡是指利用神經網絡表示規則，并賦予每個因果規則以權重(因果強度)，以應對規則集合中可能存在的噪音與統計關系的復雜性。條件馬爾可夫還能支持因果疊加效應，即對于同一規則，不同的前件可能對因果強度帶來不同的影響。基本邏輯是：證據事件→邏輯規則→因果邏輯圖。
下面從人機交互的角度，思考機器學習。當前的機器學習過程：極度依賴靜態的標注數據集。例如標簽蘊含的信息有限，這導致學習效率低下、對于復雜任務，標注尤為昂貴、數據過時導致模型無法使用。
機器向人的學習遠遠不只是說去學標注的數據，可以學習的種類非常多樣，例如點擊用戶的行為數據，以及用戶的解釋信息。實際上用戶的解釋的信息對于機器學習而言是非常重要的。
如上圖的例子，小明根據ab/b=a，推導出SinX/n=six。老師則認為這是不對的，因為Sin是整體，是三角函數。
因此，基于上述觀察，我們在ACL 2022會議論文中提出，不僅進行因果推理的任務，還需要給出相應的解釋。不只是針對某因果對解釋，可以是概念性的解釋。
例如將鐵塊加入鹽酸中，導致鐵塊被溶解。需要生成概念性的解釋酸具有腐蝕性，顯然這不只是因果對的解釋。
當前的因果推理系統仍缺乏此類常識。例如，現有的因果推理數據集只提供因果對及其標簽，缺少對因果關系原理層面的解釋。而人類能夠同時運用具體的因果知識，以及對于因果機制的深入理解以高效、可靠地推理出因果關系。因此，未來認知推理，它一定需要和腦科學進行結合。
雷峰網(公眾號：雷峰網)雷峰網
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
