<mark id="oztn4"></mark>
0
| 本文作者： 奕欣 | 2017-11-21 16:47 | 專題：AAAI 2018 |
雷鋒網AI科技評論按：本文轉載自微信公眾號 哈工大SCIR ，雷鋒網獲授權轉載。
值得一提的是，本周五（11 月 24 日）晚上 8 點，第一作者王宇軒將在雷鋒網旗下頻道AI慕課學院（http://www.mooc.ai/）進行第 34 期的 GAIR 大講堂直播，主題為《AAAI論文解讀：基于轉移的語義依存圖分析》，掃描本文底部海報AI科技評論二維碼，添加社長微信，備注「王宇軒」即可。
論文作者：王宇軒，車萬翔，郭江，劉挺
本文介紹的工作來源于我實驗室錄用于 AAAI 2018 的論文《A Neural Transition-Based Approach for Semantic Dependency Graph Parsing》。
語義依存圖是近年來提出的對樹結構句法或語義表示的擴展，它與樹結構的主要區別是允許一些詞擁有多個父節點，從而使其成為有向無環圖（direct edacyclic graph，DAG）。（我實驗室在 SemEval-2012 上組織了世界上最早的語義依存（樹）分析技術評測，并隨后將其擴展到語義依存圖，在 SemEval-2016 上組織了相關評測。圖 1 和圖 2 分別給出同一句話的句法依存樹和語義依存圖的例子，更多有關中文語義依存圖的信息可以參考 http://mp.weixin.qq.com/s/bvm6sISUsUEhOpTOV-NxSg）
因此要獲得句子的語義依存圖，就需要對這種 DAG 進行分析。然而目前大多數工作集中于研究依存樹結構，少有人研究如何對 DAG 進行分析。
本文提出一種基于轉移的分析器，使用 list-based arc-eager 算法的變體對依存圖進行分析，并提出了兩種有效的神經網絡模塊，分別用于獲得轉移系統中緩存和子圖更好的表示。該系統在中英數據集上都取得了很好的結果，并且還能通過簡單的模型融合方法進一步提高性能。
圖 1 句法依存樹
圖 2 語義依存圖
目前依存樹分析領域兩大主流方法分別是基于轉移（Transition-based）和基于圖（Graph-based）的依存分析。基于圖的算法將依存分析建模為在有向完全圖中求解最大生成樹的問題。基于轉移的依存分析算法將句子的解碼過程建模為一個有限自動機問題（類比編譯器中的句法分析組件）。
本文中，我們選擇了基于轉移的依存分析方法。這種方法從起始轉移狀態開始，不斷地執行轉移動作從一個狀態進入另一個狀態，最終達到終結狀態，并將終結狀態對應的樹（或圖）作為分析結果。轉移狀態包括一個保存正在處理中的詞的棧（Stack），一個保存待處理詞的緩存（Buffer），和一個記錄已經生成的依存弧的存儲器。轉移動作通常包括如移進、規約并生成依存弧等。數據驅動的基于轉移依存句法分析的目標是訓練一個分類器。這個分類器對給定轉移狀態預測下一步要執行的轉移動作。
如圖 2 所示，依存圖與依存樹有兩種主要區別。
第一，依存圖中存在交叉弧。傳統轉移算法需要通過添加緩存機制來解決交叉弧的問題。Choi 等人 2013 年提出的 List-based Arc-eager 算法 [1] 就是這樣一思路的代表。List-based Arc-eager 算法在前文介紹的轉移系統基礎上，增加了一個雙向隊列（Deque）用于保存暫時跳過的詞，來生成交叉弧。
第二，依存圖中的詞可能存在多個父節點。導致傳統轉移算法無法產生依存圖的主要原因是：這些算法為了保證了最終生成的是一棵依存樹，往往規定一旦找到了一個詞的父節點，這個詞就應立即被規約。為了使我們的轉移算法能夠產生依存圖結構，我們在 Choi 等人的基礎上修改了轉移動作的執行條件，使得找到父節點的詞緩存在雙向隊列中而不被規約，這為接下來的轉移動作找到該詞的其它父節點提供了可能，從而生成語義依存圖。圖 3 給出用修改后的算法生成語義依存圖的具體流程。
圖 3 修改后的 List-based Arc-eager 算法生成語義依存圖的流程
解決了轉移系統的問題，接下來就需要選擇一個合適的分類器在每個轉移狀態下預測出下一步要執行的轉移動作。我們選擇了 Dyer 等人在 2015 年提出的 Stack-LSTM[2] 作為基礎網絡結構來學習轉移系統中的棧、雙向隊列、緩存和歷史轉移動作序列中的信息。（關于 Stack LSTM 的具體介紹可以參考 http://mp.weixin.qq.com/s/QvHTUAicgf257wQwkRn3cQ）
為了更好地獲得轉移狀態的表示，我們在上述結構的基礎上提出了 2 個有效的神經網絡模塊——Bi-LSTM Subtraction 和 Incremental Tree-LSTM，分別對轉移過程中的緩存和子圖進行建模。圖 4 給出了該模型的整體結構圖。
圖 4 依存圖分析器模型整體結構圖
Dyer 等人的模型中簡單地使用從右向左的單向 LSTM 的最后一個隱層狀態向量表示緩存中的所有信息。這種方法不但無法獲取緩存之外的詞（已被移入棧中或規約）的信息，也損失了從左向右的上下文信息。而且，我們認為只用一個隱層狀態向量是無法很好地表示整個緩存中的信息的。因此，我們將緩存看作一個段，并用段頭和段尾的表示的差來表示整個段。此外，為了獲得緩存之外詞的信息，我們首先將整個句子輸入雙向 LSTM 中，用每個詞對應的隱層狀態向量作為其表示 [3]。
圖 5 Bi-LSTM Subtraction 結構圖
例如圖 5 中計算緩存的表示時，先用「吃飯」的正向 LSTM 表示減去「太」的正向 LSTM 表示，獲得該段正向的表示，再用「太」的反向 LSTM 表示減去「吃飯」的反向 LSTM 表示，獲得該段反向的表示。二者拼接起來作為此時緩存的表示。
Dyer 等人的模型中使用基于依存的遞歸神經網絡（RecNN）來計算轉移過程中的子結構，在處理較深的子結構時，這種方法可能會遇到梯度消失問題。為了解決該問題，我們利用 Tree-LSTM[4] 對這些子結構進行建模。圖 6 顯示了我們提出的 Incremental Tree-LSTM 與基于依存的 RecNN 的區別。RecNN 通過遞歸地組合一個個父節點-子節點對來構建子圖，而 Tree-LSTM 則能同時合并一個節點及其所有子節點。
圖 6 Incremental Tree-LSTM 與基于依存的遞歸神經網絡對比
由于基于轉移的依存圖分析的特點，我們使用的 Tree-LSTM 與一般的 Tree-LSTM 有兩點不同。首先，顯然該任務中需要建模的子結構不一定是樹。但好在我們處理的依存圖不包括環，因此仍然能夠使用 LSTM。更重要的是，與一般的 Tree-LSTM 能夠同時獲得一個節點的所有子節點不同，在基于轉移的依存分析中，一個節點的子節點是逐個被找到的，因此我們需要不斷利用 Tree-LSTM 更新父節點信息。具體來說，對于一個詞，每當找到它的一個新子節點，就要將其所有已經找到的子節點和其本身的表示輸入 Tree-LSTM 中計算它的新表示。例如圖 7 中的子圖構建流程如下：
（1）用 Tree-LSTM 合并 A 和 B 的表示并將結果作為 A 的新表示；
（2）合并 B 和 C 的表示并將結果作為 B 的新表示；
（3）合并 A、D 的表示和 B 當前的表示（b+c）并將結果作為 A 的新表示。
圖 7 Incremental Tree-LSTM 中子圖的遞增式構建
我們的系統能通過一個簡單的模型融合方法進一步提高性能。具體來說，就是在訓練時使用不同隨機初始化種子訓練多個模型。在預測時，用這些模型算出的分數之和來選擇接下來的轉移動作。
我們的系統在中英文數據集上都獲得了很好的實驗結果，表 1 是 SemEval-2016 Task 9 中文數據集上的實驗結果。該數據集分為兩部分，分別是新聞集（NEWS）和小學課本集（TEXTBOOKS），前者句子較長、較復雜，后者句子較短、較簡單。該評測的評價指標中最重要的兩個分別是弧標簽的 F 值（LF）和有多父節點的詞的弧標簽的 F 值（NLF）。
表中前 5 個是其他參賽系統，2-stage (Ding et al. 2014) 是我們重新實現的 Ding 等人在 2014 年提出的一個兩步方法 [5]，先用傳統依存樹分析器生成樹結構，再用 SVM 分類器從規則產生的候選弧集合中選出一些弧加入其中從而得到依存圖結構。BS-IT 是我們的系統。實驗結果表明我們的系統在兩個數據集的各項評測指標中都明顯超過其他系統。
表 2 中列出了測試 BS 和 IT 模塊效果的實驗，結果表明二者都能為基礎系統帶來性能提升。而二者同時使用時對系統性能提升更明顯。
本文提出了一個基于轉移的語義依存圖分析方法，利用 List-based Arc-eager 算法的變體實現了有向無環圖的生成。此外，本文還提出了兩種有效的神經網絡模塊用于學習轉移系統中重要部分的表示。在中英數據集上的實驗結果證明了該方法的有效性。
[1] Choi J D, McCallum A. Transition-based Dependency Parsingwith Selectional Branching[C]. Proceedings of the 51thAnnual Meeting of the Association for Computational Linguistics. 2013: 1052-1062.
[2] Dyer C, Ballesteros M, Ling W, et al. Transition-based Dependency Parsingwith Stack Long Short-Term Memory[C]. Proceedingsof Annual Meeting on Association forComputational Linguistics. 2015: 334–343.
[3] Kiperwasser E, Goldberg Y. Simple and Accurate DependencyParsing Using Bidirectional LSTM Feature Representations [J]. Transactions ofthe Association for Computational Linguistics. 2016: 313-327.
[4] Tai K S,Socher R, Manning C D. Improved Semantic Representations from Tree-StructuredLong Short-Term Memory Networks[C]. Proceedings of the 53rd Annual Meeting ofthe Association for Computational Linguistics and the 7th International JointConference on Natural Language Processing. 2015: 1556-1566.
[5] Ding Y,Shao Y, Che W, et al. Dependency graph based Chinese semantic parsing [M]. ChineseComputational Linguistics and Natural Language Processing Based on NaturallyAnnotated Big Data. Springer, Cham, 2014: 58-69.
本周五（11月24日）晚上8點，第一作者王宇軒將在雷鋒網旗下頻道AI慕課學院（http://www.mooc.ai/）進行第34期的GAIR大講堂直播，主題為《AAAI論文解讀：基于轉移的語義依存圖分析》，掃描海報二維碼添加社長微信，備注「王宇軒」即可。
專題
