哈工大 AAAI 2018 錄用論文解讀：基于轉(zhuǎn)移的語(yǔ)義依存圖分析 | 分享總結(jié)

雷鋒網(wǎng)AI科技評(píng)論按：語(yǔ)義依存是中文語(yǔ)義的深層分析，完善的語(yǔ)義表示體系對(duì)語(yǔ)義依存分析有重要作用。本文介紹的工作來(lái)自哈工大 SCIR 實(shí)驗(yàn)室錄用于 AAAI 2018 的論文《A Neural Transition-Based Approach for Semantic Dependency Graph Parsing》。

在近期雷鋒網(wǎng) GAIR 大講堂舉辦的線上公開(kāi)課上，來(lái)自哈爾濱工業(yè)大學(xué)在讀博士生王宇軒分享了一篇他在 AAAI 2018 投中的論文：基于轉(zhuǎn)移的語(yǔ)義依存圖分析。

以下是王宇軒同學(xué)在線上直播課上的分享內(nèi)容，雷鋒網(wǎng)編輯做了簡(jiǎn)要回顧，完整視頻回放鏈接請(qǐng)點(diǎn)擊：http://www.mooc.ai/open/course/308

分享內(nèi)容：

同學(xué)們，大家好，今天主要分享的是用一種基于轉(zhuǎn)移的方法來(lái)進(jìn)行語(yǔ)義依存圖的分析。

首先介紹一下什么是語(yǔ)義依存分析。語(yǔ)義依存圖是近年來(lái)提出的對(duì)樹(shù)結(jié)構(gòu)句法或語(yǔ)義表示的擴(kuò)展，它與樹(shù)結(jié)構(gòu)的主要區(qū)別是允許一些詞擁有多個(gè)父節(jié)點(diǎn)，從而使其成為有向無(wú)環(huán)圖（direct edacyclic graph，DAG）。

右上圖是2012年和北京語(yǔ)言大學(xué)合作定義和標(biāo)注的語(yǔ)義依存樹(shù)，通過(guò)一些依存弧把句子中有語(yǔ)義關(guān)系的詞連接起來(lái)。它是樹(shù)結(jié)構(gòu)，所以成為語(yǔ)義依存樹(shù)。右下角是語(yǔ)義依存圖結(jié)構(gòu)，因?yàn)樵谝来鏄?shù)里面，有一些詞之間的關(guān)系受限于樹(shù)結(jié)構(gòu)，不能很好刻畫，所以就引入了依存圖概念。

語(yǔ)義依存圖與傳統(tǒng)樹(shù)結(jié)構(gòu)的區(qū)別

左上第一個(gè)是句法依存樹(shù)，中間為語(yǔ)義依存樹(shù)，最下面是語(yǔ)義依存圖。圖結(jié)構(gòu)與原來(lái)傳統(tǒng)的樹(shù)結(jié)構(gòu)表示最大的不同就是存在有多個(gè)父節(jié)點(diǎn)，比如圖中的“我們”存在兩個(gè)父節(jié)點(diǎn)。

上圖左邊三個(gè)結(jié)構(gòu)是另一種語(yǔ)義依存圖結(jié)構(gòu)。它們是在英文語(yǔ)料上進(jìn)行標(biāo)注，并且有三種標(biāo)注規(guī)范，分別是DM、PAS、PSD。由此可以看出在同一個(gè)句子中，由于標(biāo)注規(guī)范不同，圖結(jié)構(gòu)也是不同的。這是依存圖的第二個(gè)特點(diǎn)，具有多種標(biāo)注規(guī)范。第三個(gè)特點(diǎn)事具有非投射性，弧之間有交叉。

語(yǔ)義依存圖實(shí)際上就是有向無(wú)環(huán)圖， 這篇論文的目的就是提出一個(gè)能適應(yīng)多種標(biāo)注規(guī)范的有向無(wú)環(huán)圖的一個(gè)分析器。

我們采用的是基于轉(zhuǎn)移的語(yǔ)義依存分析方法。該方法主要分為兩部分結(jié)構(gòu)，一是預(yù)測(cè)，二是執(zhí)行。預(yù)測(cè)部分是由一個(gè)分類器實(shí)現(xiàn)。執(zhí)行部分需要一個(gè)轉(zhuǎn)移算法 ，包括一些預(yù)定義的轉(zhuǎn)移動(dòng)作等。

關(guān)于轉(zhuǎn)移系統(tǒng)

首先有個(gè)緩存（buffer），用來(lái)保存將要處理的詞。接下來(lái)是一個(gè)棧（stack），保存正在處理的詞。還需要有一個(gè)存儲(chǔ)器（memory），用來(lái)記錄已經(jīng)生成的弧。最后是一個(gè)deque， 暫時(shí)跳過(guò)一些詞。轉(zhuǎn)移狀態(tài)包括一個(gè)保存正在處理中的詞的棧（Stack），一個(gè)保存待處理詞的緩存（Buffer），和一個(gè)記錄已經(jīng)生成的依存弧的存儲(chǔ)器。

用來(lái)處理傳統(tǒng)依存樹(shù)結(jié)構(gòu)的轉(zhuǎn)移系統(tǒng)，以Choi等人在2013年提出的轉(zhuǎn)移系統(tǒng)為例。

生成圖中標(biāo)紅的弧線，首先要通過(guò)一個(gè)LEFT-REDUCE轉(zhuǎn)移動(dòng)作，LEFT是生成一條由緩存頂?shù)脑~指向棧頂詞的一條弧，REDUCE，是指生成弧之后，將棧頂詞消除掉。

如何生成圖中黃色的弧，首先執(zhí)行一個(gè)LEFT-PASS轉(zhuǎn)移動(dòng)作，暫時(shí)不把“他”消除，經(jīng)過(guò)一系列轉(zhuǎn)移動(dòng)作，再執(zhí)行LEFT-REDUCE交互， 消除“他”。

接下來(lái)是用一個(gè)具體例子介紹整個(gè)轉(zhuǎn)移系統(tǒng)，包括更多的轉(zhuǎn)移動(dòng)作，具體可觀看視頻回放。

基于轉(zhuǎn)移的語(yǔ)義依存分析方法中的分類器

圖中的分類器存在一些問(wèn)題，緩存會(huì)損失一些信息，因?yàn)榫彺嬷荒芡ㄟ^(guò)單向LSTM學(xué)到正在緩存中的詞的表示，另外由于它是一個(gè)從右到左的單向LSTM，因此它會(huì)損失從左到右這部分信息。

為了解決這個(gè)問(wèn)題，我們提出了Bi-LSTM模塊。

我們提出的Incremental Tree-LSTM和傳統(tǒng)的Dependency-Based Recursive NN效果對(duì)比

關(guān)于Incremental Tree-LSTM

圖中大寫ABCD代表四個(gè)詞，下面的小寫可以認(rèn)為它的向量化表示。

首相生成一個(gè)A指向B的弧，把A和B的子向量同時(shí)放到一個(gè)LSTM單元里面，組合起來(lái)用a+b表示，放在A下面，以此類推，每次找到新的子節(jié)點(diǎn)都會(huì)把原來(lái)已找到的子節(jié)點(diǎn)拿來(lái)一起輸入，就不會(huì)損失C的信息。

上面提出的兩個(gè)模塊兒替換原來(lái)轉(zhuǎn)移系統(tǒng)后的效果圖

實(shí)驗(yàn)結(jié)果

簡(jiǎn)單介紹一下得到的實(shí)驗(yàn)結(jié)果，首先是在一個(gè)中文語(yǔ)義依存圖的數(shù)據(jù)集SemEval 2016 Task9進(jìn)行實(shí)驗(yàn)，其中最重要的兩個(gè)評(píng)測(cè)指標(biāo)LF和NLF。圖中BS是增加了第一種模塊后的性能，IT是增加第二個(gè)模塊兒后的性能，BS-ST是兩個(gè)模塊同時(shí)使用后整個(gè)模型的性能。

我們的模型和其他模型的性能對(duì)比

接下來(lái)是在SemEval 2015 Task 18上的英語(yǔ)數(shù)據(jù)集上的實(shí)驗(yàn)。這個(gè)數(shù)據(jù)的測(cè)試集包括兩部分，紫色（in-domain）是指和訓(xùn)練數(shù)據(jù)來(lái)自同領(lǐng)域的數(shù)據(jù)，綠色（out-of-domain）是指和訓(xùn)練數(shù)據(jù)來(lái)自不同領(lǐng)域的數(shù)據(jù)，所以性能表現(xiàn)也不一樣。

值得一提的是，我們的模型可以通過(guò)模型融合的方法，在訓(xùn)練過(guò)程中用不同的隨機(jī)化種子，訓(xùn)練多個(gè)模型， 在預(yù)測(cè)的時(shí)候，用多個(gè)模型分別進(jìn)行預(yù)測(cè)，得到多個(gè)當(dāng)前狀態(tài)下要執(zhí)行的轉(zhuǎn)移動(dòng)作的概率分布，把多個(gè)概率分布對(duì)應(yīng)的疊加起來(lái)，作為接下來(lái)判定的標(biāo)準(zhǔn)，這樣的簡(jiǎn)單模型融合對(duì)模型性能有較大的提升效果。

最后給大家安利一個(gè)我們實(shí)驗(yàn)室的中文語(yǔ)言處理工具包，包括最底層的分詞，詞性標(biāo)注，一直到上層的句法分時(shí)，語(yǔ)義分析都能夠提供?？梢韵螺d到本地直接使用，也可以通過(guò)接口在線接入。

以上就是全部的分享內(nèi)容。

雷鋒網(wǎng)更多公開(kāi)課直播預(yù)告敬請(qǐng)關(guān)注公眾號(hào)「AI 研習(xí)社」。如果錯(cuò)過(guò)了直播課程，還可到AI慕課學(xué)院查找該期的視頻回放。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。