EMNLP 2018 | 騰訊AI Lab解讀16篇入選論文

EMNLP 是自然語言處理領域的頂級會議，它的全稱是 Conference on Empirical Methods in Natural Language Processing（自然語言處理中的經(jīng)驗方法會議），由國際語言學會（ACL）的 SIGDAT 小組主辦，今年 10 月 31 日-11 月 4 日將在比利時布魯塞爾舉行。

今年是騰訊 AI Lab 第 2 次參加 EMNLP，共有 16 篇文章入選，涵蓋語言理解、語言生成、機器翻譯等多個研究主題。以下為摘要解讀。

此外，在今年的多個頂級學術(shù)會議中，騰訊 AI Lab 也入選多篇論文，位居國內(nèi)企業(yè)前列，包括機器學習領域頂會 NIPS（20 篇）和 ICML（16 篇）、計算機視覺領域頂會 CVPR（21 篇）和 ECCV（19 篇），以及語音領域頂會 Interspeech（8 篇）等。

1. QuaSE: 量化指導下的序列編輯

QuaSE: Sequence Editing under Quantifiable Guidance

論文地址：https://arxiv.org/abs/1804.07007

本文由騰訊 AI Lab 主導，與香港中文大學合作完成。本文提出了量化指導下的序列編輯（QuaSE）的任務：編輯輸入序列以生成滿足用于定量序列某種特定屬性的數(shù)值的輸出序列，同時保持輸入序列的主要內(nèi)容。例如，輸入序列可以是字的序列，例如評論句子和廣告文本。對于評論句子，數(shù)值可以是打分; 對于廣告，數(shù)值可以是點擊率。QuaSE 的一個主要挑戰(zhàn)是如何感知與數(shù)值相關(guān)的措辭，并僅編輯它們以改變結(jié)果。在本文中，所提出的框架包含兩個潛在因子，即結(jié)果因子和內(nèi)容因子，為輸入句子提供方便的編輯以改變數(shù)值結(jié)果并保留內(nèi)容。本文的框架通過對其內(nèi)容相似性和結(jié)果差異進行建模來探索利用偽平行句對，以便更好地解耦潛在因子，從而允許生成更好地滿足期望數(shù)值結(jié)果并保持內(nèi)容的輸出。對偶重構(gòu)結(jié)構(gòu)通過利用偽平行句對的潛在因子的耦合關(guān)系，進一步增強了生成滿足預期的輸出的能力。為了評估，研究人員準備了 Yelp 評論句子的數(shù)據(jù)集，用打分作為數(shù)值結(jié)果。本文報告和深入討論了實驗結(jié)果，以闡述框架的特點。

2. 利用深層表示進行神經(jīng)機器翻譯

Exploiting Deep Representations for Neural Machine Translation

本文由騰訊 AI Lab 主導，與南京大學合作完成。神經(jīng)機器翻譯系統(tǒng)通常由多層編碼器和解碼器構(gòu)成，這允許系統(tǒng)對于復雜函數(shù)進行建模并捕獲復雜的語言結(jié)構(gòu)。然而，通常情況下，翻譯過程僅利用了編碼器和解碼器的頂層，這錯過了利用在其他層中的有用信息的機會。在這項工作中，研究人員提出用層聚合和多層注意機制的方法同時暴露和傳輸所有這些信號。此外，本文引入輔助的正則化以鼓勵不同的層捕獲不同的信息。研究人員在廣泛使用的 WMT14 英語到德語和 WMT17 中文到英語翻譯數(shù)據(jù)進行實驗，實驗結(jié)果證明了方法的有效性和普遍性。

3. 自注意力神經(jīng)網(wǎng)絡模型的局部性建模

Modeling Localness for Self-Attention Networks

本文由騰訊 AI Lab 主導，與澳門大學合作完成。自注意力模型可以直接注意所有輸入元素，在很多任務中被證明具有捕獲全局依賴的能力。然而，這種依賴信息的捕獲是通過加權(quán)求和操作完成的，這可能會導致其忽視相鄰元素間的關(guān)系。本文為自注意力網(wǎng)絡建立局部性模型，以增強其學習局部上下文的能力。具體而言，我們將局部模型設計為一種可學習的高斯偏差，這種高斯偏差表示了所強化的局部范圍。隨后，所得到的高斯偏差被用于修正原始注意力分布以得到局部強化的權(quán)重分布。此外，我們發(fā)現(xiàn)在多層自注意網(wǎng)絡中，較低層趨向于關(guān)注于尺寸較小的局部范圍，而較高層則更注重全局信息的捕獲。因此，為了保持原模型捕獲長距離依賴能力的同時強化其對局部信息的建模, 本文僅將局部性建模應用于較低層的自注意力網(wǎng)絡中。在漢英和英德翻譯任務的定量和定性分析證明了所提出方法的有效性和適用性。

4. 用于短文本分類的主題記憶網(wǎng)絡

Topic Memory Networks for Short Text Classification

本文由騰訊 AI Lab 主導，與香港中文大學合作完成。許多分類模型在短文本分類上性能欠佳，其主要原因是短文本所產(chǎn)生的數(shù)據(jù)稀疏性問題。為了解決這一問題，本文提出了一種新穎的主題記憶機制用于編碼那些對分類有用的主題表示，以提升短文本分類的性能。前人的工作主要專注于用額外的知識擴充文本特征或者利用已經(jīng)訓練好的主題模型，不同于過去的工作，本文的模型能夠在記憶網(wǎng)絡框架下通過端到端的方式同時學習主題表示和文本分類。四個基準數(shù)據(jù)集上的實驗結(jié)果證明了本文的模型不僅在短文本分類上的性能超過了之前最先進的模型，同時也能夠產(chǎn)生有意義的主題。

5. 一種用于自動構(gòu)造中文錯字檢查語料的混合方法

A Hybrid Approach to Automatic Corpus Generation for Chinese Spelling Check

本文由騰訊 AI Lab 主導，與清華大學和騰訊 SNG 合作完成。中文錯字的自動檢查是一個富有挑戰(zhàn)又十分有意義的任務，該任務不僅用于許多自然語言處理應用的預處理階段，而且可以極大促進人們的日常讀寫。數(shù)據(jù)驅(qū)動的方法在中文錯字檢查十分有效，然而卻面臨著標注數(shù)據(jù)缺乏的挑戰(zhàn)。這個工作提出了一種自動構(gòu)造用于拼寫檢查數(shù)據(jù)集的方法，分別通過基于 OCR 和 SR 的方法構(gòu)造視覺上和聽覺上相似的字來模擬錯字。利用本文提出的方法，研究人員構(gòu)造了一個大規(guī)模的數(shù)據(jù)集用于訓練不同的錯字自動檢查模型，在三個標準的測試集上的實驗結(jié)果證明了本文自動構(gòu)造數(shù)據(jù)集方法的合理性和有效性。

6. 基于對抗條件變分自編碼器的中文詩歌生成

Generating Classical Chinese Poems via Conditional Variational Autoencoder and Adversarial Training

本文為騰訊犀牛鳥合作項目，與北京大學合作完成。計算機自動創(chuàng)作表達流暢、文字優(yōu)美的詩歌是一個難題。雖然之前的相關(guān)研究已經(jīng)取得了引人注目的成果，自動生成的詩歌依然和詩人創(chuàng)作的有很大差距，尤其是主旨一致性和用詞的新穎性。在本文中，研究人員提出結(jié)合條件變分自編碼器和對抗訓練的策略來生成詩歌。實驗結(jié)果表明，不管是自動指標還是人工測評，本文的模型都有顯著的提高。

7. 面向摘要生成的交互文檔表表征學習及潤色

Iterative Document Representation Learning Towards Summarization with Polishing

本文為騰訊犀牛鳥合作項目，與北京大學合作完成。通過觀察人類生成摘要時對文檔閱讀及理解多遍的事實，文本提出了基于交互式文本摘要技術(shù)的抽取式摘要生成模型。考慮到當前摘要生成技術(shù)局限于對待生成摘要文本只處理一遍，多數(shù)文本表達無法得到全局最優(yōu)的結(jié)果。針對這種情況，本文提出的方法能夠持續(xù)選擇，更新相應文本及優(yōu)化相應的文本表征。在 CNN/DailyMail 和 DUC2002 數(shù)據(jù)及上的實驗結(jié)果證明，本文提出的方法在自動及人工評測方面均超越了以往最好的模型。

8. 面向回復生成的變分自回歸解碼器

Variational Autoregressive Decoder for Neural Response Generation

本文由騰訊 AI Lab 參與，與哈爾濱工業(yè)大學合作完成。由于結(jié)合了概率圖模型與神經(jīng)網(wǎng)絡的優(yōu)點，條件變分自編碼機（Conditional Variational Auto-encoder (CVAE)）在諸多自然語言處理應用例如開放域?qū)υ捇貜蜕希憩F(xiàn)出了優(yōu)秀的性能。然而，傳統(tǒng) CVAE 模型通常從單一的潛在變量中生成對話回復，這一模型很難對回復中的多樣性進行準確建模。為了解決這一問題，本文提出了一種將序列化的潛在變量引入對話生成過程中的模型。在此模型中，研究人員使用一個后向循環(huán)神經(jīng)網(wǎng)絡（Recurrent Neural Network，RNN）擴展近似后驗概率分布，其中后向循環(huán)神經(jīng)網(wǎng)絡使得本文的模型能更好捕捉文本生成過程中的長距離依賴問題。為了更好訓練本文提出模型，研究人員在訓練過程中加入了預測后續(xù)文本詞袋（bag-of-words）的輔助目標。在 OpenSubtitle 和 Reddit 對話生成數(shù)據(jù)集的實驗上表明本文提出的模型可以顯著提升生成回復的相關(guān)性與多樣性。

9. 具有差異性約束的多頭注意力機制

Multi-Head Attention with Disagreement Regularization

本文由騰訊 AI Lab 主導，與香港中文大學和澳門大學合作完成。多頭注意力機制因其能在不同子空間學習不同表征的能力受到研究者歡迎。在這個工作中，本文引入一種差異性約束來顯式地鼓勵多個注意力頭的多樣性。具體地，本文提出了 3 種差異性約束，分別鼓勵每個注意力頭在輸入子空間、注意力對齊矩陣、輸出表示上跟其他的注意力頭不一樣。研究人員在廣泛使用的 WMT14 英語到德語和 WMT17 中文到英語翻譯數(shù)據(jù)進行實驗，實驗結(jié)果證明了方法的有效性和普遍性。

10. 一種基于共享重構(gòu)機制的缺略代詞還原與神經(jīng)網(wǎng)絡機器翻譯聯(lián)合學習方法

Learning to Jointly Translate and Predict Dropped Pronouns with a Shared Reconstruction Mechanism

論文地址: https://arxiv.org/abs/1810.06195

本文由騰訊 AI Lab 主導，與都柏林城市大學合作完成。在代詞缺略語言（如，漢語）中，代詞常常會被省略，但是這給機器翻譯結(jié)果的完整性帶來了極大挑戰(zhàn)。最近 Wang et al. (2018) (Translating Pro-Drop Languages with Reconstruction Models) 的工作提出了利用重構(gòu)機制來緩解神經(jīng)網(wǎng)絡機器翻譯中的缺略代詞問題。本文從兩個方面進一步加強了原有的重構(gòu)模型。首先，本文提出了共享式重構(gòu)器來充分利用編碼器和解碼器端的表示。第二，為了避免額外的缺略代詞標注系統(tǒng)的錯誤傳遞，本文利用聯(lián)合學習方法提出了缺略代詞預測和翻譯的端到端模型。

11. 一種減少神經(jīng)網(wǎng)絡對話模型生成通用回復的統(tǒng)計重加權(quán)方法

Towards Less Generic Responses in Neural Conversation Models: A Statistical Re-weighting Method

本文由騰訊 AI Lab 主導，與蘇州大學和武漢大學合作完成。序列到序列（Seq2Seq）的神經(jīng)網(wǎng)絡生成模型已經(jīng)在短文的對話生成任務中取得了不錯表現(xiàn)。但是，這些生成模型往往容易生成通用、乏味的回復，非常影響對話的體驗。研究人員觀察到在對話任務中，每個輸入語句都有可能對應著多個合理回復，即表現(xiàn)為 1 對 n（或者以整個語料集的角度看是 m 對 n）的形式。這種情形下，使用標準的 Seq2Seq 的目標函數(shù)，模型參數(shù)容易通過損失代價被通用（高頻）的句子樣式主導。受此啟發(fā)，本文提出一種基于統(tǒng)計重加權(quán)的方法賦予輸入語句對應的多個可接受回復不同的權(quán)值，并使用經(jīng)典的神經(jīng)網(wǎng)絡生成模型進行訓練。在一份大型的中文對話語料集上的實驗結(jié)果表明，本文提出的方法在提高模型生成回復的接受率的同時，明顯地減少了通用回復的數(shù)量。

12. 將數(shù)學問題翻譯為表達式樹

Translating a MathWord Problem to a Expression Tree

本文由騰訊 AI Lab 主導，與電子科技大學和香港中文大學合作完成。序列到序列模型已經(jīng)成功的在自動解數(shù)學題方向取得了較大成功。然而，這種方法雖然十分的簡單有效，卻仍然存在一個缺點： 一個數(shù)學問題可以被多個方程正確的解出。這種非確定性的映射關(guān)系損害了最大似然估計的性能。本文利用表達式樹的唯一性提出了一種公式歸一化的方法。此外，本文還分析了三種目前最流行的序列到序列模型在自動解數(shù)學題任務上的性能。研究人員發(fā)現(xiàn)每個模型都有自己的優(yōu)點和缺點，因此本文進一步提出了一個集成模型來結(jié)合他們的優(yōu)點。在數(shù)據(jù)集 Math23K 上的實表明使用公式歸一化的的集成模型明顯優(yōu)于以往最先進的方法。

13. 循環(huán)神經(jīng)網(wǎng)絡語言模型下 n-gram 的邊際概率估計

Estimating Marginal Probabilities of n-grams for Recurrent Neural Language Models

本文為騰訊 AI Lab 犀牛鳥 Gift Fund 項目，與美國西北大學合作完成。循環(huán)神經(jīng)網(wǎng)絡語言模型（RNNLMs）是當前統(tǒng)計語言建模的主流方法。然而，RNNLMs 只能對完整的文本序列進行概率計算。在一些實際應用當中，往往需要計算上下文無關(guān)的（context-independent）短語的概率。本文中，研究人員探索了如何計算 RNNLMs 的邊際概率：在前文（preceding context）缺失的情況下，模型如何計算一個短文本的概率。本文提出了一種改變 RNNLM 訓練的方法，使得模型能夠更加精確地計算邊際概率。實驗結(jié)果表明，本文的技術(shù)優(yōu)于基線系統(tǒng)，如傳統(tǒng)的 RNNLM 以及重要度采樣法。本文還給出了如何利用邊際概率改善 RNNLM 的方法，即在訓練中使邊際概率接近于一個大數(shù)據(jù)集中 n-gram 的概率。

14. 基于混合注意力機制的在線論辯贊成/反對關(guān)系識別

Hybrid Neural Attention for Agreement/Disagreement Inference in Online Debates

本文由騰訊 AI Lab 參與，與哈爾濱工業(yè)大學合作完成。推斷辯論尤其是在線辯論文本間的贊成/反對關(guān)系是論辯挖掘的基本任務之一。贊成/反對的表達通常依賴于文本中的議論性表達以及辯論參與者之間的互動，而以往的工作通常缺乏聯(lián)合建模這兩個因素的能力。為了解決這一問題，本文提出了一種基于神經(jīng)網(wǎng)絡的混合注意力機制，其結(jié)合了自我注意力機制以及交叉注意力機制，分別通過上下文語境和用戶間的交互信息來定位文本中的重要部分。在三個在線辯論數(shù)據(jù)集上的實驗結(jié)果表明，本文提出的模型優(yōu)于現(xiàn)有的最優(yōu)模型。

15. XL-NBT: 一種跨語言神經(jīng)網(wǎng)絡置信跟蹤框架

XL-NBT: A Cross-Lingual Neural Belief Tracking Framework

論文地址：https://arxiv.org/pdf/1808.06244.pdf

本文為騰訊 AI Lab 犀牛鳥 Gift Fund 項目，與美國俄亥俄州立大學和加州大學圣塔芭芭拉分校合作完成。實現(xiàn)跨語種對話系統(tǒng)在實際應用（如自動客服）中具有重要的實際意義。現(xiàn)有方法實現(xiàn)多語種支持通常需要對每一個語言單獨標注。為了避免大量的標注成本，作為實現(xiàn)多語種通用對話系統(tǒng)這一終極目標的第一步，本文研究一個完全不需要新語種標注的跨語種的神經(jīng)網(wǎng)絡置信跟蹤框架。具體來講，本文假設源語言（例如英語）存在一個已經(jīng)訓練好的置信跟蹤器，而目標語言（如德語或者意大利語）不存在相應的用于訓練跟蹤器的標注數(shù)據(jù)。本文采用源語言的跟蹤器作為教師網(wǎng)絡，而目標語言的跟蹤器作為學生網(wǎng)絡，同時對置信跟蹤器進行結(jié)構(gòu)解耦并借助外部的一些平行語料來幫助實現(xiàn)遷移學習。本文具體討論了兩種不同類型的平行語料，得到兩種不同類型 的遷移學習策略。實驗中研究人員用英語作為源語言，用德語和意大利語分別作為目標語言，實驗結(jié)果驗證了本文提出方法的有效性。

16. 自然語言視頻時域定位

Temporally Grounding Natural Sentence in Video

本文由騰訊 AI Lab 主導，與新加坡國立大學合作完成。本文介紹一種有效且高效的方法，可以在長的未修剪的視頻序列中定位自然語句表達的相應的視頻內(nèi)容。具體而言，本文提出了一種新穎的 Temporal GroundNet（TGN），用于捕獲視頻和句子之間不斷演變的細粒度視頻幀與單詞之間的交互信息。TGN 基于所挖掘的視頻幀與單詞之間的交互信息地對每幀的一組候選者進行評分，并最終定位對應于該句子的視頻片段。與以滑動窗口方式分別處理重疊段的傳統(tǒng)方法不同，TGN 考慮了歷史信息并在單次處理視頻后生成最終的定位結(jié)果。研究人員在三個公共數(shù)據(jù)集上廣泛評估本文提出的 TGN。實驗證明 TGN 顯著的提高了現(xiàn)有技術(shù)的性能。本文通過相應對比試驗和速度測試進一步顯示 TGN 的有效性和高效率。