<mark id="oztn4"></mark>
0
雷鋒網(wǎng) AI 科技評論按：ACL、EMNLP、NAACL - HLT、COLING 是 NLP 領域的四大頂會。前三者都由 ACL（Association of Computational Linguistics）舉辦， 其中 NAACL - HLT（Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies，一般簡稱為 NAACL）雖然名義上只是 ACL 北美分會，但在 NLP 圈里也是無可爭議的頂級會議，名稱中的 HLT 也直接宣告了對于人類語言處理技術的關注。
第 16 屆 NAACL （NAACL 2018）將于今年 6 月 1 日至 6 月 6 日在美國路易斯安那州新奧爾良市舉行，接受論文名單已經(jīng)公布，共收到長論文投稿 647 篇，其中接受 207 篇，接受率 32%；短論文投稿 425 篇，接受 125 篇，接受率 29%。會議官網(wǎng)也已經(jīng)提前揭曉了本屆會議的 4 篇杰出論文（Outstanding Papers）和 3 篇時間檢驗獎獲獎論文（Test-of-Time Award Papers）。
Deep Contextualized Word Representations
深度上下文單詞表征
摘要：本文中作者們介紹了一種新的深度上下文單詞表征，它可以建模（1）單詞用法中的復雜特性（比如句法和語義），以及（2）這些用法在不同的語言上下文中如何變化（比如為詞的多義性建模）。作者們在大文本語料庫上預訓練了一個深度雙向語言模型（biLM），然后把根據(jù)它的內部狀態(tài)學到的函數(shù)作為詞向量。作者們表明，這些學到的詞表征可以輕易地加入到現(xiàn)有的模型中，并在回答問題、文本蘊含、情感分析等 6 個不同的有難度的 NLP 問題中大幅提高最佳表現(xiàn)。作者們也進行了分析，表明顯露出預訓練模型的深度內部狀態(tài)這一做法非常重要，這使得后續(xù)的模型可以混合不同種類的半監(jiān)督信號。
Learning to Map Context-Dependent Sentences to Executable Formal Queries
學習把基于上下文的語句映射為可執(zhí)行的正式查詢
摘要：論文中作者們提出了一種基于上下文的模型，用來把一組交互對話中的語句映射為可以執(zhí)行的正式查詢語句。為了把交互過程的歷史也包含在內，模型中維持著一個交互對話級別的編碼器，它會在每輪對話結束后更新，也能夠在生成過程中拷貝之前曾經(jīng)預測過的查詢語句中的子序列。論文中的方法合并了語句之間的顯示參照和隱式參照。作者們在 ATIS 航班規(guī)劃交互上評估了模型，展現(xiàn)出了上下文建模和顯式參照的優(yōu)勢。
Neural Text Generation in Stories using Entity Representations as Context
把實體表征作為上下文的敘述文體中的神經(jīng)文本生成
地址：https://jiyfeng.github.io/publication/papers/clark2018neural.pdf
摘要：作者們介紹了一種神經(jīng)文本生成方法，它可以顯式地表示出文本中提到的實體。實體表征是向量的形式，它們可以隨著文本處理過程更新；實體表征是專門為小說或者新聞故事這樣的敘述性文本設計的。作者們的實驗表明，為實體建模的做法可以在以下兩個自動化測試中帶來好處：提及生成，即模型需要選擇下一個要提及的實體是什么，提及時又需要用哪個詞；以及在正確的下一句和來自同一個故事的更靠后的一句之間進行選擇。作者們也人工評估了在故事上下文中自動生成的文本，研究結果與作者們希望強調實體的想法相符，并為未來研究指出了方向。
Recurrent Neural Networks as Weighted Language Recognizers
把循環(huán)神經(jīng)網(wǎng)絡作為加權語言識別器的研究
摘要：論文中作者們探究了簡單的循環(huán)神經(jīng)網(wǎng)絡（RNNs）作為正式模型識別加權語言時的不同問題的計算復雜度。作者們重點關注的模型是單層、ReLU 激活函數(shù)、有理數(shù)權重、帶 softmax 的 RNN 網(wǎng)絡，這種網(wǎng)絡在自然語言處理應用中非常常見。作者們表明對于這樣的 RNN 來說，多數(shù)的問題都是不可判定的，比如一致性、等價性、最小化以及權重最高的字符串的確定性。然而，對于一致性 RNN 來說，這最后一個問題是可以判定的，雖然解決方案的長度會超出所有計算范圍。如果附加條件限定字符串為多項式長度，這個問題變?yōu)?NP-complete 以及 APX-hard。總結來說，這表明這種 RNN 的實際應用中近似和啟發(fā)性算法是必須的。
雷鋒網(wǎng) AI 科技評論注意到，實際上這是 NAACL 會議首次設立時間檢驗獎，論文選擇范圍為 2002-2012 年 ACL 的各個會議（包括 ACL, NAACL, EACL, EMNLP 和 CONLL）、workshop 以及期刊（TACL 和 CL journal）中的關于計算語言學（Computational Linguistics）的論文，意在表彰直到今天都對計算語言學領域有顯著、長期影響的論文。在 NAACL 2018 區(qū)域主席提名的 19 篇無利益沖突的論文中，最終選出了如下三篇論文， 也都確實很值得回味。
BLEU: a Method for Automatic Evaluation of Machine Translation
BLEU：一種自動化評價機器翻譯的方法
來源：ACL 2002
摘要：如果讓人類對機器翻譯的結果做評價，雖然拓展性好但較為昂貴。人類評價的過程可能需要好幾個月的時間，其中涉及的人類勞動也無法反復使用。這篇論文中提出了一種自動的機器翻譯評價方法，它快速、便宜、不依賴于語言，它的評價結果與人類的評價結果高度吻合，而且運行成本相當?shù)?。作者們提出的這種方法可以作為有經(jīng)驗的人類評價者的自動化備用方法，在有需要做快速、頻繁的評價時就可以使用它。
Discriminative Training Methods for Hidden Markov Models: Theory and Experiments with Perceptron Algorithms
隱馬爾可夫模型的判別性訓練方法：感知機算法的理論和實驗
來源：EMNLP 2002
摘要：作者提出了一種新的算法用于訓練分類模型，它可以作為最大熵模型或者條件隨機場模型（CRFs）的替代方法。這種算法依靠的是訓練樣本的 Viterbi 解碼，并且結合了簡單的加式更新。作者對感知機算法對于分類問題的收斂性的證明加以修改，據(jù)此理論證明了算法。作者在語音段分類和基礎名詞短語分塊任務上進行了實驗，所提的方法表現(xiàn)都要優(yōu)于最大熵分類器。
Thumbs up?: Sentiment Classification using Machine Learning Techniques
你說好不好？機器學習方法的情感分類
來源：EMNLP 2002
摘要：論文中研究了這樣一個問題，文檔分類的依據(jù)不再按照話題，而是按照總體感情，比如判斷一句評論是正面的還是負面的。把電影評論作為數(shù)據(jù)，作者們發(fā)現(xiàn)標準的機器學習技術明確地優(yōu)于人類設計的基準模型。然而，作者們實驗的三種機器學習方法（樸素貝葉斯，最大熵分類，SVM）在情感分類任務中的表現(xiàn)并不如在傳統(tǒng)的基于話題的分類任務中表現(xiàn)好。作者們還驗證了幾個使得情感分類比話題分類更難的因素。
via NAACL Chair's Blog，雷鋒網(wǎng) AI 科技評論編譯
