ICLR2019 最佳論文公布：“有序神經元”、“彩票假設”獲獎

本文作者： skura

2019-05-06 18:21

專題：ICLR 2019

導語：入選的論文討論了自然語言處理和模型剪枝問題

雷鋒網 AI 科技評論按，今天，ICLR2019 最佳論文名單公布啦！

今年獲得最佳論文獎的論文有兩篇，它們是：

來自加拿大蒙特利爾大學、微軟蒙特利爾研究院的「Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks」
來自 MIT CSAIL 的「The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks」。

雷鋒網 AI 科技評論將這兩篇文章的摘要翻譯如下：

獲獎論文 1：Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks

ICLR2019 最佳論文公布：“有序神經元”、“彩票假設”獲獎

有序神經元：將樹結構整合到循環神經網絡中

作者：Yikang Shen, Shawn Tan, Alessandro Sordoni, Aaron Courville

摘要：自然語言是具有層次結構的：較小的單元（如短語）嵌套在較大的單元（如從句）中。當較大的部分結束時，嵌套在其中的所有較小的部分也必須關閉。雖然標準的 LSTM 架構允許不同的神經元在不同的時間尺度上跟蹤信息，但它在構建層次上沒有明顯的偏差。本文提出通過對神經元進行排序來增加這種感應偏差；主輸入向量和遺忘門的向量確保了當一個給定的神經元被更新時，在它后面的所有有序排列的神經元也被更新。我們新穎的循環結構，有序神經元 LSTM（ON-LSTM），在這四個不同的任務上取得了良好的性能：語言建模、無監督解析、有針對性的句法評估和邏輯推理。

關鍵詞：深度學習、自然語言處理、循環神經網絡、語言建模

TL；DR：我們引入了一種新的感應偏差，這種偏差將樹結構整合到循環神經網絡中。

論文地址：https://openreview.net/forum?id=B1l6qiR5F7

獲獎論文 2：The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks

ICLR2019 最佳論文公布：“有序神經元”、“彩票假設”獲獎

彩票假設：尋找稀疏可訓練的神經網絡

作者：Jonathan Frankle, Michael Carbin

摘要：神經網絡剪枝技術可以在不影響推理精度的前提下，將訓練后的網絡參數減少 90% 以上，減少存儲需求，提高推理計算性能。然而，目前的經驗是，修剪產生的稀疏架構從一開始就很難訓練，這個結構同樣會提高訓練性能。

我們發現，標準剪枝技術自然地揭示了子網絡，其初始化使它們能夠有效地訓練?；谶@些結果，我們提出了「彩票假設」：密集的、隨機初始化的前饋網絡包含子網絡（「中獎彩票」），當單獨訓練時，它可以在類似的迭代次數中達到與原始網絡相當的測試精度。我們發現的中獎彩票贏得了初始化彩票：它們的連接具有初始權重，使得訓練特別有效。

我們提出了一個識別中獎彩票的算法和一系列支持彩票假設和這些偶然初始化的重要性的實驗。我們發現，對于 MNIST 和 CIFAR10，中獎彩票的規模小于幾個完全連接和卷積前饋架構的 10-20%。超過這個尺寸，我們發現的中獎彩票比原來的網絡學習更快，能夠達到更高的測試精度。

關鍵詞：神經網絡；稀疏性；剪枝；壓縮；性能；體系結構搜索

TL；DR：可以在訓練后修剪權重的前饋神經網絡也可以在訓練前修剪相同的權重。

投稿數量逐年猛增的深度學習頂會

作為人工智能領域最年輕的會議，ICLR 的成長速度飛快。在 2013 年，ICLR 才舉辦了第一屆，以「表征學習以及在視覺、語音、音頻及 NLP 領域的作用」這一重要且熱門的課題為主旨，借著 OpenReview 評審機制以及 Yoshua Bengio 和 Yann LeCun 兩人的鼎力支持，到 2017 年舉辦第五屆時已經得到了學術研究者們的廣泛認可，被看作為「深度學習的頂級會議」。

在人工智能持續火熱的背景下，ICLR 的投稿數量也依然在迅猛增長，ICLR 2015、2016、2017 收到的投稿分別為 143 篇、超過 265 篇、490 篇，今年 ICLR 2018 繼續翻倍到了 935 篇。華盛頓大學計算機系教授 Pedro Domingos 都在推特上開玩笑說：「這已經成了深度學習界的摩爾定律了，ICLR 的投稿數目每年都要翻一倍。」

去年， ICLR 2018 共收到 935 篇論文投稿，337 篇被接受為會議論文，接受率為 36%；其中 23 篇為 oral（口頭報告論文）、314 篇為 poster（海報展示論文）；另外還有 90 篇 workshop 論文。

而今年，ICLR 2019 共收到 1591 篇論文投稿，和去年相比，在投稿數量上仍然保持了大幅度的增長。其中 oral 論文 24 篇，poster 論文 476 篇。

看來，照這個趨勢下去，明年的 ICLR 會更加熱鬧。而按照慣例，雷鋒網每年都會第一時間跟進這些頂會。今年的 ICLR 2019 我們也會持續關注，接下來將會有更多報道，敬請關注。