慘遭 ICLR 拒絕的十大好論文：LeCun榜上有名，Yoshua連中兩槍 | ICLR 2017

第五屆 ICLR 會議于當地時間 2017 年 4 月 24-26 日在法國土倫舉行，到目前會議已結束一天，研究者 Carlos E. Perez 在自己的博客上發布了一篇文章，細數了他認為不應該被拒的十篇好論文。雷鋒網對本文做了不改動原意的編譯，未經許可不得轉載。

第一篇：聯合多任務模型：為多個自然語言處理任務增加一個神經網絡（A Joint Many-Task Model: Growing a Neural Network for Multiple NLP Tasks）

作者：Kazuma Hashimoto, Caiming Xiong, Yoshimasa Tsuruoka, Richard Socher

論文鏈接：https://openreview.net/forum?id=SJZAb5cel

原因：這篇是其中最新穎的論文之一，展示了如何逐步增長神經網絡。這篇論文之所以重要的原因是它展示了一個網絡是如何通過使用轉移學習和域名適應來成長的。目前還沒有很多論文探討這方面。

第二篇：分層存儲網絡（Hierartical Memory Networks）

作者：Sarath Chandar, Sungjin Ahn, Hugo Larochelle, Pascal Vincent, Gerald Tesauro, Yoshua Bengio

論文鏈接：https://openreview.net/forum?id=BJ0Ee8cxx

原因：這是另一篇關于自然語言處理的論文，令人驚訝的是被拒原因是因為作者都是明星研究者。這是大會上的第一篇探討了內存層次結構的概念的論文，而目前大多數內存增強網絡趨向于沒有層次的內存結構。我認為，這篇論文不應該被這樣輕易地錯失掉。

第三篇：增強學習：通過慢速增強學習的快速增強學習（RL：Fast Reinforcement Learning via Slow Reinforcement Learning）

作者：Yan Duan, John Schulman, Xi Chen, Peter L. Bartlett, Ilya Sutskever, Pieter Abbeel.

論文鏈接：https://openreview.net/forum?id=HkLXCE9lx

原因：這是一篇突破性研究論文，而評論者卻不確信這是一個突破性研究。我想沒有給評論者留下深刻印象估計和RL命名習慣有關。關于元學習的任何東西都應該賣的很火。但這篇論文，盡管有優秀的作者，卻還是被猛烈抨擊，真是想不到。

第四篇：解密殘差網絡結構（Demystifying ResNet）

作者：Sihan Li, Jiantao Jiao, Yanjun Han, Tsachy Weissman

論文鏈接：https://openreview.net/forum?id=SJAr0QFxe

原因：我喜歡這篇論文是因為它在關于如何利用殘差或跳過（skip）鏈接給了一些深刻見解的經驗法則。是2016年度最火的創新，并且一些人在解構技術上做了一些嘗試。其中一個控訴說在文中使用了簡化模型。這個控訴當然是荒謬的。你難道不想用一個簡化模型去描述另一個復雜系統嗎？

第五篇：神經語言知識模型（A Neural Knowledge language Model）

作者：Sungjin Ahn, Heeyoul Choi, Tanel Parnamaa, Yoshua Bengio

論文鏈接：https://openreview.net/forum?id=BJwFrvOeg

原因：這是另一篇被拒的關于自然語言處理的論文。融合了知識庫和深度學習應該算是一個非常大的創新。但這篇論文被駁回卻是因為缺乏新穎性。最主要的不滿竟然是寫作風格。真是太不幸了！

第六篇：知識適應：教會適應（Knowledge Adaptation: Teaching to Adapt）

作者：Sebastian Ruder, Parsa Ghaffari, John G. Breslin

論文鏈接：https://openreview.net/forum?id=rJRhzzKxl

原因：我是第二遍看被拒論文名單才注意到這篇論文。我在這方面有點偏執，總是尋找領域適應和轉移學習這方面的研究。這篇論文有非常好的想法，但還是被拒。

第七篇：張量混合模型（Tensorial Mixrure Models）

作者：Or Sharir, Ronen Tamari, Nadav Cohen, Amnon Shashua

論文鏈接：https://openreview.net/forum?id=BJluGHcee

原因：我是這篇論文的忠誠粉絲，看到了全息模型，不幸的是，評論家們對此持高懷疑態度，最終沒能通過。

第八篇：深度神經網絡的表現力研究。（On the Expressive Power of Deep Nural Networks）

作者：Maithra Raghu, Ben Poole, Jon Kleinberg, Surya Ganguli, Jascha Sohl-Dickstein

論文鏈接：https://openreview.net/forum?id=B1TTpYKgx

原因：基礎理論研究和實驗性論文是有利于深度學習研究的點金術。如果它們被扔到一邊，恐怕研究就要搞砸了。

第九篇：深度學習的 Hessian 特征值：奇點與超越（Eigenvalues of the Hessian in Deep Learning: Singularity and Beyond）

作者：Levent Sagun, Leon Bottou, Yann LeCun

論文鏈接：https://openreview.net/forum?id=B186cP9gx

原因：這是故意向這些有名的作者臉上扔雞蛋嗎？我猜是基本實驗數據不夠吸引人才導致不通過。評語寫的是：很有趣的實驗數據，但是沒有理論基礎。說它完全是不切實際的期望。

第十篇：一個深度網絡損失表面的實證分析（An Empirical Analysis of Deep Network Loss Surfaces）

作者：Daniel Jiwoong Im, Michael Tao, Kristin Branson

論文鏈接：https://openreview.net/forum?id=rkuDV6iex

原因：在我的另一篇文章中，我談到了關于隨機梯度下降作為一種隱式的正則化方法的另一個證據。遺憾的是我只放了一個本文的超鏈接。但真正令我驚訝的是，這些挖掘出了令人印象非常深刻的數據的研究者們卻什么也沒有得到，只有論文被拒的羞辱。

作者在文中最后表達出了他的看法和擔心。他認為對研究深度學習的性質的實驗研究實在是太少了。研究者們通常使用簡化模型來執行易處理的分析。不過，如果只期望實驗結果足夠有價值，能給出一個機器是如何表現的描述，而不期望獲得一個強大的理論成果，那也不行。在沒有這類研究的情況下，我們大多數是在黑暗中摸索前進。同時擔心目前的研究環境對深度學習研究者很不利。因為這個領域發展的太快，而很多評論者的世界觀還沒有和最新研究成果聯系起來，導致很多具有突破性的研究論文被埋沒。

雷鋒網小結：不知大家看到這么多優秀論文被拒是什么心情，至少雷鋒網編輯覺得是相當痛心。不過，身經百戰的科研人員在無數次的拒絕中想必已經練就了強大的心理素質，再戰下一次會議又有何難？