LipNet與ICLR評委互懟始末：名氣大又怎樣，還不是被拒絕了

ICLR 2017 4 月份馬上就要召開，OpenReview 的結果也陸續出來。既然是一項學術會議，自然就涉及到論文的錄取與評審。其中，一篇早在去年就火遍各大媒體的論文遭到了拒絕，并引發了一場公開辯駁（撕逼）。其中緣由到底是怎樣？一起和雷鋒網 AI 科技評論一起來看看吧。

不知看官是否還記得 大明湖畔的夏雨荷 去年 11 月的一篇論文——《LipNet: End-to-End Sentence-level Lipreading》，由牛津大學人工智能實驗室、谷歌 DeepMind 和加拿大高等研究院 (CIFAR) 聯合發布，當時雷鋒網 AI 科技評論也做過相關報道。此文一出，很快便引來了眾多的關注，第一及第二作者 Yannis Assael 和 Breandan Shilingford 也是采訪不斷。

這篇論文介紹了利用機器學習實現語句層面的自動唇讀技術 LipNet，它采用了一種能夠將可變長度的視頻序列映射為文本的模型，采用了時空卷積、LSTM 及CTC loss，并完全是以端到端的方式訓練的。結論顯示，在 GRID 語料庫上，LipNet 實現了 93.4% 的準確度，超過了經驗豐富的人類唇讀者和之前的 79.6% 的最佳準確度。而且，這一轉換文本的速度幾乎是實時的。

論文火到什么程度呢？Nvidia CEO 黃仁勛在 CES 2017 上提及了他們與牛津大學的 LipNet 團隊有合作，研發讀唇深度學習網絡模型的應用，并表示這一成果將應用于 Nvidia 的協同駕駛技術上。

而它為何突然躥紅，經雷鋒網 AI 科技評論與三位相關專業的研究生求證討論后，嘗試總結了如下三點原因：

• 1. 大 IP 的渲染。牛津大學人工智能實驗室、谷歌 DeepMind 和 CIFAR 三家機構強強聯手，大家心中的預期會提升不少，也會覺得這應該是一項非常有意義的發現。

• 2. 技術層面的提升。傳統的唇讀技術是根據視覺特征及預測來實現的，即使是端到端的訓練，目前也只能實現單個詞的分類，而不是語句層面的預測。LipNet 的提出是第一個在唇讀領域將深度學習應用于端到端學習的模型。

• 3. 應用領域接地氣。世界上絕大多數人都采用語言交流，讀唇術如果能獲得廣泛應用，能夠幫助更多有聽力障礙的人，甚至還能應用到手機語音助手領域。因此廣泛應用的可能性又把這篇論文提升到了一個高度。

• 4. 媒體的渲染引發了病毒式傳播。當時有某些媒體過于樂觀，將它與《2001 太空漫游》里的飛船主控計算機 Hall 類比，認為人類離讀懂唇語的機器已經不遠，也有不少媒體發表了擔憂，認為這將讓人類毫無隱私可言。雖然這些只是猜測與聯想，但這樣的渲染也無疑吸引了不少讀者的關注。

就是這樣一篇聚光燈下的論文，投遞了 ICLR?；ㄩ_兩朵各表一枝，現在 AI 科技評論來說說一個神奇的會議——ICLR。

ICLR 神奇在哪？它成立于 2013 年，比起資歷久遠的其它大會實在是年輕得可以，甚至還沒有被 CCF 收錄，也就是說連 C 類會議都算不上，但它卻憑借出色的論文質量得到了越來越多的關注，經常與 NIPS、CVPR 等國際大會相提并論。MXNet 的李沐在與雷鋒網交流的時候，他也向 AI 君推薦了 ICLR，認為非常值得一去。

在 2013 年，Yann LeCun 和 Yosha Bengio 聯合發起了這個會議，希望能在一個新的小型場所集中討論「學習表征方法」，也因此而取名為「International Conference on Learning Representations」。

ICLR 的 Open Review 環節，就是 LeCun 與 Bengio 倡導的一種評審方式。所有的論文都會直接發布在 arXiv 上，而在投稿截止后，所有的論文投稿都會在 openreview.net 上公開評審。區別于 double blind 的論文審閱流程，投稿人與評審可以在這個公開場合進行交流與評閱。雷鋒網 AI 科技評論認為，直接在網上公開論文及評審流程能夠提升研究迭代效率，無需等待數個月的評審環節。但就像公開閱卷一樣，如果學校與姓名露出（特別是論文有大牛加持的情況下），論文可能會產生不必要的光環效應，評審人會形成一定的心理預期，這樣可能會導致「盛名之下其實難副」的情況。

但實際上這種擔心是多余的，畢竟這篇在去年火得一塌糊涂的 LipNet 論文，在今年就遭遇了 ICLR 的無情拒絕。

其中與評委爭論得最為激烈的就是導師 Nando de Freitas，作為牛津大學機器學習教授，DeepMind 研究科學家，還是 CIFAR 的 Fellow，論文遭到質疑甚至面臨被拒的風險，Freitas 在 Open Review 上不僅據理力爭，從行文上看還有語出不遜咄咄逼人之嫌，而評審同樣也不客氣，直接開炮，簡直隔著屏幕都能感受到唇槍舌劍的緊張氛圍。

比如說，Freitas 直言評審的意見更新毫無價值，吐槽評審給出的修改意見簡直是居高臨下，站著說話不腰疼，完全是一派胡言！

而評審也是一點不手軟，揚言「哦，這么直接應用深度學習的方法真是一點技術含量也沒呢，要是我在什么新領域上試試深度學習，結果應該也不錯的?！谷缓筮€把之前給論文的評審意見（原本的意見是推薦上 workshop）刪掉了。

本著社會主義核心價值觀的原則，AI 科技評論就不全文貼出了，大家稍微感受一下就好，想看完整版的可以點此處查看。

幾個回合后，雙方都感受到了自己實在是太不禮貌了，停止了語言上的攻擊。Freitas 在 1 月 23 日回復了評審人的意見，雖然語氣軟了不少，但隱約看出態度還是很強勢的。

「我為我的無禮感到抱歉，但我堅決不同意您的意見?！?/p>

接下來他將論文的走紅始末回顧了一番，翻譯過來大概意思就是：我們周五把論文掛了出來，結果隔天就在 Reddit 上走紅了，而且帖子的標題的指向是我們已經取得了超人類的通用唇讀性能。Neil 在 Twitter 上指出了這一點，我們在周日也馬上進行了修改。但在周一的時候，論文已經獲得了廣泛的傳播，（所以不是我們在炒作）。

而針對其中的觀點，Freitas 又逐一做出了反駁。除了繼續佐證自己的觀點，Freitas 還針鋒相對地提醒還有兩位評審沒有回答他提出的尖銳問題。雖然嘴上道了歉，但還是毫不服軟，看來真的是和評審杠上了。

最終評定結果于 2 月初終于貼出，AI 科技評論摘編重點如下：

• 最終結果：拒絕（Reject）

• 評論：

  首先要說明的是，評審主席不看 Twitter，也不看 Reddit/ML 這樣的東西，所以以下的評審意見純粹是基于文章本身及 OpenReview 的討論結果而定的。

（雷鋒網翻譯版本：不要和評審們扯文章有多大影響力，我們只從論文出發。開頭就是一刀啊，可以預見接下來的慘烈……）

• ICLR 的評審過程初衷是為了創建作者與評審者兩者的建設性討論，而討論的目的是為了讓作者們在這個過程中有所精益。

（雷鋒網翻譯版本：目的是為了學術圈的共同進步，所以經歷這么長時間的扯皮也是為了你們作者好啊。）

• 在討論的過程中，雖然一些評審提出了這篇論文的積極作用，但實際上并沒有任何證據顯示評審會因為它在社交媒體的傳播力而影響判斷（甚至是意識到這種影響）。

（雷鋒網翻譯版本：再次重申媒體影響力不會影響對論文的判斷，所以不要拿這個說事。）

• 作者認為，評審們會因為媒體報道而產生偏見，但這一點并不成立。從討論中我們可以看出，作者與評審在論文的創新度、原創度及研究意義上有著很大的分歧。雖然作者擁有與評審自由辯駁的權利，但使用了像「一派胡言」、「毫無道理」、「居高臨下」、「目中無人」（雷鋒網按：以上幾個詞為小編強行翻譯，原詞分別為"absolute nonsense", "unreasonable", "condescending"及"disrespectful"）并無益于科學的建設性討論，而為了提升論文質量花費了大量時間的 ICLR 評審們也感到了作者深深的冒犯之意。

（雷鋒網不入流翻譯：就算是觀點不一樣，但用那些不禮貌的詞，真的大丈夫？對得起我們評審這么花心思為你審核文章嗎？）

隨后，評審給出了兩個結論：

1. 評審們非常重視論文的創新度及研究意義。

2. 經過審閱，論文確實還沒有達到入選 ICLR 的標準。「論文是一篇應用性論文，作者提出了第一個用機器學習實現端到端的語句層面唇讀技術?！?/p>

當然，優點自然有，但不足之處也不少，雷鋒網摘編主要內容與讀者們分享，主要集中于三個方面。

1. GRID 數據集依然比較局限，論文基于此得到的結論自然也不足以成為震撼的研究性進展。

2. 論文在某些地方存在夸大的地方，至少在表述上存在問題。

3. 論文的某些論據不夠翔實。

最后又總結了一番：

此文的缺點在于，在研究深度學習的相關應用時，它并沒有做出巨大的技術貢獻，也沒有提出任何超出目前應用領域的新見解。

這一句，讓人心服口服。

前段時間雷鋒網 AI 科技評論在與 MXNet 的李沐聊天時，在討論工業界與學術界的交融問題時也提及了這件事。李沐絲毫沒有掩飾他對這篇論文的欣賞之情，也表達了其被拒絕的惋惜之情。他認為這篇論文實際上寫得很不錯，只是不符合 ICLR 的評審標準。論文里提及能將唇語的判別能力提升 10%，對于工業界也是一個很大的突破。不過，好的結果對工業界有用，但從研究的結果來說，不一定就與突破劃上等號。就像李沐此前所提及的一樣，工業界追求的是「how」，而學術界看重的是「why」，產品與研究的方向完全不同，前者追求效果，能做出東西來就是勝利，而后者更看重創新。

「NIPS 看重的是偏理論的東西，有的論文甚至一行代碼沒有也能入選，而 ICLR 希望做出來的東西具有洞見，需要的是能利用現有的東西解釋其中的原因?！?/p>

李沐隨后也向雷鋒網 AI 科技評論分享了他做學術研究時的一些心得，「做學術研究時最重要的是想法，也就是說你對這個東西有什么看法，并且能想得透徹，寫得明白（讓評審看懂），而第二點在于，做這個東西你是否有什么洞察，能給出深層次的解釋，第三點才是這個方法的結果好不好。」

這樣看來，LipNet 的論文無法入 ICLR 的法眼，根本原因在于將應用型的論文投遞到了追求理論創新的大會上。雷鋒網 AI 科技評論小編揣測，大概是 Freitas 對于論文取得的工業界成果非常自信，認為拿下 ICLR 十拿九穩，沒想到在學術圈卻沒有獲得預期的認同，所以才會氣得跳腳，說出那些沖動的話吧。

自此事情已經告一段落。雷鋒網小編就順嘴提個八卦：時間還得推移到 2012 年的 CVPR 上，當時 LeCun 已經是大名鼎鼎的機器學習大牛，他的論文得到了很好的實驗結果，但評審認為論文并沒有說明為何能得到這個結果，因此把他的論文給拒絕了，LeCun 自此表示，不再向 CVPR 投遞論文。

歷史總是相似的，在 LeCun 組建的 ICLR 大會上，類似的場景再度上演。雖然后來 LeCun 還是向 CVPR 投遞了論文，只是不知道這一次，當事人們和看客們，又會做何感想呢？

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。