深度學習盛會ICLR2017最佳論文都是啥？，雷鋒網帶你5min過重點（附論文鏈接）

雷鋒網編者按：萬眾矚目的2017年ICLR 于今天在法國召開。該大會是Yann LeCun 、Yoshua Bengio 等幾位行業頂級專家于2013年發起。別看它歷史不長，影響力卻不小，如今已成為深度學習領域一個至關重要的學術盛事。

據雷鋒網消息，ICLR論文評選結果于今日新鮮出爐。經過列為評委的火眼金睛，在507份論文中共有15篇論文成功進入口頭展示階段，181篇進入海報展示階段。

                              

除了這些被選入ICLR 2017的論文，還有三篇論文成功當選為ICLR 2017最佳論文。今天，雷鋒網小編就帶大家領略一下這三篇最佳論文的風采。這三篇論文分別是：

• 《用半監督知識遷移解決深度學習中訓練隱私數據的問題》（Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data）

• 《通過遞歸實現神經編程架構通用化》（Making Neural Programming Architectures Generalize via Recursion）

• 《泛化——一個理解深度學習需要重新思考的問題》（Understanding deep learning requires rethinking generalization）

1.《用半監督知識遷移解決深度學習中訓練隱私數據的問題》

（Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data）

該論文由Nicolas Papernot（賓夕法尼亞州立大學）、Martín Abadi、Kunal Talwar（谷歌大腦）的，úlfar Erlingsson（谷歌）以及Ian Goodfellow（OpenAI）共同完成。

提起Ian Goodfellow，經常關注雷鋒網的同學一定不會陌生。Ian Goodfellow是Open AI頂級人工智能科學家，因其在生成式對抗網絡領域的研究成果被尊稱為“GAN之父”。關于他的GAN研究成果，請看雷鋒網此前報道《深度丨 Yoshua Bengio 得意門生詳解機器學習生成對抗網絡》。

• 論文摘要

有些機器學習應用訓練數據時可能會涉及到一些敏感數據，比如臨床試驗患者的醫療史。這是因為模型可能會無意間，以不容易被發現的方式將這些訓練數據儲存下來。而只要對模型進行仔細分析，這些敏感信息就能被重新提取出來。

為了解決這個問題，我們在這里為大家展示一種可以減少隱私數據泄露的通用方法——該方法以黑箱的方式，把用不相交數據集（例如來自不同用戶子集的記錄）訓練而成的多個模型結合在一起。由于數據涉及隱私，所以模型不會被公開，而是作為學生模型的教師。學生需要學會的預測結果由全部教師的有噪投票（noisy vote）選出，并且學生不能直接對單個教師模型、底層數據或參數進行訪問。

由于不涉及單個教師，因此也不會存在用單個數據集訓練學生的情況。這就在差分隱私（differential privacy）方面確保了學生模型的隱私性。即使是入侵者可以查詢學生模型并檢查其內部運作，學生模型的隱私性依然有效。

和之前的工作相比，該方法只是加強了如何訓練教師的弱假設：它可以應用于任何模型，包括非凸（non-convex）模型DNN。

改善后的隱私分析和半監督學習技術使模型在MNIST 和 SVHN 上既有高度的實用性，又能保護用戶隱私不被泄露。

簡單來說該方法就是：

1. 用敏感數據的不相交子集訓練一組教師模型；

2. 用被教師組標記過的公共數據訓練學生模型。

• 最終評審結果是這樣評價的

該論文為差分隱私學習提供了一個通用的教師-學生模型，讓學生學會預測一組教師的噪音投票。噪音讓學生做到差分隱私的同時，也保證了MNIST和SVHN的精確分類。評選委員會認為該論文撰寫得很優秀。

•  決定

采納（口頭展示）

（論文詳情及評價可查看：https://openreview.net/forum?id=HkwoSDPgg&noteId=HkwoSDPgg）

2.《通過遞歸實現神經編程架構通用化》

（Making Neural Programming Architectures Generalize via Recursion）

該論文由Jonathon Cai, Richard Shin, Dawn Song（均來自于加利福尼亞大學伯克利分校）完成。

• 論文摘要

從經驗角度來說， 試圖從數據中學習編程的神經網絡這一方法的通用性較差。而且，當輸入的復雜度超過了一定水平，就很難去推斷這些模型的表現效果。為了解決這個問題，我們提出用一個關鍵的抽象概念——遞歸（recursion）來增強神經架構。我們在神經編程器-解釋器框架（Neural Programmer-Interpreter framework）上實現遞歸，這個過程包括四個任務：小學加法（grade-school addition）、冒泡排序（bubble sort）、拓撲排序（topological sort）和快速排序（quicksort）。我們用少量訓練數據證明了該方法具有較好的可泛化性和可解釋性。遞歸能將問題分割成一個個更小的部分，并大大減少每個神經網絡組件的域，使其易于證明對整個系統行為的擔保。我們的經驗顯示，為了讓神經架構更牢靠地學習程序語義（program semantics），有必要引入這樣的“遞歸”方法。

• 最終評審結果是這樣評價的

該論文探討了一個很有實際價值意義的問題。

•  決定

采納（口頭展示）

論文詳情及評價可查看：https://openreview.net/forum?id=BkbY4psgg&noteId=BkbY4psgg

3.  《泛化——一個理解深度學習需要重新思考的問題》 

（Understanding deep learning requires rethinking generalization）

 

該論文由Chiyuan Zhang（麻省理工學院），Benjamin Recht（加利福尼亞大學伯克利分校），Samy Bengio、Moritz Hardt（谷歌大腦）和Oriol Vinyals（谷歌深度學習）共同完成。

• 論文摘要

有些成功運作的人工神經網絡，盡管體量巨大，但它們在訓練和測試性能兩個階段表現出來的結果卻只存在微小差異。過去大家認為這種微小誤差，要么是由于模型譜系自身的特性，要么是由在訓練期間使用的正則化技術所致。

經過大量系統實驗，我們展示了這種傳統觀點是不確切的。具體來說，我們的實驗證明了用隨機梯度方法訓練的、用于圖像分類的最先進的卷積網絡很容易擬合訓練數據的隨機標記。這種現象本質上不受顯式正則化影響，即使用完全非結構化隨機噪聲來替換真實圖像也是如此。

我們通過一個理論結構證實了實驗結果。理論結構表明，只要參數數量超過實際中通常存在的數據點，簡單兩層深度神經網絡（simple depth two neural networks）就能夠產生完美的有限樣本表達性。通過與傳統模型的比較解釋了我們的實驗結果。

• 最終評審結果是這樣評價的

作者在論文中闡述了深度神經網絡擬合隨機標簽數據的能力，并給出了非常不錯的實驗結果。調查不僅合理，且有啟發和激勵意義。作者提出1. 一個理論實例，說明一個具有足夠規模參數的簡單淺層網絡能夠產生完美的有限樣本表達性；2.一個系統且廣泛的實驗評估得以支持研究結果和論點。實驗評估模型考慮得很周到。

該論文所具有的開創性意義將會在未來幾年對許多研究起到啟發作用。

• 決定

采納（口頭展示）

論文詳情及評價可查看：https://openreview.net/forum?id=Sy8gdB9xx&noteId=Sy8gdB9xx

據雷鋒網了解，第三篇論文入選2017ICLR也是在國內外引起了一番不小的爭論，詳情請看雷鋒網報道《ICLR 17論文評審再起爭議：LeCun學生認為最佳論文盛名過譽》。

關于三篇論文的介紹就到這里。ICLR2017大會各項議程已在官網放出（點擊這里可查看），相關新聞請關注雷鋒網最新報道。