<mark id="oztn4"></mark>
1
| 本文作者： 奕欣 | 2016-10-22 09:57 |
雷鋒網曾編譯《干貨分享 | 深度學習零基礎進階大法！》，相信讀者一定對深度學習的歷史有了一個基本了解，其基本的模型架構（CNN/RNN/LSTM）與深度學習如何應用在圖片和語音識別上肯定也不在話下了。今天這一部分，我們將通過新一批論文，讓你對深度學習的方式與深度學習在不同領域的運用有個清晰的了解。由于第二部分的論文開始向細化方向延展，因此你可以根據自己的研究方向酌情進行選擇。雷鋒網對每篇論文都增加了補充介紹，分上下兩篇，由老呂IO及奕欣編譯整理，未經雷鋒網許可不得轉載。
4. 循環神經網絡/序列到序列模式
《Generating sequences with recurrent neural networks》一文由 Graves 和 Alex 兩位專家合力撰寫，這篇論文解釋了用遞歸神經網絡生成手寫體的原理。
[19] https://arxiv.org/pdf/1308.0850.pdf
《Learning phrase representations using RNN encoder-decoder for statistical machine translation》完成了將英文轉譯為法文的任務，使用了一個 encoder-decoder 模型，在 encoder 的 RNN 模型中是將序列轉化為一個向量。在 decoder 中是將向量轉化為輸出序列，使用 encoder-decoder 能夠加入詞語與詞語之間的順序信息。此外，還將序列表達為一個向量，利用向量能夠清楚的看出那些語義上相近的詞聚集在一起。
[20] https://arxiv.org/pdf/1406.1078.pdf
《Sequence to sequence learning with neural networks》是谷歌的 I. Sutskever 等人提出的一種序列到序列的學習方法, 最直接的應用就是機器翻譯。
[21] http://papers.nips.cc/paper/5346-information-based-learning-by-agents-in-unbounded-state-spaces.pdf
Attention 機制最早是在視覺圖像領域提出來的，隨后 Bahdanau 等人在論文《Neural Machine Translation by Jointly Learning to Align and Translate》中，使用類似 attention 的機制在機器翻譯任務上將翻譯和對齊同時進行，他們算是第一個提出將 attention 機制應用到 NLP 領域中的團隊。
[22] https://arxiv.org/pdf/1409.0473v7.pdf
《A Neural Conversational Model》是最早應用于序列到序列框架建立對話模型的論文，即便其中使用的模型結構并不復雜，網絡層數數量也不多，但效果是卻很可觀。
[23] https://arxiv.org/pdf/1506.05869.pdf
5.神經圖靈機
《Neural turing machines》一文介紹了神經圖靈機，一種從生物可行內存和數字計算機的啟發產生的神經網絡架構。如同傳統的神經網絡，這個架構也是可微的端對端的并且可以通過梯度下降進行訓練。我們的實驗展示了它有能力從樣本數據中學習簡單的算法并且能夠將這些算法推廣到更多的超越了訓練樣本本身的數據上。絕對的五星推薦。
[24] https://arxiv.org/pdf/1410.5401.pdf
神經圖靈機是當前深度學習領域三大重要研究方向之一。論文《Reinforcement learning neural Turing machines》利用增強學習算法來對神經網絡進行訓練，從而使神經圖靈機的界面變得表現力十足。
[25] https://pdfs.semanticscholar.org/f10e/071292d593fef939e6ef4a59baf0bb3a6c2b.pdf
《Memory networks》由四位專家撰寫而成，實際上所謂的 Memory Network 是一個通用的框架而已，內部的輸入映射、更新記憶映射、輸出映射、響應映射都是可以更換的。
[26] https://arxiv.org/pdf/1410.3916.pdf
《End-to-end memory networks》在算法層面解決了讓記憶網絡端對端進行訓練的問題，在應用方面則解決了問題回答和語言建模等問題。
[27] http://papers.nips.cc/paper/5846-end-to-end-memory-networks.pdf
《Pointer networks》中提出了一種新型的網絡架構，用來學習從一個序列輸入到一個序列輸出的推導。跟以往的成果不同之處在于，輸入輸出的長度都是可變的，輸出的長度跟輸入有關。
[28] http://papers.nips.cc/paper/5866-pointer-networks.pdf
《Hybrid computing using a neural network with dynamic external memory》是谷歌 DeepMind 首發于《自然》雜志的論文，它介紹了一種記憶增強式的神經網絡形式，其被稱為可微神經計算機（differentiable neural computer），研究表明它可以學習使用記憶來回答有關復雜的結構化數據的問題，其中包括人工生成的故事、家族樹、甚至倫敦地鐵的地圖。研究還表明它還能使用強化學習解決拼圖游戲問題。五星推薦。
[29] https://www.dropbox.com/s/0a40xi702grx3dq/2016-graves.pdf
6. 深度強化學習
終于！我們來到了深度強化學習的門下。說到這個名詞，怎么能不提第一篇提出深度強化學習的論文呢？Mnih 所寫的《Playing atari with deep reinforcement learning》將卷積神經網絡和 Q Learning 結合，使用同一個網絡玩 Atari 2600（也就是打方塊）這類只需要短時記憶的 7 種游戲。結果顯示，這種算法無需人工提取特征，還能生成無限樣本以實現監督訓練。
[30] http://arxiv.org/pdf/1312.5602.pdf
而至于深度強化學習的里程碑之作，同樣要屬同一作者的《Human-level control through deep reinforcement learning》，作者發明了一個名為DQN也就是深度Q網絡的東西，讓人工神經網絡能直接從傳感器的輸入數據中獲得物體分類，成功實現端到端的強化學習算法從高維的傳感器輸入中直接學習到成功策略。
[31] http://www.davidqiu.com:8888/research/nature14236.pdf
而接下來這篇名為《Dueling network architectures for deep reinforcement learning》的文章則提出了一個新的網絡——競爭架構網絡。它包括狀態價值函數和狀態依存動作優勢函數。這一架構在多種價值相似的動作面前能引發更好的政策評估。此文當選 ICML 2016最佳論文大獎。
[32] http://arxiv.org/pdf/1511.06581
《Asynchronous methods for deep reinforcement learning》由 DeepMind 出品，主要增強了 Atari 2600 的游戲效果，也被視為通過多個實例采集樣本進行異步更新的經典案例。
[33] http://arxiv.org/pdf/1602.01783
比起傳統的規劃方法，《Continuous control with deep reinforcement learning》里提到的DQL方法能夠應用于連續動作領域，魯棒解決了 20 個仿真運動，采用的是基于ICML 2014的Deterministic policy gradient （DPG）的 actor-critic 算法，名為 DDPG。
[34] http://arxiv.org/pdf/1509.02971
《Continuous Deep Q-Learning with Model-based Acceleration》采用了 Advantage Function 完成增強學習工作，但主要集中于變量連續行動空間。而就像標題所言，為了加快機器經驗獲取，研究還用卡爾曼濾波器加局部線性模型。實驗結果顯示，這種方法比前一篇論文提及的 DDPG 要好些。
[35] http://arxiv.org/pdf/1603.00748
Schulman的《Trust region policy optimization》可謂是計算機玩游戲的一大突破，這個名為 TRPO 的算法所呈現的結果絲毫不遜色于 DeepMind 的研究成果，展示了一種廣義的學習能力。除了叫機器人走路，我們還能讓它成為游戲高手。
[36] http://www.jmlr.org/proceedings/papers/v37/schulman15.pdf
接下來介紹的這篇論文就是鼎鼎大名的 AlphaGo 所運用的算法，《Mastering the game of Go with deep neural networks and tree search》里，谷歌運用了 13 層的策略網絡，讓計算機學會用蒙特卡羅搜索樹玩圍棋游戲。當然，五星推薦此篇，不服來辯。
[37] http://willamette.edu/~levenick/cs448/goNature.pdf
7. 無監督特征學習
《Deep Learning of Representations for Unsupervised and Transfer Learning》可謂無監督特征學習的開山之作。
[38] http://www.jmlr.org/proceedings/papers/v27/bengio12a/bengio12a.pdf
而接下來的這篇《Lifelong Machine Learning Systems: Beyond Learning Algorithms》主要提到的觀點是，如果一個具有Lifelong Machine Learning能力的機器學習系統，是否能夠使用解決此前問題的相關知識幫助它解決新遇到的問題，也就是舉一反三的能力。文章在 2013 年的AAAI 春季研討會上首次提出。
[39] http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.696.7800&rep=rep1&type=pdf
人工智能教父又來了，他這次和 Dean 合作帶來的是《Distilling the knowledge in a neural network》，也就是壓縮神經網絡。不過核心創新貌似不多，所以給個四星吧。
[40] http://arxiv.org/pdf/1503.02531
《Policy distillation》，文章由谷歌大神Andrei Alexandru Rusu 所寫，同款文章還有 Parisotto 的《Actor-mimic: Deep multitask and transfer reinforcement learning》，都是在講 RL 域的問題。
[41] http://arxiv.org/pdf/1511.0629
[42] http://arxiv.org/pdf/1511.06342
這里還有另外一篇 Andrei 的文章，名為《Progressive neural networks》，提出了一項名為“漸進式神經網絡”的算法，即在仿真環境中訓練機器學習，隨后就能把知識遷移到真實環境中。無疑，這將大大加速機器人的學習速度。
[43] https://arxiv.org/pdf/1606.04671
8. 一步之遙
以下五篇論文雖然并不是完全針對深度學習而推薦，但包含的一些基本思想還是具有借鑒意義的。
《Human-level concept learning through probabilistic program induction》五星推薦，文章主要介紹了貝葉斯學習程序（BPL）框架，“如何依靠簡單的例子來對新概念進行學習和加工，學習主體是人類。”
[44] http://clm.utexas.edu/compjclub/wp-content/uploads/2016/02/lake2015.pdf
而讀讀 Koch 的《Siamese Neural Networks for One-shot Image Recognition》和這篇《One-shot Learning with Memory-Augmented Neural Networks》著實很有必要。
[45] http://www.cs.utoronto.ca/~gkoch/files/msc-thesis.pdf
[46]http://arxiv.org/pdf/1605.06065
將重點放在大數據上的《Low-shot visual object recognition》則是走向圖像識別的必要一步。
[47]http://arxiv.org/pdf/1606.02819
以上便是第二階段值得一讀的論文，敬請期待后續更新。
推薦閱讀：
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
