<mark id="oztn4"></mark>
0
雷鋒網曾編譯了《干貨分享 | 深度學習零基礎進階大法！》系列，相信讀者一定對深度學習的歷史有了一個基本了解，其基本的模型架構（CNN/RNN/LSTM）與深度學習如何應用在圖片和語音識別上肯定也不在話下了。今天這一部分，我們將通過新一批論文，讓你對深度學習在不同領域的運用有個清晰的了解。由于第三部分的論文開始向細化方向延展，因此你可以根據自己的研究方向酌情進行選擇。雷鋒網對每篇論文都增加了補充介紹。這一彈主要從自然語言處理以及對象檢測兩方面的應用進行介紹。
本文編譯于外媒 github，原文標題《Deep Learning Papers Reading Roadmap》，原作者 songrotek。
Antoine Bordes 等人撰寫了論文《Joint Learning of Words and Meaning Representations for Open-Text Semantic Parsing》。通常來說，模擬是減輕強化學習的高樣本復雜性的好策略。從科學方法論上看，對于反事實的場景，模擬的環境是數據集的模擬，因此它們可以使用共同的指標，允許重復性實驗和創新民主化。Antoine Bordes 主張使用一個可實現的模擬問題的集合（對于多種問題，哪一種完美的性能是可能實現的，哪一種能表現出明顯不同的能力。）在這篇論文中，你可以對這個問題有所了解。
詞嵌入是目前無監督學習的成功應用之一。它們最大的好處無疑是它們不需要昂貴的人工標注，而是在從未標注的現成大數據集中派生的。然后預訓練的詞嵌入就可以運用在僅使用少量有標注數據的下游任務中了?！禗istributed representations of words and phrases and their compositionality 》 是 Mikolov 等人編著的論文。其中介紹了 2013 年創立的 word2vec，這是一個允許無縫訓練和使用預訓練嵌入的工具套件。
這是由 Sutskever 等人編寫的《Sequence-to-Sequence Learning with Attentional Neural Networks（使用注意神經網絡的序列到序列學習）》。2014 年，seq2seq 的神經網絡模型開始用于機器翻譯。在帶有（可選）注意（attention）的標準 seq2seq 模型的 Torch 實現中，其編碼器-解碼器（encoder-decoder）模型是LSTM。編碼器可以是一個雙向 LSTM。此外還能在字符嵌入（character embeddings）上運行一個卷積神經網絡然后再運行一個 highway network，從而將字符（而不是輸入的詞嵌入）作為輸入來使用。
[3] http://papers.nips.cc/paper/5346-sequence-to-sequence-learning-with-neural-networks.pdf
這是 Ankit Kumar 所寫的《 Ask Me Anything: Dynamic Memory Networks for Natural Language Processing》，其中介紹了應用偶發性修正存儲的想法，期望模型能夠借此學到一些邏輯推理的能力。論文比較有趣。
[4] https://arxiv.org/abs/1506.07285
Yoon Kim 所寫的《Character-Aware Neural Language Models》。論文提出一個僅建立在字符輸入上的一個神經語言模型（NLM），預測還是在詞水平上進行。當輸入一個LSTM循環神經網絡語言模型（RNN-LM）時，該模型在字符上啟用了一個卷積神經網絡（CNN），也可選擇讓該CNN的輸出通過一個 Highway Network，這樣就能提升表現。
[5] https://arxiv.org/abs/1508.06615
Jason Weston 等人所寫的《Towards AI-Complete Question Answering: A Set of Prerequisite Toy Tasks》，內容主要針對 bAbI 數據集。
[6] https://arxiv.org/abs/1502.05698
Google DeepMind 團隊在 NIPS 2015 發表了一篇題為 “Teaching Machines to Read and Comprehend” 的論文 ，這篇論文想解決的問題是：如何讓計算機回答提問。具體來說，輸入一篇文章（d）和一句提問（q），輸出文章中的一個詞組，作為回答（a）。
[7] https://arxiv.org/abs/1506.03340
在許多自然語言處理任務中起到主導地位的方法是循環神經網絡（RNN，尤其是長短時間記憶網絡，LSTM）和卷積神經網絡（ConvNets）。然而，相比于深度卷積網絡在計算機視覺領域中取得的巨大成功，這些網絡結構還是太過淺層了。
Alexis Conneau 等人所寫的論文《Very Deep Convolutional Networks for Natural Language Processing》 提出了一種直接在字符級別上進行文本處理的新結構，但僅僅用了很少的卷積和池化操作。實驗結果表明模型的性能與網絡深度成正比，一直用到 29 層卷積層，在多個文本分類任務中取得了重大的效果提升。據了解，這是深度卷積網絡第一次應用在自然語言處理任務中。
[8] https://arxiv.org/abs/1606.01781
自動文本處理在日常計算機使用中相當關鍵，在網頁搜索和內容排名以及垃圾內容分類中占重要組成部分，當它運行的時候你完全感受不到它。隨著在線數據總量越來越大，需要有更靈活的工具來更好的理解這些大型數據集，來提供更加精準的分類結果。
為了滿足這個需求，Facebook FAIR 實驗室開源了資料庫 fastText，聲稱相比深度模型，fastText 能將訓練時間由數天縮短到幾秒鐘。fastText 能針對文本表達和分類幫助建立量化的解決方案。論文《Bag of Tricks for Efficient Text Classification》介紹了 fastText 的具體實現原理。
[9] https://arxiv.org/abs/1607.01759
2. Object Detection （對象檢測）
Ross Girshick 所寫的《Rich feature hierarchies for accurate object detection and semantic segmentation》。Ross Girshick 是首個提出的基本參數區域卷積神經網絡的學者。五星推薦。
計算科學家一直在努力建立世界上最精確的計算機視覺系統，但是過程困難而緩慢。微軟研究院在論文《Spatial pyramid pooling in deep convolutional networks for visual recognition》中介紹了，在保持準確性不變的條件下，微軟研究團隊是如何將深度學習目標檢測系統加速了到 100 倍的。
[2] https://arxiv.org/pdf/1406.4729.pdf
選自 2015 年 IEEE 國際大會上 CV 領域的論文集，介紹了圖像識別領域最先進的框架 Faster R-CNN 相關知識。
[3] https://pdfs.semanticscholar.org/8f67/64a59f0d17081f2a2a9d06f4ed1cdea1a0ad.pdf
任少卿是世界上最廣泛使用的物體檢測框架 Faster RCNN 的提出者。本篇論文《Faster R-CNN: Towards real-time object detection with region proposal networks》是由他主筆而成。
Redmon 和 Joseph等合著《You only look once: Unified, real-time object detection》 ，提出了 YOLO 算法，號稱和 Faster RCNN 精度相似但速度更快。五星推薦。
[5] http://homes.cs.washington.edu/~ali/papers/YOLO.pdf
論文《SSD: Single Shot MultiBox Detector》介紹了在 arXiv上出現的算法 Single Shot MultiBox Detector （SSD）。它是 YOLO 的超級改進版，吸取了 YOLO的精度下降的教訓，同時保留速度快的特點。SSD 能達到 58 幀每秒，精度有 72.1。速度超過 Faster R-CNN 有 8 倍，但也能達到類似的精度。
[6] https://arxiv.org/pdf/1512.02325.pdf
Via github ，關于深度學習其他領域的應用，還請關注雷鋒網后續文章。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
