引用次數最多的深度學習論文出自誰手？（無監督學習/生成模型篇）

雷鋒網AI科技評論：我們通常都會學習前輩或大牛的經典作品，而引用次數自然也成為了論文的一個重要標桿。在GitHub上，@Terryum整理了一份精心編寫的論文推薦列表，其中包含了在深度學習領域中引用次數最多的前100篇論文（自2012年起）。

有一些深度學習論文，無論它們屬于哪個應用領域，都值得仔細研習。文章在精不在多，雷鋒網提供的這些文章，都被認為是值得一讀的優秀論文。囿于篇幅限制，雷鋒網整理編譯了無監督學習/生成模型的七篇論文，并增加了論文的概要，方便讀者快速了解。

自然圖像分布的建模在無監督學習中是一個里程碑式的難題，因為圖像的高維度和高結構性，建模時需要考慮模型的可表達性，可控性和可擴展性，這使得很多模型在建立時以犧牲性能為代價，才能提取出有意義的圖像表征。來自Google的Aaron van den Oord，Nal Kalchbrenner和Koray Kavukcuoglu在《Pixel Recurrent Neural Networks》一文中提出了一種能連續預測圖像像素的二維RNN模型（PixelRNN）和全卷積網絡CNN模型（PixelCNN）。作者對原像素的離散概率建模，并編碼了完整的圖像依賴關系。模型在MNIST和CIFAR-10上進行了測試，取得的對數似然函數值明顯優于當下的技術發展水平。最后作者還給出了PixelRNN生成的一個樣本定性評估。

[1] Pixel recurrent neural networks (2016), A. Oord et al. [pdf]

來自OpenAI 的多位技術專家聯合發表了一篇名為《Improved Techniques for Training GANs》的論文，他們在論文中給出了訓練GAN模型時應用的一些技巧。這些技巧的應用使得他們在MNIST,CIFAR-10和SVHN數據集的半監督分類問題中取得了目前技術發展的最高水平。視覺圖靈測試證實了模型生成圖像的高質量，連肉眼也無法分辨模型生成的MNIST樣本和真實數據的區別，而模型生成的CIFAR-10樣本，人類判斷的錯誤率為21.3%。模型生成的ImageNet樣本更是達到了空前未有的分辨率。作者在文章提出，這些技巧使得模型能夠學習ImageNet類的可辨別特征。

[2] Improved techniques for training GANs (2016), T. Salimans et al. [pdf]

近幾年在計算機視覺領域，卷積神經網絡在有監督學習問題上得到了大量應用，而在無監督學習問題上卻鮮少有人關注。Alec Radford，Luke Metz和Soumith Chintala在論文《Unsupervised representation learning with deep convolutional generative adversarial networks》中介紹了一類名為深度卷積生成式對抗網絡（DCGAN）的CNN模型，并認為這種模型很適合無監督學習問題。通過在不同的圖像數據集上訓練，模型在生成器和判別器上，從物體物件到場景圖像，都能學習到的一種層次的表征。最后，將學習到的特征應用到新任務中，證明了它們作為通用圖像表征的適用性。

[3] Unsupervised representation learning with deep convolutional generative adversarial networks (2015), A. Radford et al. [pdf]

《DRAW: A Recurrent Neural Network For Image Generation》一文出自Google的DeepMind實驗室，介紹了一種可應用于圖像生成的Deep Recurrent Attentive Writer（DRAW）神經網絡模型，此模型能夠生成高質量的自然圖像，并提高了當前在MNIST數據集上生成模型表現的最好水平。此外，使用SVHN數據集訓練的DRAW模型生成的圖片，裸眼無法分辨其與真實數據的區別。

[4] DRAW: A recurrent neural network for image generation (2015), K. Gregor et al. [pdf]

作為生成對抗網絡（GAN）的開山之作，《Generative Adversarial Nets》論文初次提出了這種對抗過程估計生成模型的新框架，文中同時訓練了兩個模型，一個生成模型G（獲取數據分布），一個判別模型D（估計樣本來自訓練數據集或者生成模型G 的概率）。生成模型G的訓練目標是最大化判別模型D犯錯的概率。這個模型類似于兩個人在玩極小極大算法的游戲。對于任意的函數G和D，存在唯一解，使得G恢復訓練數據分布，而D處處為1/2。 當G和D由多層感知器定義時，整個系統都可以用反向傳播算法來訓練。在訓練和樣本生成過程中不需要任何的馬爾科夫鏈或者unrolled approximate inference。實驗通過對生成樣本的定性和定量評估，證明了此框架的潛力。

[5] Generative adversarial nets (2014), I. Goodfellow et al. [pdf]

在面對連續的潛變量，復雜的后驗分布和數據集龐大的情況下，貝葉斯概率模型（directed probabilistic models）如何進行有效的推理和學習？Diederik P. Kingma 和Max Welling在《Auto-Encoding Variational Bayes》一文中提出了一種隨機變分推理和學習算法，能夠適應龐大的數據集和弱可微條件。論文提出了一種新的變分下界估計，可以直接應用SGD來優化和調整。另外，論文引入了自動編碼變分貝葉斯（AEVB），這是針對有效推理和學習的一種高效算法。

 [6] Auto-encoding variational Bayes (2013), D. Kingma and M. Welling [pdf]

“有沒有可能從無標簽的圖像數據中學習一個面部特征器？”《Building High-level Features Using Large Scale Unsupervised Learning》一文討論了關于大規模無監督高層特征構建的問題。論文作者基于龐大的圖像數據集，訓練了一個9層的局部連接稀疏自編碼網絡模型，模型帶有池化層和局部對比歸一化層。通過模型并行化和異步SGD在1000個機器（16000個核）上訓練了3天，由此證明了從無標簽圖像數據中訓練面部特征器是可行的。對照實驗表明，訓練出來的特征探測器在平移，縮放和平面外旋轉上都體現了魯棒性。除此之外，相同網絡對于其他高層概念的探測表現的很靈敏，比如對貓臉、人類身體結構的探測。通過這些學習到的特征，訓練的網絡在識別22000類物體的ImageNet數據集上獲得了15.8%的準確率，相對之前的最高水平有了70% 的性能提升。

[7] Building high-level features using large scale unsupervised learning (2013), Q. Le et al. [pdf]

本文只介紹了列表中屬于無監督學習/生成模型的七篇引用次數最多的論文，對于其他類別的論文，請參考作者其他編譯文章或者原文鏈接：https://github.com/terryum/awesome-deep-learning-papers#unsupervised--generative-models，雷鋒網編譯。