<mark id="oztn4"></mark>
0
| 本文作者： 叢末 | 編輯：楊曉凡 | 2018-12-14 10:26 | 專題：NeurIPS 2018 |
雷鋒網 AI 科技評論按：本篇屬于「頂會見聞系列」。作為一個研究人員們欣賞彼此論文、討論學術話題的嚴肅學術頂級會議，NIPS 今年頗為熱鬧，前有「11 分鐘售罄門票」事件，讓大家見識到了人工智能和機器學習的火爆程度堪比 Taylor Swift 演唱會，后又改名 NeurIPS 引起紛紛熱議，并給大家帶來了一道「1NeurIPS 該怎么發音」的難題。對于 NIPS 改名后的首場盛會 NeurIPS 2018，想必大家的期待都要遠遠超乎往年了。如果大家很遺憾地沒有奔赴現場一探究竟的話，那就來看看其他參會者的見聞總結和分享吧，說不定會有新的收獲呢？
作者 Félix 是 AI 與大數據解決方案公司 sicara.com 技術博客作者之一，這篇文章中，他首先也對 NeurIPS 2018 的火爆程度發表了自己的一些感慨，之后則給大家帶來了一份論文精選，特別挑選出了一些能夠全面概述人工智能的不同領域的高質量論文，領域覆蓋神經網絡、深度學習、非監督學習、視頻預測等各個細分領域，希望能讓大家稍微感受到一些 NeurIPS 的現場氛圍。雷鋒網 AI 科技評論全文編譯如下。
對于今年沒能參加 NeurIPS（前稱 NIPS）感到可惜？所以我就寫了這篇 2018 年版的論文選讀，現在分享給你。
NeurIPS（神經信息處理系統大會，前稱 NIPS）現在的熱度蓋過了 Beyoncé 演唱會，今年，這場最盛大的人工智能會議，門票 11 分鐘就宣告售罄。此外，今年會議接受的論文數量也創下記錄（超過一千篇）。
在下面的論文選讀中，你會發現我希望給你傳遞一點 NeurIPS 的氛圍。我的目標是找到那些能夠全面概述人工智能的不同領域的高質量論文，當然，這份選讀無法做到詳盡并且有些主觀。
《SING: Symbol-to-Instrument Neural Generator》，Alexandre Défossez (FAIR, PSL, SIERRA), Neil Zeghidour (PSL, FAIR, LSCP), Nicolas Usunier (FAIR), Léon Bottou (FAIR), Francis Bach (DI-ENS, PSL, SIERRA)
論文下載地址：https://arxiv.org/abs/1810.09785
這篇論文提出了一種新的神經音頻合成器：從音符到樂器的神經生成器（SING）。這個模型可以從幾百個具有不同音高和因素的樂器中產生音樂。
SING 可以直接產生取樣為 16000 Hz 的 4 秒波形，并且具備輕量級架構。其網絡的第一部分是 LSTM（長短期記憶網絡），它采用所使用的樂器、音高和音速三者的獨熱碼級聯作為輸入，并在 265 個時間步長期間被使用。一個卷積網絡會對級聯的輸出進行解碼并生成音頻波形。
這個網絡使用了一種特殊的損失：波形和目標波形的對數頻譜圖（通過短時傅里葉變換獲得）之間的 1-范數。
SING 得出了非常好的結果（在這里 https://research.fb.com/wp-content/themes/fb-research/research/sing-paper/ 收聽音頻樣本），目前為止，比參考網絡 Wavenet 表現更好。這個網絡僅專用于樂器，不過它最顯著的成果體現在處理時間上，它的速度比 Wavenet 快 2500 倍。
《Deep Anomaly Detection Using Geometric Transformations》，Izhak Golan, Ran El-Yaniv
論文下載地址：https://arxiv.org/abs/1805.10917
這篇來自以色列理工學院的論文，旨在將深度學習模型充分利用于異常檢測領域。
目前最新的技術是自動編碼器（它檢測嵌入或重構數據中的異常），該論文提議對數據進行一組幾何變換，然后將判別模型應用到變換后的實例上（分數低的圖像將被視為異常）。對分類器進行訓練來區分變換后的圖像，從而使其學習顯著的幾何特征，其中的一些特征可能區分異常數據。就性能而言，這種方法對度量帶來的改進是空前的：與當前在 CatsVsDogs 上表現最好的算法相比，表現最好的基線 的 AUC 提高了 67%。
《GLoMo: Unsupervisedly Learned Relational Graphs as Transferable Representations》，Zhilin Yang, Jake Zhao, Bhuwan Dhingra, Kaiming He, William W. Cohen, Ruslan Salakhutdinov, Yann LeCun
論文下載地址：https://arxiv.org/abs/1806.05662
本文提出了一種遷移學習的新方法。這種方法并沒有遷移嵌入之類的一元特征，而為傳輸隱含關系圖帶來了可能性，這些圖包含隨基本嵌入消失的數據單元（像素、詞…）之間的關聯信息。
例如，對于一個問答問題，使用圖生成器訓練答案預測器，從問題輸入預測答案。這個網絡試圖生成一個被注入到答案預測器的隱藏層中的好關聯矩陣（這個矩陣包含關聯信息但不包含輸入的值）。答案預測器和圖生成器同時進行訓練。
一旦經過訓練，該圖形生成器就可以與執行不同任務（例如情緒分析）的模型一起使用，從而提高它們的性能。這種新方法提高了問答、情感分析、圖像分類等問題的性能。
《Supervising Unsupervised Learning》，Vikas K. Garg, Adam Kalai
論文下載地址：https://arxiv.org/abs/1709.05262
無監督學習的一個主要問題是沒有直接評估算法性能的方法。這使得選擇某一種算法來調整超參數或評估性能，成為一件非常難的事。
這篇論文嘗試使用元無監督學習（MUL）來解決這個問題，元無監督學習是一個經訓練后可以基于數據集的特性決定使用哪個無監督模型的分類器。為此，就需要一組標記好的數據集。
例如，假設給定了一個問題，而我們沒有任何有標記的數據，然后要在幾種無監督的分類算法中挑選出一個，之后我們就找來許多有標簽的數據集，把每一個算法都在它們上面運行，再算出分類成績。然后，我們組合使用數據集特征（維度，特征值等）和分類器輸出上的無監督度量（在集群內擴展等），訓練出一個模型來預測最佳算法。該模型可用于為要解決的目標數據集選擇算法。
這種方法似乎優于完全無監督的方法，即便在標記數據集與我們正在研究的數據集沒有緊密關聯的情況下，結果也是這樣。
《Banach Wasserstein GAN》，Jonas Adler, Sebastian Lunz
論文下載地址：https://arxiv.org/abs/1806.06621
這篇論文介紹了 Banach Wasserstein 生成式對抗網絡（BWGANs），它是對本身就改進自 GANs 的 Wasserstein GANs（WGANs）的擴展（這里 https://medium.com/m/global-identity?redirectUrl=https%3A%2F%2Fmedium.freecodecamp.org%2Fan-intuitive-introduction-to-generative-adversarial-networks-gans-7a2264a81394 有對 GAN 不錯的介紹）。
對于基本的 GAN，假設判別器經過了完美的訓練，生成的網絡實際上最小化了生成圖像分布和真實分布間的 Jenson-Shannon 距離（JSD，Kullback–Leibler 散度的對稱形式）。但是 JSD 距離不適用于測量圖像分布間的距離。
WGANs 則對損失進行了修改，從而最小化 Wasserstein 距離而不是 JSD 距離。為此，通過給損失函數添加一個梯度上的 L2 懲罰項，給網絡增加了一個溫和的 Lipschitz 約束。Wasserstein 距離的一個主要優點是，它可以應用于圖像空間上的任意范數。
然而，由于損失上的懲罰項，WGAN 要求必須使用 L2 范數，因此失去了使用更適用于圖像的范數的能力，例如，Sobolev 范數，它不僅強調像素，而且強調邊緣。
本論文提出對懲罰項進行泛化，從而使得范數的選擇不再僅限于 L2 范數。
作者們使用 W=[-1/2，2] 的 Sobolev 范數，它在 CIFAR-10 數據集上的表現超越了當前最好的結果。
這是一篇非常數學化的文章：它不僅包含詳盡的證明（不僅僅是證明的概述），還回顧了諸如 Banach 空間和 Sobleev 空間此類的基本概念。
《Learning to Decompose and Disentangle Representations for Video Prediction》，Jun-Ting Hsieh, Bingbin Liu, De-An Huang, Li Fei-Fei, Juan Carlos Niebles
論文下載地址：https://arxiv.org/abs/1806.04166
視頻預測是從先前的 T 幀預測圖像接下來的 k 幀的任務。要解決視頻預測問題，似乎就意味著能夠理解世界是如何運作的。
更具體地說，理解一個物體的物理特性，比如繩子如何與金屬棒表現不同，在我們的日常生活中是很自然的一件事，但是它卻使視頻預測成為一項復雜的任務。
視頻具有高維度，并且是不規則的。這篇論文介紹了分解解耦的預測自動編碼器（DDPAE），它能找到對視頻中的目標進行描述的最輕便的方法。它假設每個視頻都由多個目標組成，其中的每一個都可以使用內容向量（目標本身的常量描述符）和姿態向量（被檢測到和預測的位置）來描述。
這個解決方案學習這樣的描述并解析它的所有元素，同時還對 VAE、RNN 和 seq2seq 進行了結合。它的結果看起來非常有前景，因為他們超越了運動 MNIST 數據集的基準。
《Unsupervised Learning of Artistic Styles with Archetypal Style Analysis》，Daan Wynen, Cordelia Schmid, Julien Mairal
論文下載地址：https://hal.inria.fr/hal-01802131/file/archetypal_style.pdf
本論文為無監督學習和深度學習可解釋性帶來了一個新階段。特別是，它用根樣式解釋和操作解決了樣式學習的問題（如果你對這個問題不熟悉，這里 https://medium.com/m/global-identity?redirectUrl=https%3A%2F%2Ftowardsdatascience.com%2Fartistic-style-transfer-b7566a216431 有對樣式學習不錯的介紹）。
其主要想法是將輸入的圖像投影到低維原型空間，在這個空間里每個基本原型都是可解釋的。這樣的話就可以：以無監督的方式將一些特征附加到圖像中（例如，添加關于來自原型解釋的紋理、樣式、年齡等標簽），同時操作每個樣式上的系數來影響樣式，并將樣式轉移到原始圖像。
此外，采用雙邊方式的單形優化來將編碼圖像投影到原型上：將圖像到其投影的距離最小化，同時強制讓原型成為圖像的線性組合。因而，這個原型易于解釋。
最終，用基本樣式元素描述任意圖像，然后再學習一種樣式詞典成為可能。這種樣式轉移最后可以由原型空間中的系數進行精確地管理。
via：《NeurIPS (prev. NIPS) Papers Selection：My favorite research articles from NeurIPS (previously NIPS) 2018》， Félix（https://blog.sicara.com/nips-neurips-papers-selection-28efd4d73189）雷鋒網 AI 科技評論編譯。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
專題
