“GAN之父”Goodfellow與網友互動：關于GAN的11個問題（附視頻）

編者按：昨天，雷鋒網根據 Ian Goodfellow 演講視頻的前20分鐘整理出《“GANs之父”Goodfellow 38分鐘視頻親授：如何完善生成對抗網絡？（上）》，其中Goodfellow主要講述了什么是 GAN 和 DCGANs、模型崩潰、小批量特征、文本轉圖像等問題。本文是后18分鐘視頻的內容，主要是 Goodfellow 回答網友提問，總共有11個問題。本文由雷鋒網三川、亞萌聯合編譯。

CNN、GANs 和 DBN（Deep Belief Network）之間區別是什么？

簡單來說，CNN是神經網絡的一種架構，它們未必是為了學習如何生成一組圖像而設計。它們可以被用來創造很多的東西，包括 GANs 和 DBN。

這個問題的另外一個方面是：DBN和 GANs 的效果或者學習區別是什么。DBN 基于統計物理學的模型，你寫下一個能量函數（energy function），來描述不同圖片的相似度。如果一個圖像的能量較低，那么更可能發生。這類似于山上的巖石。滾到山腳的石頭比山頂的石頭有更低的能量，這是由于重力。所以在山腳發現大堆石頭的可能性更大。DBN 的難點在于，很多必需的、模擬物理定律的計算變得非常復雜，所以它擴展到大型彩色圖像的效果不好。對于類似 EM Nest 的應用，它效果很好。但在 Imagenet 上，DBN 還不能產生有競爭力的結果。

文本轉圖像的 GANs，是需要同時輸入代碼和語句嗎？

基本上，省略掉代碼是有可能的。但在大多數應用中，人們既輸入代碼也輸入語句限制條件，這樣才能保證最終輸出結果的多樣性。這樣系統才能學習到整個有條件的概率分布，從一次輸入信息中，得到多樣化的輸出樣本。

高效訓練 GANs 的難點在哪？如何解決？

主要的困難是模型崩潰，以及尋找模型均衡點（equilibrium）的相關問題。

主要的解決方式是，開發能找到均衡狀態的新算法，而不是依靠讓誤差最小化的成本函數（cost function）。

這其中的均衡狀態是不斷演化著（Evolutionary）的嗎？

其實并不是，而是隨機的，神經網絡訓練利用梯度算法來引導更新。

（編者注：這里 Goodfellow 又回頭接著講PPT上的內容）GANs 還有一個很酷的應用是，對畫家進行自動輔助。你也許不擅長繪畫，但有了這個 GANs 輔助繪圖軟件，你只需畫這么一個三角，GANs 會自動搜索有相似特點的圖像，然后在你畫的三角區域，填充山丘的紋理；并在你畫的綠色波浪那里，填充青草的紋理。

基于 GANs 的繪圖輔助功能

我昨天剛聽說一個很相似的主意，也使用了“內省對抗網絡”（ Introspective Adversarial Network）。它是一個輔助圖像編輯的功能。當你繪圖時，生成模型會把你畫出的圖形轉化為照片般真實的圖像。所以，你編輯的圖片不會看起來很假，還能不斷調整你希望看到的效果。這樣，最終編輯出來的圖像看起來很真實，一點也不像用鼠標涂鴉過。

你之前提到GANs無法將紋理和肢體有效結合起來的問題，那么你認為解決方案是什么？

這其實很難知道。因為訓練算法不夠好。目前訓練算法的一個問題是，它們被設計用來最小化每一層網絡的成本函數，而不是找到均衡點。拿兩個人玩“剪刀包袱錘”做比方。假設你出錘，對方出包袱。你輸了這局，你覺得既然對方出包袱，下一局你就出剪刀。因為你出剪刀，對方決定再下一局出錘子……這樣周而復始，雙方都達不到納什均衡。

這個游戲的均衡點是，每個人以三分之一的比率分別出剪刀、包袱、錘。但如果你的學習算法的學習速率（Learning Rate）不夠小，它不會找到均衡點。這個例子十分簡單，只要減小學習速率就能找到均衡點。對于GANs，這更復雜。減小學習速率，并不能保證能找到均衡點。我們極有可能需要一些專門的算法，或者改變游戲方式，讓使用低學習速率的梯度下降法也能找到均衡點。這是一個相對困難的研究問題。包括我在內，很多人仍在研究。

回到如何放置肢體和紋理及形成3D效果的問題。我們也許需要開發一個更復雜的架構，比方說，生成器的網絡深度不夠。如果我們有一個極深的生成器，它也許能學習怎么讓圖像的不同部分更和諧。或者，我們也可以對圖形加入特殊操作，類似于 Open GL 的渲染管道。如果你見過空間變換網絡處理分類任務，你可以想象用它把有紋理的多邊形放置到圖像中。

什么GANs應用能商業化，成為明星產品？

我認為對于 Photoshop 這樣的應用，自動化繪圖會是一個很好的功能。把上文中介紹的自動繪圖算法推向市場會很有用處。另外一個領域是語音合成，神經網絡對它非常擅長。Deepmind 最近的一篇論文提到一個名為 “Wavenet”的模型，可以創造出極為逼真的人類語音。Wavenet 的問題是，它生成樣本的速度很慢。這類生成模型每一步只能完成輸出的一個部分。Wavenet 以約 12 千赫的速度生成聲音樣本。所以你需要連續運行 12000 個神經網絡，每一個神經網絡的輸出被用作下一個神經網絡的輸入。每一秒合成語音需要兩分鐘的計算時間，因此神經網絡無法進行即時會話。軟、硬件效率的提升最終能讓它更快。但現在看來，我們離 Wavenet 進行即時會話還有好幾年的時間。理論上，生成對抗網絡能提供更快的文字到語音的合成。

如何在GANs里生成反饋回路（Feedback Loop）？

生成對抗網絡會生成，和輸入的參數十分相似的輸出。在時間軸上預測下一步（在 Wavenet 的例子上是音頻序列），你可以直接把 Wavenet 架構用作生成網絡，反向傳播算法（backpropagation）會正常運作。

你認為，如何才能把輸出擴展為大尺寸？

其實，由于高效率的卷積，擴展輸出尺寸通常不是那么難。舉例來說，我演講中展示的最大圖片，它的尺寸是 128×128。最近的論文中，Facebook 已經做到輸出 256×256 的圖片。真正難的是，輸出大量內含恰當細節的多樣化圖像。

GANs能否用于數據壓縮？

嗯，很有可能。原則上大多數生成模型都可以。對于 GANs，你需要找到能從圖像到描述圖像的代碼的方法。我描述的 GANs 版本只有單一方向（代碼到圖像）映射，但是蒙特利爾大學的對抗學習推理（Adversarially Learned Inference），還有加州大學伯克利分校的雙向GANs（Bidirectional GANs），有從圖像到代碼的編碼層（Encode Layer）。你可以用編碼層生成簡單代碼，對于經過解碼的圖像的區別，再使用硬編碼的壓縮算法將之壓縮。如果你運氣好，這些區別足夠小，可以被壓縮，最終結果會比原始圖像使用更少的比特。

你對GANs的目標是什么？

我最感興趣、花費很多時間來研究的是提高訓練穩定性，但這特別難。我還花一些時間在開發新架構上。但相比穩定性，它關系不大。

你可以詳細解釋上面的反饋回路問題嗎？

如果你有一個生成網絡，能把它自己的輸出作為輸入，那就能做到。如果你有一個層級，從代碼映射到視頻第一幀；然后你創建另一個層級，把上一幀視頻映射到代碼，再到下一幀；你可以把第二層級不斷重復利用，它應該能做出不錯的視頻序列。

反饋回路：輸入→輸出→輸入（照此循環）

這方面的研究很少，發表的論文也不多。大多數生成對抗網絡的研究都是關于圖像。Facebook AI 研究部門有一篇關于視頻生成的論文，該研究用到了對抗網絡損失。還有一篇講3D合成視頻序列的論文。這些論文很具體地解釋了研究人員是怎么做的以及最終成效。我認為兩個研究都加入了一些額外的東西，包括下一幀預測的方差。為了略微穩定訓練。Facebook 的研究還加入了一個基于比較圖像的邊緣的損失，來保證生成的視頻不模糊。

視頻預測一個很難的地方是：大多數模型預測認為，你應該把同一幀永遠復制下去；或者影像不斷模糊下去，直到全部消失。這是由于每一個像素的不確定性太多。所以，讓他們不斷預測每一幀的清晰畫面十分困難。

【招聘】雷鋒網堅持在人工智能、無人駕駛、VR/AR、Fintech、未來醫療等領域第一時間提供海外科技動態與資訊。我們需要若干關注國際新聞、具有一定的科技新聞選題能力，翻譯及寫作能力優良的外翻編輯加入。

簡歷投遞至guoyixin@leiphone.com，工作地 深圳；或投遞至wudexin@leiphone.com，工作地 北京。

相關文章：

“GANs之父”Goodfellow 38分鐘視頻親授：如何完善生成對抗網絡？（上）

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。