<mark id="oztn4"></mark>
0
| 本文作者： 亞萌 | 2016-12-14 21:45 |
編者按：深度學習頂級盛會NIPS于今年12月初在巴塞羅那舉行，相信有很多人都無法參加。不過，有另一個AI盛會卻是全世界所有人都能參加的，叫做“AI WITH THE BEST”，已于今年9月在網絡世界里召開。演講嘉賓有100多人，其中就有“GANs之父”Ian Goodfellow。這個會議由于是網絡播出，所以有完整錄像，雷鋒網對比Ian Goodfellow在NIPS的演講內容，二者十分相仿，故在此將此次會議的視頻搬運給大家，并附上中文圖文詳解（PS：本文由亞萌和三川共同編輯完成）。
大家好，先自我介紹一下，我叫Ian Goodfellow，我是OpenAI的一名研究員。OpenAI是一個非盈利性組織，致力于把通用性的人工智能變成一種安全的方法，并且造福于全人類。
我今天將給大家講一下生成對抗網絡（Generative Adversarial Networks），簡稱“GANs”。
生成對抗網絡是一種生成模型（Generative Model），其背后最基本的思想就是從訓練庫里獲取很多的訓練樣本（Training Examples），從而學習這些訓練案例生成的概率分布。
一些生成模型可以給出概率分布函數定義的估測，而另一些生成模型可以給你全新的樣本，這些新樣本來自于原有生成訓練庫的概率分布。
PPT最底下一排圖片來自于ImageNet的數據庫，左邊是訓練圖片，右邊我們可以看作是一個理想的生成模型所產生的照片（實際上右邊的照片依然是從ImageNet庫里選取的，我們的系統目前還沒有成熟到可以生成這種真實感）。
GANs的方法，就是讓兩個網絡相互競爭“玩一個游戲”。
其中一個叫做生成器網絡（ Generator Network），它不斷捕捉訓練庫里真實圖片的概率分布，將輸入的隨機噪聲（Random Noise）轉變成新的樣本（也就是假數據）。
另一個叫做判別器網絡（Discriminator Network），它可以同時觀察真實和假造的數據，判斷這個數據到底是不是真的。
所以整個訓練過程包含兩步，（在下圖里，判別器用 D 表示，生成器用 G 表示，真實數據庫樣本用 X 表示，噪聲用 Z 表示）。
第一步，只有判別器D參與。
我們把X樣本輸入可微函數D里運行，D輸出0-1之間的某個值，數值越大意味著X樣本是真實的可能性越大。在這個過程中，判別器D盡可能使輸出的值靠近1，因為這一階段的X樣本就是真實的圖片。
第二步，判別器D和生成器G都參與。
我們首先將噪聲數據Z喂給生成器G，G從原有真實圖像庫里學習概率分布，從而產生假的圖像樣本。然后，我們把假的數據交給判別器D。這一次，D將盡可能輸入數值0，這代表著輸入數據Z是假的。
所以這個過程中，判別器D相當于一個監督情況下的二分類器，數據要么歸為1，要么歸為0。
與傳統神經網絡訓練不一樣的且有趣的地方，就是我們訓練生成器的方法不同。生成器一心想要“騙過”判別器。使用博弈理論分析技術，我們可以證明這里面存在一種均衡。
現代GANs架構基于一篇名為“ Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks ”（簡稱DCGANs）的論文，作者是 Alec Radford、Luke Metz和Soumith Chintala。（鏈接：https://arxiv.org/pdf/1511.06434.pdf）
DCGANs的基本架構就是使用幾層“反卷積”（Deconvolution）網絡。“反卷積”類似于一種反向卷積，這跟用反向傳播算法訓練監督的卷積神經網絡（CNN）是類似的操作。
CNN是將圖像的尺寸壓縮，變得越來越小，而反卷積是將初始輸入的小數據（噪聲）變得越來越大（但反卷積并不是CNN的逆向操作，這個下面會有詳解）。
如果你要把卷積核移動不止一個位置， 使用的卷積滑動步長更大，那么在反卷積的每一層，你所得到的圖像尺寸就會越大。
這個論文里另一個重要思想，就是在大部分網絡層中使用了“批量規范化”（batch normalization），這讓學習過程的速度更快且更穩定。另一個有趣的思想就是，如何處理生成器里的“池化層”（Pooling Layers），傳統CNN使用的池化層，往往取區域平均或最大來壓縮表征數據的尺寸。
在反卷積過程中，從代碼到最終生成圖片，表征數據變得越來越大，我們需要某個東西來逐漸擴大表征的尺寸。但最大值池化（max-pooling）過程并不可逆，所以DCGANs那篇論文里，并沒有采用池化的逆向操作，而只是讓“反卷積”的滑動步長設定為2或更大值，這一方法確實會讓表征尺寸按我們的需求增大。
這其中有些想法來自于早期的一篇論文“全卷積網絡”（Striving for Simplicity: The All Convolutional Net，鏈接 https://arxiv.org/abs/1412.6806），大家可以看一看。
DCGANs非常擅長生成特定Domain里的小圖片，這里是一些生成的“臥室"圖片樣本。這些圖片分辨率不是很高，但是你可以看到里面包含了門、窗戶、棉被、枕頭、床頭板、燈具等臥室常見物品。
我們在生成網絡里隨意輸入一些噪聲值，這些值解碼成一些“戴眼鏡的男人”的圖片。我們將這些代碼取平均值，便得到如下圖最左一的“戴眼鏡的男人”的圖片，這是一個“平均圖片”（Average Image）。
我們使用同樣的過程，產生圖中的“男人”（左二）和“女人”（左三）的圖片。
而你可以在這些圖片（向量空間）之間做運算。
“戴眼鏡的男人”-“男人”+“女人”=“戴眼鏡的女人”
這則加減運算里，輔以解碼一些變量，最終得出了最右邊一系列“戴眼鏡的女人”圖片。
這十分類似語言模型，單詞向量（Word Embedding）之間也具有有趣的代數關系。例如，
“王后”-“女性”+“男性”=“國王”
向量運算是可行的，這一點令人印象深刻，因為我們確實需要解碼經過運算生成的向量，然后得到每個像素都是有意義的圖片。
在單詞向量里，我們從運算中得到的新向量，只需要與之前的某個向量靠近就行。這個過程，并不需要解碼成一種“真實世界體驗”。而在我們圖片的向量運算里，可以將運算結果映射到真實世界當中。
訓練GANs的一個難點，就在于會出現“模型崩潰”（Mode Collapse）：生成的所有樣本都在一個點上（樣本相同），這是訓練GANs經常遇到的失敗現象。
我們訓練GANs，起初讓判別器的輸出值最大化（盡量接近1），然后讓生成器輸出值最小化（盡量接近0），那么一切都沒問題。但是，如果我們把順序調一下，先最小化生成器輸出值，然后再最大化判別器輸出值，那么一切都會崩掉（這在循環訓練的時候會發生）。
針對這個，我們可以采用的解決方法是minibatch GAN，給生成器增加一些額外的“特征”（Feature），讓原始數據分成一波波的小批量樣本，從而保證每一批數據的多樣性。我們將里面用到的特征稱為“小批量特征”（Minibatch Feature）。
如果這些“特征”測量的是樣本之間的間距，那么通過這一點，判別器就能檢測到生成器是否將要崩潰。小批量樣本更加接近真實，且每個樣本的間距是正確的，就不會讓生成器產生只映射到一個點的圖像。“小批量”的理念來自于OpenAI研究員Tim Salimans在2016年提交給NIPS的一篇論文。
使用“小批量特征”會大大提升GANs訓練效果。我們用很多數據庫來檢驗這一方法，其中的一個數據庫就是CIFAR 10，這里面包括10中不同類別的物體，有鳥、飛機、汽車、貨車、馬等等，圖片像素為32x32。
如上圖所示，左邊是訓練數據，這些圖片都很小，而且質量不高；右邊是生成器產生的樣本，其中有些樣本展示的物體辨識度還可以，比如馬、汽車、船等等。生成樣本里大約40%只是一些由顏色和紋理構成的難以名狀的一團，但是剩下的確實包含了一些有意義的物體圖像。
我們也把 minipatch GANs放到更大的ImageNet數據庫里，里面圖像的分辨率是128x128，且包含數千種物體，難度大得多。尤其是發生我們前面提到的“模型崩潰”問題時，訓練過程更難。
上面左邊的圖，來自于ImageNet，你或許會發現這些圖比之前CIFAR 10的圖片質量高很多，這是因為空間幅度（Spatial Extent）大約在每個方向上都擴展了4倍。這里面的物體類別繁多，甚至有一些連人類都無法準確歸類，比如這當中有一格小圖里包含了一個“瓦屋頂”，我就不太能確定這要歸為“瓦”、“屋頂”還是“房子”？
所以，需要意識到的一點就是，這里要捕捉的多樣性太多了。
右邊的組圖里，是我們訓練minipatch GAN生成的樣本圖，其中真的有一些圖片包含了可識別的物體。比如左上角的圖，看起來像是一只胖狗，你也可以看到狗的臉、貓臉、眼睛等圖形散布在各個樣本里。但是，大部分圖展示的內容并不協調，它們看起來像是畢加索或達利風格的畫，只是一些紋理和圖形的堆砌，并不是有機的構成。
我們從中精挑細選了一些比較好的樣本圖（Cherry-Picked Results），從中我們看到GAN做的事情是比較有用的，但是仍然有很多不足。
下面左上角的一張圖的構成不錯，這像是一個狗媽媽，旁邊依偎著一只狗寶寶，兩只狗望向同一個方向。但是你可以發現，這張圖里的場景并不是3D的，而且跟前面的狗相比，后邊的背景圖并沒有展現出什么意義。
最上面一排的中間圖，看起來就像是一只巨型蜘蛛，而我認為之前的訓練庫里沒有什么與此類似的東西。
很多次，我們常常發現，系統無法將紋理與形狀合理地整合起來，這是一種模型過分概括（overgeneralization）的案例。
我們經常遇到的問題就是，這里面完全沒有3D的立體構成，比如底部一排左三圖片，狗的面部不錯，狗的毛發展現的很好，但是總體上，這像是一塊平鋪在地上的狗皮（而不是立體的狗），就像是從正上方垂直看下來，我們稱之為“正交投影”。在這個案例里，模型根本不知道如何做透視。
我們知道卷積網絡可以計數的，在一些應用里，我們需要將圖片里的地址數字進行轉錄，這就要求我們知道數字里包含了多少數位（Digits）。但看起來，如果你不明確訓練神經網絡如何計數，那么它自己是不會自動學習計數方法的。
最右下角的圖，看起來像是一只美洲豹或黑貓的臉，但是這張圖里包含的“臉”太多了。似乎神經網絡知道需要有眼睛、嘴和鼻子來構成臉，但是它并不清楚到底一張臉要包含幾個眼睛、嘴和鼻子，也不知道這些器官要正確放在什么位置。
我們可以用GANs做很多應用，其中一種就是“文本轉圖像”（Text to Image）。在Scott Reed等人的一篇論文里（Generative Adversarial Text to Image Synthesis，鏈接 https://arxiv.org/abs/1605.05396）。GANs根據輸入的信息產生了相關圖像，我到目前為止談到的GANs還只是從學習訓練庫里的概率分布，隨機產生圖像，而不是像Scott Reed這樣根據特定輸入語句來產生特定圖像。
在這篇新論文里，GANs增強了，輸入了額外的描述信息，告訴它們應該要產生什么樣的圖像。
也就是說，生成器里輸入的不僅是隨機噪聲，還有一些特定的語句信息。所以判別器不僅要區分樣本是否是真實的，還要判定其是否與輸入的語句信息相符。
這里是他們的實驗結果，左上角的圖里有一些鳥，鳥的胸脯和鳥冠是是粉色，主羽和次羽是黑色，與所給語句描述的信息相符。
但是我們也看到，仍然存在“模型崩潰”問題，在右下角的黃白花里，確實產生了白色花瓣和黃色花蕊的花朵，但它們多少看起來是在同一個方向上映射出來的同一朵花，它們的花瓣數和尺寸幾乎相同。
所以，模型在輸出的多樣性方面還有些問題，這需要解決。但可喜的地方在于，輸入的語句信息都比較好的映射到產生的圖像樣本中。
在Indico和Facebook發布了他們自己的DCGAN代碼之后，很多人開發出他們自己的、有趣的GANs應用。有的生成新的花朵圖像，還有新動漫角色。我個人最喜歡的，是一個能生成新品種精靈寶可夢的應用。
在一個 Youtube 視頻，你會看到學習過程：生成器被迫去學習怎么騙過判別器，圖像逐漸變得更真實。有些生成的寶可夢，雖然它們是全新的品種，看上去就像真的一樣。這些圖像的真實感并沒有一些專業學術論文里面的那么強，但對于現在的生成模型來說，不經過任何額外處理就能得到這樣的結果，已經非常不錯了。
一篇最近發表的論文，描述怎么利用GANs進行超分辨率重建（Super-Resolution）。我不確定這能否在本視頻中體現出來，因為視頻清晰度的限制。基本思想是，你可以在有條件的GANs里，輸入低分辨率圖像，然后輸出高分版本。使用生成模型的原因在于，這是一個約束不足（underconstrained）的問題：對于任何一個低分辨率圖像，有無數種可能的高分辨率版本。相比其他生成模型，GANs特別適用超分辨率應用。因為GANs的專長就是創建極有真實感的樣本。它們并不特別擅長做概率函數密度的估測，但在超分辨率應用中，我們最終關心的是輸出高分圖像，而不是概率分布。
（從左到右分別為：圖1、2、3、4）
上面展示的四幅圖像中，最左邊的是原始高分圖像（圖1），剩下的其余三張圖片都是通過對圖片的降采樣（Down Sample）生成的。我們把降采樣得到的圖片用不同的方法進行放大，以期得到跟原始圖像同樣的品質。
這些方法有很多種，比如我們用雙三次插值（Bicubic Interpolation）方式，生成的圖像（圖2）看起來很模糊，且對比度很低。另一個深度學習方法SRResNet（圖3）的效果更好，圖片已經干凈了很多。但若采用GANs重建的圖片（圖4），有著比其它兩種方式更低的信噪比。雖然我們直觀上覺得圖3看起來更清晰，事實上它的信噪比更高一些。GANs在量化矩陣（Quantitative Matrix）和人眼清晰度感知兩方面，都有很好的表現。
（PS：在視頻的后半段，主要是Ian Goodfellow回答網友的提問，雷鋒網將據此編輯成第2篇文章，后續將發布。）
相關文章：
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
