<mark id="oztn4"></mark>
0
編者按：上圖是 Yann LeCun 對 GAN 的贊揚，意為“GAN 是機器學習過去 10 年發(fā)展中最有意思的想法。”
本文作者為前谷歌高級工程師、AI 初創(chuàng)公司 Wavefront 創(chuàng)始人兼 CTO Dev Nag，介紹了他是如何用不到五十行代碼，在 PyTorch 平臺上完成對 GAN 的訓練。雷鋒網(wǎng)編譯整理。
Dev Nag
在進入技術(shù)層面之前，為照顧新入門的開發(fā)者，雷鋒網(wǎng)先來介紹下什么是 GAN。
2014 年，Ian Goodfellow 和他在蒙特利爾大學的同事發(fā)表了一篇震撼學界的論文。沒錯，我說的就是《Generative Adversarial Nets》，這標志著生成對抗網(wǎng)絡(luò)（GAN）的誕生，而這是通過對計算圖和博弈論的創(chuàng)新性結(jié)合。他們的研究展示，給定充分的建模能力，兩個博弈模型能夠通過簡單的反向傳播（backpropagation）來協(xié)同訓練。
這兩個模型的角色定位十分鮮明。給定真實數(shù)據(jù)集 R，G 是生成器（generator），它的任務是生成能以假亂真的假數(shù)據(jù)；而 D 是判別器 （discriminator），它從真實數(shù)據(jù)集或者 G 那里獲取數(shù)據(jù)， 然后做出判別真假的標記。Ian Goodfellow 的比喻是，G 就像一個贗品作坊，想要讓做出來的東西盡可能接近真品，蒙混過關(guān)。而 D 就是文物鑒定專家，要能區(qū)分出真品和高仿（但在這個例子中，造假者 G 看不到原始數(shù)據(jù)，而只有 D 的鑒定結(jié)果——前者是在盲干）。
理想情況下，D 和 G 都會隨著不斷訓練，做得越來越好——直到 G 基本上成為了一個“贗品制造大師”，而 D 因無法正確區(qū)分兩種數(shù)據(jù)分布輸給 G。
實踐中，Ian Goodfellow 展示的這項技術(shù)在本質(zhì)上是：G 能夠?qū)υ紨?shù)據(jù)集進行一種無監(jiān)督學習，找到以更低維度的方式（lower-dimensional manner）來表示數(shù)據(jù)的某種方法。而無監(jiān)督學習之所以重要，就好像雷鋒網(wǎng)反復引用的 Yann LeCun 的那句話：“無監(jiān)督學習是蛋糕的糕體”。這句話中的蛋糕，指的是無數(shù)學者、開發(fā)者苦苦追尋的“真正的 AI”。
Dev Nag：在表面上，GAN 這門如此強大、復雜的技術(shù)，看起來需要編寫天量的代碼來執(zhí)行，但事實未必如此。我們使用 PyTorch，能夠在 50 行代碼以內(nèi)創(chuàng)建出簡單的 GAN 模型。這之中，其實只有五個部分需要考慮：
R：原始、真實數(shù)據(jù)集
I：作為熵的一項來源，進入生成器的隨機噪音
G：生成器，試圖模仿原始數(shù)據(jù)
D：判別器，試圖區(qū)別 G 的生成數(shù)據(jù)和 R
我們教 G 糊弄 D、教 D 當心 G 的“訓練”環(huán)。
1.) R：在我們的例子里，從最簡單的 R 著手——貝爾曲線（bell curve）。它把平均數(shù)（mean）和標準差（standard deviation）作為輸入，然后輸出能提供樣本數(shù)據(jù)正確圖形（從 Gaussian 用這些參數(shù)獲得 ）的函數(shù)。在我們的代碼例子中，我們使用 4 的平均數(shù)和 1.25 的標準差。
2.) I：生成器的輸入是隨機的，為提高點難度，我們使用均勻分布（uniform distribution ）而非標準分布。這意味著，我們的 Model G 不能簡單地改變輸入（放大/縮小、平移）來復制 R，而需要用非線性的方式來改造數(shù)據(jù)。
3.) G: 該生成器是個標準的前饋圖（feedforward graph）——兩層隱層，三個線性映射（linear maps）。我們使用了 ELU （exponential linear unit）。G 將從 I 獲得平均分布的數(shù)據(jù)樣本，然后找到某種方式來模仿 R 中標準分布的樣本。
4.) D: 判別器的代碼和 G 的生成器代碼很接近。一個有兩層隱層和三個線性映射的前饋圖。它會從 R 或 G 那里獲得樣本，然后輸出 0 或 1 的判別值，對應反例和正例。這幾乎是神經(jīng)網(wǎng)絡(luò)的最弱版本了。
5.) 最后，訓練環(huán)在兩個模式中變幻：第一步，用被準確標記的真實數(shù)據(jù) vs. 假數(shù)據(jù)訓練 D；隨后，訓練 G 來騙過 D，這里是用的不準確標記。道友們，這是正邪之間的較量。
即便你從沒接觸過 PyTorch，大概也能明白發(fā)生了什么。在第一部分（綠色），我們讓兩種類型的數(shù)據(jù)經(jīng)過 D，并對 D 的猜測 vs. 真實標記執(zhí)行不同的評判標準。這是 “forward” 那一步；隨后我們需要 “backward()” 來計算梯度，然后把這用來在 d_optimizer step() 中更新 D 的參數(shù)。這里，G 被使用但尚未被訓練。
在最后的部分（紅色），我們對 G 執(zhí)行同樣的操作——注意我們要讓 G 的輸出穿過 D （這其實是送給造假者一個鑒定專家來練手）。但在這一步，我們并不優(yōu)化、或者改變 D。我們不想讓鑒定者 D 學習到錯誤的標記。因此，我們只執(zhí)行 g_optimizer.step()。
這就完成了。據(jù)雷鋒網(wǎng)了解，還有一些其他的樣板代碼，但是對于 GAN 來說只需要這五個部分，沒有其他的了。
在 D 和 G 之間幾千輪交手之后，我們會得到什么？判別器 D 會快速改進，而 G 的進展要緩慢許多。但當模型達到一定性能之后，G 才有了個配得上的對手，并開始提升，巨幅提升。
兩萬輪訓練之后，G 的輸入平均值超過 4，但會返回到相當平穩(wěn)、合理的范圍（左圖）。同樣的，標準差一開始在錯誤的方向降低，但隨后攀升至理想中的 1.25 區(qū)間（右圖），達到 R 的層次。
所以，基礎(chǔ)數(shù)據(jù)最終會與 R 吻合。那么，那些比 R 更高的時候呢？數(shù)據(jù)分布的形狀看起來合理嗎？畢竟，你一定可以得到有 4.0 的平均值和 1.25 標準差值的均勻分布，但那不會真的符合 R。我們一起來看看 G 生成的最終分布。
結(jié)果是不錯的。左側(cè)的尾巴比右側(cè)長一些，但偏離程度和峰值與原始 Gaussian 十分相近。G 接近完美地再現(xiàn)了原始分布 R——D 落于下風，無法分辨真相和假相。而這就是我們想要得到的結(jié)果——使用不到 50 行代碼。
該說的都說完了，老司機請上 GitHub 把玩全套代碼。
地址：https://github.com/devnag/pytorch-generative-adversarial-networks
via medium
相關(guān)文章：
LS-GAN作者詮釋新型GAN：條條大路通羅馬，把GAN建立在Lipschitz密度上
深度學習新星：GAN的基本原理、應用和走向 | 雷鋒網(wǎng)公開課
