<mark id="oztn4"></mark>
0
| 本文作者： 三川 | 2016-12-27 22:23 |
兩年前，蒙特利爾大學(xué) Ian Goodfellow 等學(xué)者提出“生成對抗網(wǎng)絡(luò)”（Generative Adversarial Networks，GANs）的概念，并逐漸引起 AI 業(yè)內(nèi)人士的注意。其實(shí)，直到 2015 年，生成對抗網(wǎng)絡(luò)還稱不上是炙手可熱。但自今年（2016）以來，學(xué)界、業(yè)界對 GANs 的興趣出現(xiàn)“井噴”：
多篇重磅論文陸續(xù)發(fā)表；
Facebook、Open AI 等 AI 業(yè)界巨頭也加入對 GANs 的研究；
它成為今年 12 月 NIPS 大會當(dāng)之無愧的明星——在會議大綱中被提到逾 170 次；
GANs之父” Ian Goodfellow 被公推為人工智能的頂級專家；
業(yè)內(nèi)另一位大牛 Yan Lecun 也對它交口稱贊，稱其為“20 年來機(jī)器學(xué)習(xí)領(lǐng)域最酷的想法”。
現(xiàn)在，雷鋒網(wǎng)獲得消息，就連蘋果也跳上了 GANs 的彩車：蘋果有史以來第一篇公開發(fā)表的 AI 論文，講的是如何更好地利用 GANs，來訓(xùn)練 AI 圖像識別能力。這是繼蘋果本月初在 NIPS 大會上宣布“將對外公布 AI 研究成果”之后，為兌現(xiàn)諾言做出的行動。
那么，GANs 是如何從一個原本“不溫不火”的技術(shù)，成為今天人工智能的主要課題之一？
雷鋒網(wǎng)對此進(jìn)行了梳理，歸納了 GANs 從誕生到現(xiàn)在如何一步步走向技術(shù)成熟。以下是它發(fā)展路線中的大事件（主要研究進(jìn)展）：
Ian Goodfellow
2014 年 6 月，Ian Goodfellow 等學(xué)者發(fā)表了論文《Generative Adversarial Nets》，題目即“生成對抗網(wǎng)絡(luò)”，這標(biāo)志著 GANs 的誕生。文中，Ian Goodfellow 等作者詳細(xì)介紹了 GANs 的原理，它的優(yōu)點(diǎn)，以及在圖像生成方面的應(yīng)用。
那么，什么是 GANs？
用 Ian Goodfellow 自己的話來說：
“生成對抗網(wǎng)絡(luò)是一種生成模型（Generative Model），其背后基本思想是從訓(xùn)練庫里獲取很多訓(xùn)練樣本，從而學(xué)習(xí)這些訓(xùn)練案例生成的概率分布。
而實(shí)現(xiàn)的方法，是讓兩個網(wǎng)絡(luò)相互競爭，‘玩一個游戲’。其中一個叫做生成器網(wǎng)絡(luò)（ Generator Network），它不斷捕捉訓(xùn)練庫里真實(shí)圖片的概率分布，將輸入的隨機(jī)噪聲（Random Noise）轉(zhuǎn)變成新的樣本（也就是假數(shù)據(jù)）。另一個叫做判別器網(wǎng)絡(luò)（Discriminator Network），它可以同時觀察真實(shí)和假造的數(shù)據(jù)，判斷這個數(shù)據(jù)到底是不是真的。”
對不熟悉 GANs 的讀者，這番解釋或許有些晦澀。因此，雷鋒網(wǎng)特地找來 AI 博主 Adit Deshpande 的解釋，更加清楚直白：
“GANs 的基本原理是它有兩個模型：一個生成器，一個判別器。判別器的任務(wù)是判斷給定圖像是否看起來‘自然’，換句話說，是否像是人為（機(jī)器）生成的。而生成器的任務(wù)是，顧名思義，生成看起來‘自然’的圖像，要求與原始數(shù)據(jù)分布盡可能一致。
GANs 的運(yùn)作方式可被看作是兩名玩家之間的零和游戲。原論文的類比是，生成器就像一支造假幣的團(tuán)伙，試圖用假幣蒙混過關(guān)。而判別器就像是警察，目標(biāo)是檢查出假幣。生成器想要騙過判別器，判別器想要不上當(dāng)。當(dāng)兩組模型不斷訓(xùn)練，生成器不斷生成新的結(jié)果進(jìn)行嘗試，它們的能力互相提高，直到生成器生成的人造樣本看起來與原始樣本沒有區(qū)別。”
更多“什么是 GANs ？”的詳細(xì)解說，請參考雷鋒網(wǎng)整理的 Ian Goodfellow NIPS 大會 ppt 演講，Yan Lecun 演講，以及香港理工大學(xué)博士生李嫣然的 “GANs 最新進(jìn)展”特約稿。
早期的 GANs 模型有許多問題。Yan Lecun 指出，其中一項(xiàng)主要缺陷是：GANs 不穩(wěn)定，有時候它永遠(yuǎn)不會開始學(xué)習(xí)，或者生成我們認(rèn)為合格的輸出。這需要之后的研究一步步解決。
GANs 最重要的應(yīng)用之一，是生成看起來‘自然’的圖像，這要求對生成器的充分訓(xùn)練。以下是 Ian Goodfellow 等人的 2014 年論文中，生成器輸出的樣本：
可以看出，生成器在生成數(shù)字和人臉圖像方面做得不錯。但是，使用 CIFAR-10 數(shù)據(jù)庫生成的風(fēng)景、動物圖片十分模糊。這是 GANs 早期的主要局限之一。
2015 年 6 月 Emily Denton 等人發(fā)表的研究《Deep Generative Image Models using Lapalacian Pyramid of Adversarial Networks》（“深度圖像生成模型：在對抗網(wǎng)絡(luò)應(yīng)用拉普拉斯金字塔”）改變了這一點(diǎn)。研究人員提出，用一系列的卷積神經(jīng)網(wǎng)絡(luò)（CNN）連續(xù)生成清晰度不斷提高的圖像，能最終得到高分辨率圖像。該模型被稱為 LAPGANs 。
其中的拉普拉斯金字塔，是指同一幅圖像在不同分辨率下的一系列過濾圖片。與此前 GAN 架構(gòu)的區(qū)別是：傳統(tǒng)的 GAN 只有一個 生成器 CNN，負(fù)責(zé)生成整幅圖像；而在拉普拉斯金字塔結(jié)構(gòu)中，金字塔的每一層（某特定分辨率），都有一個關(guān)聯(lián)的 CNN。每一個 CNN 都會生成比上一層 CNN 更加清晰的圖像輸出，然后把該輸出作為下一層的輸入。這樣連續(xù)對圖片進(jìn)行升采樣，每一步圖像的清晰度都有提升。
拉普拉斯金字塔結(jié)構(gòu)圖像生成示意
這產(chǎn)生了一個新概念：有條件生成對抗網(wǎng)絡(luò)（conditional GAN，CGAN)，指的是它有多個輸入：低分辨率圖片和噪音矢量。該研究生成的高質(zhì)量圖片，在 40% 的情況下被真人裁判當(dāng)做真實(shí)圖像。
對該研究的意義，李嫣然評論道：它將 GAN 的學(xué)習(xí)過程變成了“序列式” 的——不要讓 GAN 一次學(xué)完全部的數(shù)據(jù)，而是讓 GAN 一步步完成這個學(xué)習(xí)過程。
把文字轉(zhuǎn)化為圖像，比起把圖像轉(zhuǎn)為文字（讓 AI 用文字概括、描述圖像）要難得多。一方面是近乎無限的像素排列方式；另一方面，目前沒人知道如何把它分解，比如像（圖像轉(zhuǎn)為文字任務(wù)中）預(yù)測下一個詞那樣。
2016 年 6 月，論文《Generative Adversarial Text to Image Synthesis》（“GANs 文字到圖像的合成”）問世。它介紹了如何通過 GANs 進(jìn)行從文字到圖像的轉(zhuǎn)化。比方說，若神經(jīng)網(wǎng)絡(luò)的輸入是“粉色花瓣的花”，輸出就會是一個包含了這些要素的圖像。該任務(wù)包含兩個部分：1. 利用自然語言處理來理解輸入中的描述。2. 生成網(wǎng)絡(luò)輸出一個準(zhǔn)確、自然的圖像，對文字進(jìn)行表達(dá)。
為實(shí)現(xiàn)這些目標(biāo)，生成器和判別器都使用了文字編碼技術(shù)：通過循環(huán)文字編碼器（recurrent text encoder）生成的文字屬性，來作為條件對 GAN 進(jìn)行訓(xùn)練（詳情參考論文）。這使得 GAN 能夠在輸入的文字描述和輸出圖像之間建立相關(guān)性聯(lián)系。
原理示意
該任務(wù)中，GAN 其實(shí)完成了兩件任務(wù)：1.生成自然、說得過去的圖像；2.圖像必須與文字描述有相關(guān)性。
利用 GAN, GAN-CLS, GAN-INT,GAN-INT-CLS 生成的結(jié)果示意。GT 是真實(shí)圖像，從左到右三組圖像的任務(wù)分別是：1.全黑色的鳥，粗圓的鳥嘴；2.黃胸、棕冠、黑眉的小鳥；3. 藍(lán)冠、藍(lán)羽、黑頰的超小鳥，嘴小、踝骨小、爪小。
這是推特 Cortex 研究團(tuán)隊(duì)進(jìn)行的一項(xiàng)研究，在今年 9 月發(fā)表。它的主要貢獻(xiàn)是開發(fā)出全新的損失函數(shù)（loss function），使得 GANs 能對大幅降采樣后的圖像，恢復(fù)它的生動紋理和小顆粒細(xì)節(jié)。
對于不熟悉超分辨率的雷鋒網(wǎng)讀者，它是一個能把低分辨率圖像重建為高清圖像的技術(shù)。在機(jī)器學(xué)習(xí)中，實(shí)現(xiàn)超分辨率需要用成對樣本對系統(tǒng)進(jìn)行訓(xùn)練：一個是原始高清圖像，一個是降采樣后的低分辨率圖像。本研究中，低分圖像被作為輸入喂給生成器，它重建出高分辨率圖像。然后，重建圖片和原始圖片被一起交給判別器，來判斷哪一幅是原始圖像。
該研究中的損失函數(shù)可分為兩個部分：對抗損失（adversarial loss ）和內(nèi)容損失（content loss）。在較高層面上，對抗損失使圖像看起來更自然；內(nèi)容損失則保證重建圖像與低分辨率原始圖像有相似的特點(diǎn)。其中，對抗損失和傳統(tǒng)的 GANs 應(yīng)用類似，創(chuàng)新的是內(nèi)容損失。該研究中的內(nèi)容損失，可被看作為重建的高分辨率圖像和原始高分圖像之間特征圖（feature map）的歐式距離（Euclidean distance）損失。而 GAN 的損失函數(shù)是對抗損失和內(nèi)容損失的加權(quán)和。對原文感興趣的讀者，請點(diǎn)這里。
左欄是原始圖像，右三欄是 GANs 重建的高分圖像。
以上是 GANs 2014-2016 發(fā)展期間的主要里程碑。但讀者們注意，2016 年以來，GANs 的研究應(yīng)用層出不窮。以上只是最具代表性的幾個，不代表其他 GANs 研究就沒有價值。
值得一說的是，今年 6 月一篇關(guān)于深度卷積 GANs （Deep Convolutional Generative Adversarial Networks， DCGAN）的論文在業(yè)內(nèi)引發(fā)強(qiáng)烈反響：《Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks》（“使用深度卷積 GANs 進(jìn)行無監(jiān)督表征學(xué)習(xí)”）。研究人員們發(fā)現(xiàn)，用大規(guī)模數(shù)據(jù)庫訓(xùn)練出的 GANs 能學(xué)習(xí)一整套層級的特征 （a hierarchy of features），并具有比其他無監(jiān)督學(xué)習(xí)模型更好的效果。而此前使用 CNN 訓(xùn)練 GANs 的嘗試大多以失敗告終。當(dāng)研究人員修改架構(gòu)創(chuàng)造出 DCGAN，他們能夠看到神經(jīng)網(wǎng)絡(luò)在每一層級學(xué)習(xí)到的過濾器 。Yan Lecun 評論道，這打開了 GANs 的“黑箱”。
最后，我們來看看在大神 Yan Lecun 眼里，GANs 為什么這么重要：
“它為創(chuàng)建無監(jiān)督學(xué)習(xí)模型提供了強(qiáng)有力的算法框架，有望幫助我們?yōu)?AI 加入常識（common sense）。我們認(rèn)為，沿著這條路走下去，有不小的成功機(jī)會能開發(fā)出更智慧的 AI 。”
via adeshpande3，facebook
【兼職召集令！】
如果你對未來充滿憧憬，喜歡探索改變世界的科技進(jìn)展，look no further！
我們需要這樣的你：
精通英語，對技術(shù)與產(chǎn)品感興趣，關(guān)注人工智能學(xué)術(shù)動態(tài)的蘿莉&萌妹子&技術(shù)宅；
文字不求妙筆生花，但希望通俗易懂；
在這里，你會收獲：
一群來自天南地北、志同道合的小伙伴；
前沿學(xué)術(shù)科技動態(tài)，每天為自己充充電；
更高的生活品質(zhì)，翻翻文章就能掙到零花錢；
有意向的小伙伴們把個人介紹/簡歷發(fā)至 guoyixin@leiphone.com，如有作品，歡迎一并附上。
相關(guān)文章：
“GAN之父”Goodfellow與網(wǎng)友互動：關(guān)于GAN的11個問題（附視頻）
Yann LeCun創(chuàng)造的新詞“預(yù)測學(xué)習(xí)”將要落腳于GANs？
“GANs之父”Goodfellow 38分鐘視頻親授：如何完善生成對抗網(wǎng)絡(luò)？（上）
