生成式對(duì)抗網(wǎng)絡(luò)GAN最近在NLP領(lǐng)域有哪些應(yīng)用？

本文作者：亞萌

2017-04-16 13:41

導(dǎo)語(yǔ)：自然語(yǔ)言處理方面GAN的應(yīng)用

雷鋒網(wǎng)按：本文作者莫驚蟄，原文載于知乎，雷鋒網(wǎng)獲授權(quán)轉(zhuǎn)載。

剛做完實(shí)驗(yàn)，來(lái)答一答自然語(yǔ)言處理方面GAN的應(yīng)用。

直接把GAN應(yīng)用到NLP領(lǐng)域（主要是生成序列），有兩方面的問(wèn)題：

1. GAN最開(kāi)始是設(shè)計(jì)用于生成連續(xù)數(shù)據(jù)，但是自然語(yǔ)言處理中我們要用來(lái)生成離散tokens的序列。因?yàn)樯善?Generator，簡(jiǎn)稱G)需要利用從判別器(Discriminator，簡(jiǎn)稱D)得到的梯度進(jìn)行訓(xùn)練，而G和D都需要完全可微，碰到有離散變量的時(shí)候就會(huì)有問(wèn)題，只用BP不能為G提供訓(xùn)練的梯度。在GAN中我們通過(guò)對(duì)G的參數(shù)進(jìn)行微小的改變，令其生成的數(shù)據(jù)更加“逼真”。若生成的數(shù)據(jù)是基于離散的tokens，D給出的信息很多時(shí)候都沒(méi)有意義，因?yàn)楹蛨D像不同。圖像是連續(xù)的，微小的改變可以在像素點(diǎn)上面反應(yīng)出來(lái)，但是你對(duì)tokens做微小的改變，在對(duì)應(yīng)的dictionary space里面可能根本就沒(méi)有相應(yīng)的tokens.

2.GAN只可以對(duì)已經(jīng)生成的完整序列進(jìn)行打分，而對(duì)一部分生成的序列，如何判斷它現(xiàn)在生成的一部分的質(zhì)量和之后生成整個(gè)序列的質(zhì)量也是一個(gè)問(wèn)題。

近幾篇重要的工作：

1. 為了解決這兩個(gè)問(wèn)題，比較早的工作是上交的這篇發(fā)表在AAAI 2017的文章：SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient， 16年9月就放上了Arxiv上面了，而且也公布了源代碼。

利用了強(qiáng)化學(xué)習(xí)的東西來(lái)解決以上問(wèn)題。如圖，針對(duì)第一個(gè)問(wèn)題，首先是將D的輸出作為Reward，然后用Policy Gradient Method來(lái)訓(xùn)練G。針對(duì)第二個(gè)問(wèn)題，通過(guò)蒙特卡羅搜索，針對(duì)部分生成的序列，用一個(gè)Roll-Out Policy（也是一個(gè)LSTM）來(lái)Sampling完整的序列，再交給D打分，最后對(duì)得到的Reward求平均值。

生成式對(duì)抗網(wǎng)絡(luò)GAN最近在NLP領(lǐng)域有哪些應(yīng)用？

完整算法如圖：

生成式對(duì)抗網(wǎng)絡(luò)GAN最近在NLP領(lǐng)域有哪些應(yīng)用？

原文鏈接：https://arxiv.org/pdf/1609.05473v5.pdf

Github鏈接：LantaoYu/SeqGAN

2. 第二篇是C.Manning組大神Li Jiwei的文章：Adversarial Learning for Neural Dialogue Generation，用GAN和強(qiáng)化學(xué)習(xí)來(lái)做對(duì)話系統(tǒng)，如果我沒(méi)有記錯(cuò)，這篇paper是最早引用SeqGAN的，有同學(xué)還說(shuō)這篇是最早將RL用到GAN上的，主要是Jiwei大神名氣太大，一放上Arxiv就引起無(wú)數(shù)關(guān)注。

如圖，文章也是用了Policy Gradient Method來(lái)對(duì)GAN進(jìn)行訓(xùn)練，和SeqGAN的方法并沒(méi)有很大的區(qū)別，主要是用在了Dialogue Generation這樣困難的任務(wù)上面。還有兩點(diǎn)就是：第一點(diǎn)是除了用蒙特卡羅搜索來(lái)解決部分生成序列的問(wèn)題之外，因?yàn)镸C Search比較耗費(fèi)時(shí)間，還可以訓(xùn)練一個(gè)特殊的D去給部分生成的序列進(jìn)行打分。但是從實(shí)驗(yàn)效果來(lái)看，MC Search的表現(xiàn)要更好一點(diǎn)。

第二點(diǎn)是在訓(xùn)練G的時(shí)候同時(shí)還用了Teacher-Forcing（MLE）的方法，這點(diǎn)和后面的MaliGAN有異曲同工之處。

為什么要這樣做的原因是在對(duì)抗性訓(xùn)練的時(shí)候，G不會(huì)直接接觸到真實(shí)的目標(biāo)序列（gold-standard target sequence），當(dāng)G生成了質(zhì)量很差的序列的時(shí)候（生成質(zhì)量很好的序列其實(shí)相當(dāng)困難），而D又訓(xùn)練得很好，G就會(huì)通過(guò)得到的Reward知道自己生成的序列很糟糕，但卻又不知道怎么令自己生成更好的序列，這樣就會(huì)導(dǎo)致訓(xùn)練崩潰。所以通過(guò)對(duì)抗性訓(xùn)練更新G的參數(shù)之后，還通過(guò)傳統(tǒng)的MLE就是用真實(shí)的序列來(lái)更新G的參數(shù)。類似于有一個(gè)“老師”來(lái)糾正G訓(xùn)練過(guò)程中出現(xiàn)的偏差，類似于一個(gè)regularizer。

生成式對(duì)抗網(wǎng)絡(luò)GAN最近在NLP領(lǐng)域有哪些應(yīng)用？

原文鏈接：https://arxiv.org/pdf/1701.06547.pdf

Github鏈接：jiweil/Neural-Dialogue-Generation

3. Yoshua Bengio組在二月底連續(xù)放了三篇和GAN有關(guān)的paper，其中我們最關(guān)心的是大神Tong Che和Li yanran的這篇：Maximum-Likelihood Augmented Discrete Generative Adversarial Networks（MaliGAN），簡(jiǎn)稱讀起來(lái)怪怪的。。。

這篇文章的工作主要是兩個(gè)方面：

1.為G構(gòu)造一個(gè)全新的目標(biāo)函數(shù)，用到了Importance Sampling，將其與D的output結(jié)合起來(lái)，令訓(xùn)練過(guò)程更加穩(wěn)定同時(shí)梯度的方差更低。盡管這個(gè)目標(biāo)函數(shù)和RL的方法類似，但是相比之下更能狗降低estimator的方差（強(qiáng)烈建議看原文的3.2 Analysis，分析了當(dāng)D最優(yōu)以及D經(jīng)過(guò)訓(xùn)練但并沒(méi)有到最優(yōu)兩種情況下，這個(gè)新的目標(biāo)函數(shù)仍然能發(fā)揮作用）

2.生成較長(zhǎng)序列的時(shí)候需要用到多次random sampling，所以文章還提出了兩個(gè)降低方差的技巧：第一個(gè)是蒙特卡羅樹(shù)搜索，這個(gè)大家都比較熟悉; 第二個(gè)文章稱之為Mixed MLE-Mali Training，就是從真實(shí)數(shù)據(jù)中進(jìn)行抽樣，若序列長(zhǎng)度大于N，則固定住前N個(gè)詞，然后基于前N個(gè)詞去freely run G產(chǎn)生M個(gè)樣本，一直run到序列結(jié)束。

基于前N個(gè)詞生成后面的詞的原因在于條件分布Pd比完整分布要簡(jiǎn)單，同時(shí)能夠從真實(shí)的樣本中得到較強(qiáng)的訓(xùn)練信號(hào)。然后逐漸減少N（在實(shí)驗(yàn)三中N=30, K=5， K為步長(zhǎng)值，訓(xùn)練的時(shí)候每次迭代N-K）

生成式對(duì)抗網(wǎng)絡(luò)GAN最近在NLP領(lǐng)域有哪些應(yīng)用？

Mixed MLE訓(xùn)練的MaliGAN完整算法如下：

生成式對(duì)抗網(wǎng)絡(luò)GAN最近在NLP領(lǐng)域有哪些應(yīng)用？

在12，梯度更新的時(shí)候，第二項(xiàng)（highlight的部分）貌似應(yīng)該是logP（我最崇拜的學(xué)長(zhǎng)發(fā)郵件去問(wèn)過(guò)一作）。至于第一部分為什么梯度是近似于這種形式，可以參考Bengio組的另一篇文章：Boundary-Seeking Generative Adversarial Networks

這個(gè)BGAN的Intuition就是：令G去學(xué)習(xí)如何生成在D決策邊界的樣本，所以才叫做boundary-seeking。作者有一個(gè)特別的技巧：如圖，當(dāng)D達(dá)到最優(yōu)的時(shí)候，滿足如下條件，Pdata是真實(shí)的分布，Pg是G生成的分布。

生成式對(duì)抗網(wǎng)絡(luò)GAN最近在NLP領(lǐng)域有哪些應(yīng)用？

我們對(duì)它進(jìn)行一點(diǎn)微小的變換：這個(gè)形式厲害之處在于，盡管我們沒(méi)有完美的G，但是仍然可以通過(guò)對(duì)Pg賦予權(quán)重來(lái)得到真實(shí)的分布，這個(gè)比例就是如圖所示，基于該G的最優(yōu)D和（1-D）之比。當(dāng)然我們很難得到最優(yōu)的D，但我們訓(xùn)練的D越接近最優(yōu)D，bias越低。而訓(xùn)練D（標(biāo)準(zhǔn)二分類器）要比G簡(jiǎn)單得多，因?yàn)镚的目標(biāo)函數(shù)是一個(gè)會(huì)隨著D變動(dòng)而變動(dòng)的目標(biāo)。

生成式對(duì)抗網(wǎng)絡(luò)GAN最近在NLP領(lǐng)域有哪些應(yīng)用？

文章后面給出了如何求梯度的數(shù)學(xué)公式，這里就不貼了。

回到MaliGAN，作者給出了實(shí)驗(yàn)數(shù)據(jù)，比SeqGAN的效果要更好，看BLEU score.

生成式對(duì)抗網(wǎng)絡(luò)GAN最近在NLP領(lǐng)域有哪些應(yīng)用？

原文鏈接：https://arxiv.org/pdf/1702.07983v1.pdf

4. 用SeqGAN做機(jī)器翻譯，中科院自動(dòng)化所在三月中旬放出了這篇文章：Improving Neural Machine Translation with Conditional Sequence Generative Adversarial Nets，這篇文章主要的貢獻(xiàn)就是第一次將GAN應(yīng)用到了NLP的傳統(tǒng)任務(wù)上面，而且BLEU有2的提升。

這個(gè)模型他們稱之為CSGAN-NMT，G用的是傳統(tǒng)的attention-based NMT模型，而D有兩種方案，一種是CNN based，另一種是RNN based，通過(guò)實(shí)驗(yàn)比較發(fā)現(xiàn)CNN的效果更好。推測(cè)的原因是RNN的分類模型在訓(xùn)練早期能夠有極高的分類準(zhǔn)確率，導(dǎo)致總能識(shí)別出G生成的數(shù)據(jù)和真實(shí)的數(shù)據(jù)，G難以訓(xùn)練（因?yàn)榭偸莕egative signal）,

這篇文章的重點(diǎn)我想是4.訓(xùn)練策略，GAN極難訓(xùn)練，他們首先是用MLE來(lái)pretrain G，然后再用G生成的樣本和真實(shí)樣本來(lái)pretrain D，當(dāng)D達(dá)到某一個(gè)準(zhǔn)確率的時(shí)候，進(jìn)入對(duì)抗性訓(xùn)練的環(huán)節(jié)，GAN的部分基本和SeqGAN一樣，用policy gradient method+MC search，上面已經(jīng)講過(guò)了不再重復(fù)。但是由于在對(duì)抗性訓(xùn)練的時(shí)候，G沒(méi)有直接接觸到golden target sentence，所以每用policy gradient更新一次G都跑一次professor forcing。這里我比較困惑，我覺(jué)得是不是像Jiwei那篇文章，是用D給出的Reward來(lái)更新G參數(shù)之后，又用MLE來(lái)更新一次G的參數(shù)（保證G能接觸到真實(shí)的樣本，這里就是目標(biāo)語(yǔ)言的序列），但這個(gè)方法是teacher-forcing不是professor forcing。

最后就是訓(xùn)練Trick茫茫，這篇文章試了很多超參數(shù)，比如D要pretrain到f=0.82的時(shí)候效果最好，還有pretrain要用Adam，而對(duì)抗性訓(xùn)練要用RMSProp，同時(shí)還要和WGAN一樣將每次更新D的權(quán)重固定在一個(gè)范圍之內(nèi)。

原文鏈接：https://arxiv.org/pdf/1703.04887.pdf

5.最后3月31號(hào)放到Arxiv上的文章：Improved Training of Wasserstein GANs, WGAN發(fā)布之后就引起轟動(dòng)，比如Ian在Reddit上就點(diǎn)評(píng)了這篇文章，NYU的又祭出了這篇，令WGAN在NLP上也能發(fā)揮威力。

在WGAN中，他們給出的改進(jìn)方案是：

判別器最后一層去掉sigmoid

生成器和判別器的loss不取log

每次更新判別器的參數(shù)之后把它們的絕對(duì)值截?cái)嗟讲怀^(guò)一個(gè)固定常數(shù)c

不要用基于動(dòng)量的優(yōu)化算法（包括momentum和Adam），推薦RMSProp，SGD也行

這里引用自知乎專欄：令人拍案叫絕的Wasserstein GAN - 知乎專欄

文章寫(xiě)得深入淺出，強(qiáng)烈推薦。

其中第三項(xiàng)就是機(jī)器翻譯文章中也用到的weight clipping，在本文中，他們發(fā)現(xiàn)通過(guò)weight clipping來(lái)對(duì)D實(shí)施Lipschitz限制（為了逼近難以直接計(jì)算的Wasserstein距離），是導(dǎo)致訓(xùn)練不穩(wěn)定，以及難以捕捉復(fù)雜概率分布的元兇。所以文章提出通過(guò)梯度懲罰來(lái)對(duì)Critic（也就是D，WGAN系列都將D稱之為Critic）試試Lipschitz限制。

如圖：損失函數(shù)有原來(lái)的部分+梯度懲罰，現(xiàn)在不需要weight clipping以及基于動(dòng)量的優(yōu)化算法都可以使用了，他們?cè)谶@里就用了Adam。同時(shí)可以拿掉Batch Normalization。

生成式對(duì)抗網(wǎng)絡(luò)GAN最近在NLP領(lǐng)域有哪些應(yīng)用？

如圖所示，實(shí)驗(yàn)結(jié)果很驚人，這種WGAN—GP的結(jié)構(gòu)，訓(xùn)練更加穩(wěn)定，收斂更快，同時(shí)能夠生成更高質(zhì)量的樣本，而且可以用于訓(xùn)練不同的GAN架構(gòu)，甚至是101層的深度殘差網(wǎng)絡(luò)。

生成式對(duì)抗網(wǎng)絡(luò)GAN最近在NLP領(lǐng)域有哪些應(yīng)用？

同時(shí)也能用于NLP中的生成任務(wù)，而且是character-level 的language model，而MaliGAN的實(shí)驗(yàn)是在Sentence-Level上面的。而且前面幾篇提到的文章2,3,4在對(duì)抗性訓(xùn)練的時(shí)候或多或少都用到了MLE，令G更夠接觸到Ground Truth，但是WGAN-GP是完全不需要MLE的部分。

生成式對(duì)抗網(wǎng)絡(luò)GAN最近在NLP領(lǐng)域有哪些應(yīng)用？