<mark id="oztn4"></mark>
0
| 本文作者： 汪思穎 | 2017-10-16 16:42 |
雷鋒網 AI科技評論按，本文作者華南理工大學胡楊，本文首發于知乎專欄GAN + 文本生成 + 讀博干貨，雷鋒網 AI科技評論獲其授權轉載。本文為下篇，上篇參見強化學習在生成對抗網絡文本生成中扮演的角色（Role of RL in Text Generation by GAN）（上）。
5. 一些細節 + 一些延伸
上文所述的，只是 RL + GAN 進行文本生成的基本原理，大家知道，GAN在實際運行過程中任然存在諸多不確定因素，為了盡可能優化 GAN 文本生成的效果，而后發掘更多GAN在NLP領域的潛力，還有一些值得一提的細節。
5.1. Reward Baseline：獎勵值上的 Bias
在4.2節中提到，我們采用鑒別器D給予生成樣本 的概率得分（
屬于真實樣本的概率）作為獎勵
，既然是概率值，應該意識到這些概率得分都是非負的，如此一來即便生成出再差的結果，鑒別器D也不會給出負
進行懲罰。從理論上來講，生成器的訓練會趨向于降低較小獎勵值樣本
出現的概率而提高較大獎勵值樣本
出現的概率，然而在實做時，由于采樣不全等不可控因素的存在，這樣不夠分明的獎懲區別將有可能使得生成器G的訓練變得偏頗。
實際上，在強化學習的對話生成模型當中，就已經出現了此類問題。解決的方法很簡單，我們設置一個獎勵值 的基準值Baseline，每次計算獎勵值的時候，在后面減去這個基準值作為最終的 獎勵 or 懲罰 值，使得生成器G的生成結果每次得到的獎懲有正有負，顯得更加分明。記獎懲基準值為
，則4.1節中優化梯度的計算公式修改為：
對應地，在 RL + GAN 的文本生成任務中，同樣在鑒別器D對各個生成樣本打出的概率得分上減去獎懲基準值 ，則4.2節中 SeqGAN 與 Conditional SeqGAN 期望獎勵值的優化梯度計算公式也分別修改為如下：
5.2. REGS：一人犯錯一人當
細心的讀者可以發現，在SeqGAN的獎勵優化梯度計算公式的推導中，由鑒別器D給予的生成樣本獎勵得分其實是順應序列文本的生成過程，逐詞產生的，可以看到之前的推導公式中顯示了對于Partly文本序列的階段性獎勵值求和再求平均。然而在起初的實驗中，根據最終推導的獎勵值優化梯度計算公式，鑒別器D被訓練為用于對整句生成結果進行評估打分，這樣的話，鑒別器D的打分對于生成序列中的每一個token都是同等的存在，要獎勵就一起獎勵（獎勵值可視為相同），要懲罰就一起懲罰，這種做法會導致一個后果，看下面的例子。
比如有這樣一個對話組（包含真實回答和生成回答）：
question = ['你', '叫', '什么', '名字', '？']
real_answer = ['我', '叫', '張三', '。']
fake_answer = ['我', '不', '知道', '。']
很顯然，鑒別器D能夠輕易辨識后者回答是假的，必然會給出極低的獎勵值得分，但是仔細對比真/假兩個回答可以發現，第一個詞 “我 ” 其實和真實樣本的第一個詞是一樣的，而最后一個字符 “。”其實也并無大礙，它們其實并沒有錯，真正錯誤的是 “不 ” 和 “知道 ” 這兩個詞，但很不幸，鑒別器判定 fake_answer 的整體回答是假的，原本無辜的詞項 “我 ” 和 “。” 也要跟著一起接受低分判定的懲罰。
讓我們回到 GAN + RL 對文本生成模型的優化原理，假設 是面對輸入上文
時生成對話下文
的概率，我們將它拆分成逐個單詞拼接的形式，每一個出現的詞匯都將收到之前context的影響。
在4.1，4.2節中提到，如果生成樣本 被鑒別器D打出低分（受到懲罰），生成器G將被訓練于降低產出此結果的概率。結合上面這條公式，倘若單獨將生成序列中的一部分前綴
拿出來與真實樣本中完全相同，豈不是也要接受整體低分而帶來的懲罰？
解決這一缺陷的直接方法就是把獎懲的判定粒度進一步細化到 word 或 character 級別，在文本逐詞生成的過程中對partly的生成結果進行打分。這種處理其實在SeqGAN的論文中[17]就已經實施了，拓展到Conditional SeqGAN中，優化梯度的計算公式應改寫為如下：
公式中， 是計算的關鍵，它代表鑒別器D在文本逐詞生成過程中獲得部分文本的情況下對于最終reward的估計，簡而言之就是每得到一個新的生成詞，就結合此前生成的前序文本估計最終reward，并作為該生成詞單獨的reward，SeqGAN的論文中使用蒙特卡洛搜索[21]（Monte Carlo Search，MC search）的方法計算部分生成序列對于整體reward的估計值。而在Conditional SeqGAN的論文中，賦予了這種處理一個名字 —— Reward for Every Generation Step（REGS）。
5.3. MC Search & Discriminator for Partially Decoded Sequences：準度與速度的抉擇
上一節說到SeqGAN中使用MC search進行部分序列獎勵估計值 的計算，作為REGS操作的關鍵計算，其難處在于，我們并不能預知部分生成序列能給我們帶來的最終結果，就好像一場籃球比賽，可能半場結束比分領先，卻也不能妄言最終的比賽結果一樣。
既然如此，在只得到部分序列的情況下， 只得估計獲得，Monte Carlo Search[21]就是其中一種估計方法，Monte Carlo Search的思想極其簡單，假設我們已經擁有了部分生成的前綴
，我們使用當前的Generator，強制固定這個前綴，并重復生成出$M$個完整的序列（有點采樣實驗的意思），分別交給鑒別器D進行打分，這
個模擬樣本的平均獎勵得分即為部分序列
的獎勵估計值
。
當然，使用MC search的缺點也很明顯：每生成一個詞，就要進行 次生成采樣，非常耗時；還有一小點，每當我們計算較為后期的一些部分序列獎勵估計值的時候，總是會無法避免地再一次計算前面早期生成的項，這樣計算出來的
可能導致對于較前子序列（比如第一個詞）的過擬合。
另外一種方法提出于Conditional SeqGAN的論文，干脆訓練一個可以對部分已生成前綴進行打分的new鑒別器D。將某真實樣本的 的全部前綴子序列（必須從第一個詞開始）集合記作
，同樣將某生成樣本$X^-$的全部前綴子序列集合記作
，我們每次從這兩者中隨機挑選一個或若干個標定為
或
（與原序列相同），與原序列一同加入鑒別器D的訓練中，這樣訓練得到的Discriminator便增添了給前綴子序列打分的能力，直接使用這樣的Discriminator給前綴子序列打分即可獲得
。這種方法的耗時比起使用MC search要少很多，但得損失一定的準度。
一句話總結兩種 的計算方法：一種是利用部分序列YY出完整序列來給鑒別器打分，而另一種則直接將部分序列加入鑒別器的訓練過程，得到可以為部分序列打分的鑒別器，一個較慢，另一個快卻損失準度，如何選擇就看大家了。
5.4. Teacher Forcing：給Generator一個榜樣
在開始講解SeqGAN中的Teacher Forcing之前，先幫助大家簡單了結一下RNN運行的兩種mode：(1). Free-running mode；(2). Teacher-Forcing mode[22]。前者就是正常的RNN運行方式：上一個state的輸出就做為下一個state的輸入，這樣做時有風險的，因為在RNN訓練的早期，靠前的state中如果出現了極差的結果，那么后面的全部state都會受牽連，以至于最終結果非常不好也很難溯源到發生錯誤的源頭，而后者Teacher-Forcing mode的做法就是，每次不使用上一個state的輸出作為下一個state的輸入，而是直接使用ground truth的對應上一項作為下一個state的輸入。
就拿Seq2Seq模型來舉例，我們假設正輸出到第三項，準備生成第四項：
input = ['a', 'b', 'c', 'e', 'f', 'g', 'h']
output = ['o', 'p', 's', ...]
label = ['o', 'p', 'q', 'r', 's', 't', 'u']
Free-running mode下的decoder會將第三項錯誤的輸出 output[2] = 's'（下標從0開始）作為下一個state的輸入，而在Teacher-forcing mode下，decoder則會將正確樣本的第三項 label[2] = 'q' 作為下一個state的輸入。 當然這么做也有它的缺點，因為依賴標簽數據，在training的時候會有較好的效果，但是在testing的時候就不能得到ground truth的支持了。最好的結果是將Free-running mode的behavior訓練得盡可能接近于Teacher-forcing mode，Professor Forcing[23]使用GAN嘗試實現了這一目標。
當然，這些都是題外話，我們要回到Teacher-Forcing mode最初的motivation：訓練（迭代）早期的RNN非常弱，幾乎不能給出好的生成結果（以至于破灌破摔，產生垃圾的output影響后面的state），必須依靠ground truth強行扶著走，才能慢慢進入正軌。
SeqGAN也存在這樣的問題，一開始的生成器G非常弱，即便是經過一定量的預訓練，也幾乎生成不出好的Result，然后這些bad result給到鑒別器D必然只能返回很低的 （懲罰），生成器G的訓練只能根據鑒別器的打分來優化而無法得到good example的指導，永遠不知道什么是好的結果，結果必然是惡性循環。于是，有必要在SeqGAN訓練中給到生成器G真實樣本的指導，也就是告訴生成器：“什么樣的樣本才配得到高分
?”
4.2節中提到，生成器G 和 判別器D的訓練時交替進行的，由于鑒別器返回的打分是判定輸入樣本為真的概率，我們可以隨機取出一部分真實的樣本對話組 ，然后直接設置他們的鑒別器獎勵值為
（或者其他任意定義的最高分），將它們加入生成器G的訓練過程中，這樣生成器就能知道何種樣本能得到最高的獎勵，從而一定程度上避免了SeqGAN的訓練過程由于一方的弱勢而發生崩塌。
或者也可以這樣：用訓練好的鑒別器D也為隨機抽樣的真實樣本打分，然后加入到生成器G的訓練過程中，不過，一定要確保鑒別器D已經得到充分訓練，至少給予任意真實樣本 的打分要高于baseline才行（獎勵值經過偏置處理后也必須為正）。
5.5. Actor-Critic：更廣義上的GAN？
在DeepMind的一篇半綜述式的文章[24]中，談到了強化學習中的另一個特殊的模型——Actor-Critic，并分析了這個模型與GAN之間的聯系。
首先我們回顧一下GAN中鑒別器D和生成器G優化時的目標函數：
再說說強化學習，在基于策略迭代的強化學習中，通過嘗試當前策略的action，從環境獲得 ，然后更新策略。這種操作在游戲實驗環境中非常有效，因為游戲系統有封閉且清晰的環境，能夠穩定地根據各種接收到的action客觀地給出對應
，而在現實生活中，很多時候并沒有封閉清晰的環境，給定action應該得到什么樣的
本身也不準確，只能通過設定DIY的打分器來實現，顯然這么做很難完美model真實世界千變萬化的情況。
那么，能不能先學習出一個能夠準確評估出獎勵值的值函數 ，盡可能地描述環境，對各種action返回較為公正的預期獎勵呢？也就是說
的估計模型本身也是被學習的，這就是Actor-Critic，Actor部分采用傳統的Policy Gradient優化策略
，Critic部分借助“Q-Learning”學習出最優的action-value值函數，聽起來有沒有點像GAN的模式？來看看它的目標函數，其中
指任意一中Divergence，值域非負當且僅當兩個分布相同時取值為零即可（比如，KL-divergence， JS-divergence 等等）：
文中將GANs模型比作一種特殊形式的Actor-Critic，并比較了兩者各自的特點以及后續的改進技術在兩者上的適配情況。試想一下，既然強化學習技術幫助GAN解決了在離散型數據上的梯度傳播問題，那么同為強化學習的Actor-Critic也為對抗式文本生成提供了另外一種可能。
5.6. IRGAN：兩個檢索模型的對抗
IRGAN[25]這篇工作發表于2017年的SIGIR，從作者的陣容來看就注定不是一篇平凡的作品，其中就包含SeqGAN的原班人馬，作者將生成對抗網絡的思想應用于信息檢索領域，卻又不拘泥于傳統GAN的經典Framework，而是利用了IR領域原本就存在的兩種不同路數的model：生成式IR模型 和 判別式IR模型。
生成式IR模型目標是產生一個query document的關聯度分布，利用這個分布對每個輸入的query返回相關的檢索結果；而判別式IR模型看上去更像是一個二類分類器，它的目標是盡可能地區分有關聯查詢對
光從兩個模型簡單的介紹來看就能絲絲感覺到它們之間特殊的聯系，兩種風格迥異的IR模型在GAN的思想中“有緣地”走到了對立面，我們將生成式IR模型記作： ，將判別式IR模型記作：
，于是整個IRGAN的目標函數為：
在IRGAN中，鑒別器D定義為判別式IR模型的邏輯回歸：
于是鑒別器D的目標函數進一步寫為：
相對地，生成器G就直接輸出以query為condition答案池中所有document與該query的關聯分布，不幸地，我們必須將通過這個關聯分布，過濾出當前認為最相關的document答案，才能作為鑒別器D的輸入來判定此時此刻檢索結果的質量，原本連續型的分布經過這一步的折騰又變成離散型的數據了，還好,我們有強化學習，設 ，則生成器G的目標函數被寫成：
也就是最大化鑒別器D給出的獎勵，而這個獎勵值主要來源于檢索結果形成的查詢對 在判別式IR模型中被認為確實有關聯的概率之和。將求和符號內的項記作：
，按照Policy Gradient的方式進行梯度優化，并使用4.1節中的推導方法描述
的優化梯度，在實做時為了方便，采樣
個當前生成式IR模型給出的查詢結果求近似。
當然，也不能忘了我們的baseline—— ，文中設置baseline為當前查詢結果的平均期望
。
上述是針對Pointwise情形的IR任務，不同于Pointwise情形著重于得到直接的檢索結果，Pairwise情形的IR把更多精力放在了ranking上，其返回結果 中全是非對稱二元對，其中
比
與當前的查詢項關聯性更高。IRGAN也可以擴展到Pairwise的情形，原則是：“一切從減”。 鑒別器函數將改寫為：
而假設生成器G是一個softmax函數，則Pairwise情形下的變形和簡化推導如下：
IRGAN在Pairwise情形下的總目標函數如下，其中， 表示真實的非對稱二元組，而
則表示生成式IR模型生成的二元組：
IRGAN的一大特點是，對抗model中的兩個組件各自都是一種IR模型，所以經過對抗訓練之后，不管拿出來哪個，都有希望突破原先的瓶頸。作者還關于IRGAN的訓練目標是否符合納什均衡做了一些討論，盡管在真實檢索的應用中很難獲得所謂的真實關聯分布，但作者認為不管是觀察到的關聯樣本還是未觀察到的關聯樣本，判別IR模型的輸出總是和生成IR模型的對應輸出存在著正相關的作用力，于是也孕育而生了文中那個關于浮力和拖拽重物最終達到漂浮平衡狀態的略顯晦澀的比喻。
結語
這一領域的發展之迅速，也許在我完成這篇Blog的時候，又有一批工作爭先恐后的冒出來了，但最終的結局肯定不止于此，我也不怎么擅長結尾，也許要等待GAN來為我，為我們帶來一個奇妙的結局。
Acknowledgement
要特別感謝臺灣大學李宏毅老師生動的授課[26]，這為我在多個知識點上的理解帶來了重要的幫助。
Reference
[1] 何永燦CSDN. 好玩的文本生成[EB/OL]. http://geek.csdn.net/news/detail/131622.
[2] Ashwin, K, Vijayakumar, Michael, Cogswell, Ramprasath, R, Selvaraju, Qing, Sun, Stefan, Lee, David, Crandall, Dhruv, Batra. Diverse Beam Search: Decoding Diverse Solutions from Neural Sequence Models[J/OL]. https://arxiv.org/abs/1610.02424v1.
[3] Minh-Thang, Luong, Hieu, Pham, Christopher, D, Manning. Effective Approaches to At-tention-based Neural Machine Translation[J/OL]. https://arxiv.org/abs/1508.04025.
[4] W. Chan, N. Jaitly, Q. Le and O. Vinyals, “Listen, attend and spell: A neural network for large vocabulary conversational speech recognition,” ICASSP, 2016, https://research.google.com/pubs/pub44926.html.
[5] Jiwei, Li, Minh-Thang, Luong, Dan, Jurafsky. A Hierarchical Neural Autoencoder for Par-agraphs and Documents[J/OL]. https://arxiv.org/abs/1506.01057.
[6] 鄭華濱. 從PM到GAN——LSTM之父Schmidhuber橫跨22年的怨念[EB/OL]. https://zhuanlan.zhihu.com/p/27159510?utm_source=zhihu&utm_medium=social.
[7] Jürgen, Schmidhuber. Learning Factorial Codes by Predictability Minimization[J]. Neural Computation, 1992, 4(6): 863-879, http://www.mitpressjournals.org/doi/abs/10.1162/neco.1992.4.6.863.
[8] Ian, J, Goodfellow, Jean, Pouget-Abadie, Mehdi, Mirza, Bing, Xu, David, Warde-Farley, Sherjil, Ozair, Aaron, Courville, Yoshua, Bengio. Generative Adversarial Networks[J/OL]. https://arxiv.org/abs/1406.2661v1.
[9] Samuel, R, Bowman, Luke, Vilnis, Oriol, Vinyals, Andrew, M, Dai, Rafal, Jozefowicz, Samy, Bengio. Generating Sentences from a Continuous Space[J/OL]. https://arxiv.org/abs/1511.06349.
[10] 鄭華濱. 令人拍案叫絕的Wasserstein GAN[EB/OL]. https://zhuanlan.zhihu.com/p/25071913.
[11] Ishaan, Gulrajani, Faruk, Ahmed, Martin, Arjovsky, Vincent, Dumoulin, Aaron, Courville. Improved Training of Wasserstein GANs[J/OL]. https://arxiv.org/abs/1704.00028.
[12] Matt, J, Kusner, José, Miguel, Hernández-Lobato. GANS for Sequences of Discrete Ele-ments with the Gumbel-softmax Distribution[J/OL]. https://arxiv.org/abs/1611.04051.
[13] Martin, Arjovsky, Soumith, Chintala, Léon, Bottou. Wasserstein GAN[J/OL]. https://arxiv.org/abs/1701.07875v1.
[14] Sebastian, Nowozin, Botond, Cseke, Ryota, Tomioka. f-GAN: Training Generative Neural Samplers using Variational Divergence Minimization[J/OL]. https://arxiv.org/abs/1606.00709.
[15] Eric, Jang, Shixiang, Gu, Ben, Poole. Categorical Reparameterization with Gum-bel-Softmax[J/OL]. https://arxiv.org/abs/1611.01144.
[16] Jiwei, Li, Will, Monroe, Alan, Ritter, Michel, Galley, Jianfeng, Gao, Dan, Jurafsky. Deep Reinforcement Learning for Dialogue Generation[J/OL]. https://arxiv.org/abs/1606.01541v3.
[17] Lantao, Yu, Weinan, Zhang, Jun, Wang, Yong, Yu. SeqGAN: Sequence Generative Adver-sarial Nets with Policy Gradient[J/OL]. https://arxiv.org/abs/1609.05473.
[18] Mehdi, Mirza, Simon, Osindero. Conditional Generative Adversarial Nets[J/OL]. https://arxiv.org/abs/1411.1784.
[19] Scott, Reed, Zeynep, Akata, Xinchen, Yan, Lajanugen, Logeswaran, Bernt, Schiele, Honglak, Lee. Generative Adversarial Text to Image Synthesis[J/OL]. https://arxiv.org/abs/1605.05396.
[20] Jiwei, Li, Will, Monroe, Tianlin, Shi, Sébastien, Jean, Alan, Ritter, Dan, Jurafsky. Adver-sarial Learning for Neural Dialogue Generation[J/OL]. https://arxiv.org/abs/1701.06547.
[21] Silver, D.; Huang, A.; Maddison, C. J.;Guez, A.; Sifre, L.; et al. 2016. Mastering the game
of go with deep neural networks and tree search. Nature 529(7587):484–489, http://www.nature.com/nature/journal/v529/n7587/abs/nature16961.html.
[22] Williams, R. J. and Zipser, D. (1989). A learning algorithm for continually running fully recurrent neural networks. Neural computation, 1(2), 270–280, http://www.mitpressjournals.org/doi/abs/10.1162/neco.1989.1.2.270.
[23] Alex, Lamb, Anirudh, Goyal, Ying, Zhang, Saizheng, Zhang, Aaron, Courville, Yoshua, Bengio. Professor Forcing: A New Algorithm for Training Recurrent Networks[J/OL]. https://arxiv.org/abs/1610.09038v1.
[24] David, Pfau, Oriol, Vinyals. Connecting Generative Adversarial Networks and Ac-tor-Critic Methods[J/OL]. https://arxiv.org/abs/1610.01945.
[25] Jun, Wang, Lantao, Yu, Weinan, Zhang, Yu, Gong, Yinghui, Xu, Benyou, Wang, Peng, Zhang, Dell, Zhang. IRGAN: A Minimax Game for Unifying Generative and Discriminative Information Retrieval Models[J/OL]. https://arxiv.org/abs/1705.10513v1.
[26] Hungyi, Lee. Machine Learning and having it Deep and Structured[EB/OL]. http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS17.html.
