如何讓對抗網絡GAN生成更高質量的文本？LeakGAN現身說法：“對抗中，你可能需要一個間諜！”

雷鋒網 AI 科技評論按：自生成式對抗性網絡 GANs 出現以來，它和它的變體已經無數次在圖像生成任務中證明了自己的有效性，也不斷地吸引著越來越多的研究人員加入到提高GANs訓練的可控性和穩定性的研究中。

最初，由于其中的一個缺陷，GANs在文本生成方面無法得到有效的應用。得益于該團隊之前發表的SeqGAN，GANs在文本生成上有了可能，不過表現并沒有圖像生成任務中那么突出。主要問題之一就是，生成器 G 從鑒別器 D 獲得的反饋中含有的信息量太少，不足以有效地引導 G 更新、提升文本生成質量，尤其是當文本長度較長的時候。

這就引出了下面這個問題：如果讓鑒別器反饋更多信息給生成器，是否能夠有效地改善生成器在長句生成任務中的表現呢？上海交通大學俞勇教授、張偉楠助理教授及學生郭家賢、盧思迪、蔡涵聯合UCL計算機系汪軍教授共同完成的論文「Long Text Generation via Adversarial Training with Leaked Information」（通過有信息泄露的對抗性訓練生成長文本）中，他們就對長句子的文本生成這個問題進行了研究，找到了答案，提出了行之有效的方法,為對抗網絡廣泛用在機器人問答，自動生成新聞，和機器翻譯等應用中提供了可能性。

生成式對抗性網絡（GANs）最初是為生成圖像之類的連續數據設計的。之前該小組提出的 SeqGAN 等模型可以處理分段的序列離散數據，這樣就可以為對抗網絡文本生成提供了可能，展現出了一些有潛力的成果。由于英文文本是天然地分為一個一個詞的，逐詞的文本生成任務可以被建模為一個序列決策過程，對于其中的每一步，當前狀態是已經生成的詞，行為是即將要生成的詞，生成式網絡 G 就是一個把當前狀態映射到行為空間分布的隨機策略。當整句文本生成結束之后，生成的這個句子就會被送入鑒別器 D，它經過訓練之后能夠把真實的文本和生成的文本區分開，區分的結果就會作為 G 的得到的回報，引導它更新。

SeqGAN之后，研究人員們提出了許多把 GANs 及其變體用于文本生成的方法。然而，這些研究結果往往局限于生成的文本較短的情況（比如20個詞以內），更困難的長文本生成方面則沒有看到多少研究。在新聞報道、產品說明的自動生成這種實際任務中，長文本生成能力是不可或缺的。目前基于序列決策的文本生成方法中有一個很大的不足，那就是來自鑒別器 D 的概率標量反饋信號是稀疏的，因為文本雖然是由 G 在多輪行動中逐個詞生成的，但只有當整個句子都生成完畢后 G 才能收到來自 D 的反饋信號。而且，G 本應是在 D 的指導下更新自己的策略的，但 D 對這整段文字的反饋是一個標量，信息量極為有限，不足以保留過程中的句法結構和文本語意，也就無法有效地幫助 G 學習更新。

一方面，為了增加來自鑒別器 D 的信息量，它應當在最終的判別反饋值之外提供更多的指導信息，畢竟 D 是一個結構已知的、經過訓練的 CNN網絡，而不是一個黑箱子，完全有可能讓 D 提供更多的信息。另一方面，來自 D 的指導信息仍然是稀疏的，為了緩解這個問題，作者們想到了利用文本生成中的層次性，即：真實的文本樣本都是遵照語意結構和詞性之類的語言層次而寫出的。通過把整個文本生成任務按照層次結構分解成多個子任務，模型就能夠更輕松地進行學習。

在這篇論文中，作者們就沿著以上的思路，提出了名為 LeakGAN 的模型結構，同時處理 D 反饋信息量不足和反饋稀疏的兩個問題。LeakGAN 就是一種讓鑒別器 D 提供更多信息給生成器 G 的新方式。

如圖所示，為了利用從D中泄露出的高維信息，作者們參考DeepMind在ICML2017中發表的FeUdal Network設計了一個層次化的生成器 G，其中包含了一個高階的 Manager 模塊和低階的 Worker 模塊。Manager 模塊是一個 LSTM 網絡，它起到的作用是信息中介。在每一輪生成新一個單詞的過程中，Manager 模塊都會從鑒別器 D 接收到高維特征表征，比如 D 的CNN網絡中的feature map，然后 Manager 模塊就會利用這些信息形成指導目標（goal），作用于當前的 Worker 模塊。由于 D 和 G 的角色本來是對抗性的，D 中的信息只應當保留在自己內部；但現在有一些 D 中的信息被“泄露”給 G 了，好像間諜一樣，所以作者們把它命名為 LeakGAN。

接著，當 Manager 模塊生成了目標嵌入（goal embedding）之后，Worker 模塊會把當前已生成的單詞用另一個 LSTM 網絡編碼，然后把 LSTM 的輸出和目標嵌入結合起來，以確保能夠綜合依據 Manager 的指導和當前狀態生成一個合適的新單詞。通過這樣的過程，來自 D 的反饋信息就不僅僅表現為整句話生成完成后的判別結果的那個標量，更在這句話的生成過程中就通過目標嵌入向量的方式提供了許多信息，指導 G 提升自己的表現。

據作者們介紹，這是首個GAN框架中通過泄露信息的方式來更好地訓練生成器，并且結合了層次化強化學習來解決長文本生成問題的研究。

根據作者們的設計，生成器中 Manager 模塊接收來自 D 的特征向量、生成目標嵌入以及 Worker 模塊結合當前句子和目標生成新單詞的整個過程都是可微的，所以REINFROCE這樣的策略梯度算法可以被直接端到端地（end to end）用于訓練 G。但是，由于Manager 模塊和Worker模塊被期望能專注于各自的任務以識別到有意義的特征，所以正如FeUdal Network中的做法，Manager 模塊和 Worker 模塊是被單獨訓練的，其中 Manager 模塊要能從鑒別器的特征空間中預測到更有價值的方向，而 Worker 模塊沿著這個方向做出行動的話就會收到獎勵。訓練時， Manager 模塊和 Worker 模塊也是交替更新的，每次都是固定一個、更新另一個。

并且，作者們也仔細設計了訓練方法來應對一般的 GAN 訓練中容易出現的問題，比如當 D 比 G 強很多的時候會出現梯度消失的問題。受到 RankGAN 中排序方法的啟發，他們提出了一個簡單高效、基于排名的方法“自舉再激活”（Bootstrapped Rescaled Activation）來調整 D 的反饋大小。經過這個轉換后，每個mini-batch得到的反饋的期望和差值會成為常數，這個方法就相當于是一個值穩定器，當算法對數值大小很敏感的時候能夠起到很大幫助；而且，作為排序方法，它也能避免梯度消失的問題，這加速了模型的收斂。

作者們還采取了交替訓練（Interleaved Training）的方法來避免模式崩潰（mode collapse）的問題，即，在預訓練之后，不是像以往一樣全部由對抗式訓練直到收斂，而是讓監督學習訓練和對抗式訓練交替進行。這種做法的意義是能夠幫助模型避開不好的局部最小值，并避免模式崩潰。另一方面，加入的監督學習訓練也是對生成模型的一種隱式正則化，避免模型行為偏離監督學習的結果太遠。

訓練曲線如圖，可以看到，LeakGAN 的負對數似然下降得比以往的方法都要快得多；在文本長度為40的狀況下，以往的方法甚至很難收斂。

作者們基于生成的數據和真實數據做了許多的實驗。在基于生成的數據的實驗中，LeakGAN 在20到40詞長度的文本序列中取得了比以往模型明顯更低的負對數似然。（表1）

在基于真實數據的實驗中，作者們選用了 EMNLP 2017 WMT新聞、COCO圖像標注和中文詩詞分別作為長、中、短的文本語料，LeakGAN也取得了最高了BLEU分數。（表2、3、4）

在人類圖靈測試中，LeakGAN也比以往模型取得了明顯提高。（表5）

作者們還對 Manager 模塊和 Worker 模塊之間的互動行為做了深入的研究，結果表明 LeakGAN 在沒有顯式給出句子結構的情況下可以隱式地學到句子結構，比如標點符號、時態和長后綴。

下面是一個該模型生成文本例子與之前工作的對比：

研究的具體細節可以參見原論文 https://arxiv.org/abs/1709.08624 ，論文中有豐富的附錄介紹了訓練過程中的數據，提供了不少生成的句子，并且提供了模型代碼。

此外，我們也邀請到了論文作者之一的張偉楠到雷鋒網做公開課，講解這篇論文的成果以及用GANs做文本生成相關研究的更多狀況。

張偉楠現于上海交通大學計算機系和約翰·霍普克羅夫特研究中心擔任助理教授，研究方向為機器學習及其在數據挖掘問題中的應用。他于2011年畢業于上海交通大學計算機系ACM班，于2016年獲得英國倫敦大學學院計算機系博士學位，研究成果在國際一流學術會議和期刊上發表50篇論文，其中5次以第一作者身份在ACM國際數據科學會議KDD上發表；2016年獲得由微軟研究院評選的“全球SIGKDD Top 20科研新星”稱號；2017年獲得ACM國際信息檢索會議SIGIR的最佳論文提名獎。他曾在KDD-Cup用戶個性化推薦大賽獲得全球季軍，在全球大數據實時競價展示廣告出價算法大賽獲得最終冠軍。個人研究主頁：http://wnzhang.net/ 

公開課時間為9月28日周四晚20：00，感興趣的讀者可以掃碼報名，到時不要錯過哦！

論文相關內容雷鋒網 AI 科技評論編譯，感謝張偉楠助理教授、汪軍教授對本文的補充指正。