强化学习在生成对抗网络文本生成中扮演的角色（Role of RL in Text Generation by GAN）（上）

雷锋网 AI科技评论按，本文作者华南理工大学胡杨，本文首发于知乎专栏GAN + 文本生成 + 读博干货，雷锋网 AI科技评论获其授权转载。

1.基础：文本生成模型的标准框架

文本生成（Text Generation）通过 机器学习 + 自然语言处理 技术尝试使AI具有人类水平的语言表达能力，从一定程度上能够反应现今自然语言处理的发展水平。

下面用极简的描述介绍一下文本生成技术的大体框架，具体可以参阅各种网络文献（比如：CSDN经典Blog“好玩的文本生成”[1]），论文等。

文本生成按任务来说，比较流行的有：机器翻译、句子生成、对话生成等，本文着重讨论后面两种。基于深度学习的Text Generator 通常使用循环神经网络（Basic RNN，LSTM，GRU等）进行语义建模。在句子生成任务中，一种常见的应用：“Char-RNN”（这里“Char”是广义上的称谓，可以泛指一个字符、单词或其他文本粒度单位），虽然简单基础但可以清晰反应句子生成的运行流程，首先需要建立一个词库Vocab包含可能出现的所有字符或是词汇，每次模型将预测得到句子中下一个将出现的词汇，要知道softmax输出的只是一个概率分布，其维度为词库 Vocab 的size，需再通过函数将输出概率分布转化为 One-hot vector，从词库 Vocab 中检索得出对应的词项；在“Char-RNN”模型训练时，使用窗口在语料上滑动，窗口之内的上下文及其后紧跟的字符配合分别为一组训练样本和标签，每次以按照固定的步长滑动窗口以得出全部“样本-标签”对。

与句子生成任务类似，对话生成以每组Dialogue作为“样本-标签”对，循环神经网络RNN_1对Dialogue上文进行编码，再用另一个循环神经网络RNN_2对其进行逐词解码，并以上一个解码神经元的输出作为下一个解码神经元的输入，生成Dialogue下文，需要注意的是：在解码前需配置“开始”标记 _，用于指示解码器Decoder开启Dialogue下文首词（or 字）的生成，并配置“结束”标记 _，用于指示解码器结束当前的 Text Generation 进程。

这便是众所周知的“Seq2Seq”框架的基础形态，为了提高基础Seq2Seq模型的效果，直接从解码器的角度有诸如 Beam-Search Decoder[2]、Attention mechanism Decoder[3]（配置注意力机制的解码器）等改进，而从神经网络的结构入手，也有诸如Pyramidal RNN[4]（金字塔型RNN）、Hierarchical RNN Encoder[5]（分层循环网络编码器）等改进。改进不计其数，不一一详举，但不管如何，预测结果的输出始终都是一个维度为词库大小的概率分布，需要再甄选出最大值的Index，到词库Vocab中检索得出对应的单词（or 字符）。

2.问题：GAN为何不能直接用于文本生成

2.1. GAN基础知识

GAN对于大家而言想必已经脍炙人口了，这里做一些简单的复习。GAN从结构上来讲巧妙而简单（尽管有与其他经典工作Idea相似的争议[6~7]），也非常易于理解，整个模型只有两个部件：1.生成器G；2.判别器D。生成模型其实由来已久，所以生成器也并不新鲜，生成器G的目标是生成出最接近于真实样本的假样本分布，在以前没有判别器D的时候，生成器的训练依靠每轮迭代返回当前生成样本与真实样本的差异（把这个差异转化成loss）来进行参数优化，而判别器D的出现改变了这一点，判别器D的目标是尽可能准确地辨别生成样本和真实样本，而这时生成器G的训练目标就由最小化“生成-真实样本差异”变为了尽量弱化判别器D的辨别能力（这时候训练的目标函数中包含了判别器D的输出）。GAN模型的大体框架如下图所示：

我们再来简单复习一下GAN当中的一些重要公式，这一步对后文的阐述非常重要。不管生成器G是什么形状、多么深的一个神经网络，我们暂且把它看成一个函数 ，由它生成的样本记作： ，相对地，真实样本记作： 。同样，不管判别器D作为一个分类神经网络，我们也可将其视为一个函数 ，而这个函数的输出即为一个标量，用于描述生成样本 与真实样本 之间的差距。

而GAN模型的整体优化目标函数是：

其中函数 如下：

根据连续函数的期望计算方法，上式变形为：

先求外层的 的话，对积分符号内的多项式求导取极值得到目标D：

代回原式：

所以，当生成器G能生成出与真实样本一样分布的样本，那么ok，就达到最好的结果，然后大家注意一点，这里生成样本的loss衡量方法是JS散度。

2.2. GAN面对离散型数据时的困境（啥是离散型数据？）

GAN的作者早在原版论文[8]时就提及，GAN只适用于连续型数据的生成，对于离散型数据效果不佳（使得一时风头无两的GAN在NLP领域一直无法超越生成模型的另一大佬VAE[9]）。文本数据就是最典型的一种离散型数据，这里所谓的离散，并不是指：文本由一个词一个词组成，或是说当今最流行的文本生成框架，诸如Seq2Seq，也都是逐词（或者逐个Character）生成的。因为哪怕利用非循环网络进行一次成型的Sentences生成，也无法避免“数据离散”带来的后果，抱歉都怪我年轻时的无知，离散型数据的真正含义，我们要从连续性数据说起。 图像数据就是典型的连续性数据，故而GAN能够直接生成出逼真的画面来。我们首先来看看图像数据的形状：

图像数据在计算机中均被表示为矩阵，若是黑白图像矩阵中元素的值即为像素值或者灰度值（抱歉外行了，我不是做图像的），就算是彩色图像，图像张量即被多加了一阶用于表示RGB通道，图像矩阵中的元素是可微分的，其数值直接反映出图像本身的明暗，色彩等因素，很多这样的像素点组合在一起，就形成了图像，也就是说，从图像矩阵到图像，不需要“采样”（Sampling），有一个更形象的例子：画图软件中的调色板，如下图，你在调色板上随便滑动一下，大致感受一下图像数据可微分的特性。

文本数据可就不一样了，做文本的同学都知道，假设我们的词库（Vocabulary）大小为1000，那么每当我们预测下一个出现的词时，理应得到的是一个One-hot的Vector，这个Vector中有999项是0，只有一项是1，而这一项就代表词库中的某个词。然而，真正的隔阂在于，我们每次用无论什么分类器或者神经网络得到的直接结果，都是一个1000维的概率分布，而非正正好好是一个One-hot的Vector，即便是使用softmax作为输出，顶多也只能得到某一维上特别大，其余维上特别小的情况，而将这种输出结果过渡到One-hot vector 然后再从词库中查询出对应index的词，这样的操作被称为“Sampling”，通常，我们找出值最大的那一项设其为1，其余为0。

当前神经网络的优化方法大多数都是基于梯度的（Gradient based），很多文献这么说：GAN在面对离散型数据时，判别网络无法将梯度Back propagation（BP）给生成网络。这句话当时让我等听的云里雾里，不妨换一个角度理解，我们知道，基于梯度的优化方法大致意思是这样的，微调网络中的参数（weight），看看最终输出的结果有没有变得好一点，有没有达到最好的情形。

但是判别器D得到的是Sampling之后的结果，也就是说，我们经过参数微调之后，即便softmax的输出优化了一点点，比如上图的例子中，正确结果本应是第三项，其output的倒数第二项从 变为了 ，第三项从 变为了 ，但是经过Sampling之后，生成器G输出的结果还是跟以前一模一样，并再次将相同的答案重复输入给判别器D，这样判别器D给出的评价就会毫无意义，生成器G的训练也会失去方向。

有人说，与其这样不如每次给判别器D直接吃Sampling之前的结果，也就是softamx输出的那个distribution，同样，这么做也有很大的问题。我们回到GAN的基本原理，判别器D的初衷，它经历训练就是为了准确辨别生成样本和真实样本的，那么生成样本是一个充满了float小数的分布，而真实样本是一个One-hot Vector，判别器D很容易“作弊”，它根本不用去判断生成分布是否与真实分布更加接近，它只需要识别出给到的分布是不是除了一项是 ，其余都是 就可以了。所以无论Sampling之前的分布无论多么接近于真实的One-hot Vector，只要它依然是一个概率分布，都可以被判别器D轻易地检测出来。

上面所说的原因当然也有数学上的解释，还记得在2.1节的时候，请大家注意生成样本的loss衡量标准是什么吗？没错，就是JS散度， 在应用上其实是有弱点的（参考文献[10]），它只能被正常地应用于互有重叠（Overlap）的两个分布，当面对互不重叠的两个分布 和 ，其JS散度：

大家再想想，除非softmax能output出与真实样本 exactly 相同的独热分布（One-hot Vector）（当然这是不可能的），还有什么能让生成样本的分布与真实样本的分布发生重叠呢？于是，生成器无论怎么做基于Gradient 的优化，输出分布与真实分布的 始终是 ，生成器G的训练于是失去了意义。

3. 过渡方案：对于GAN的直接改进用于文本生成

为了解决GAN在面对离散数据时的困境，最直接的想法是对GAN内部的一些计算方式进行微调，这种对于GAN内部计算方式的直接改进也显示出了一定的效果，为后面将GAN直接、流畅地应用于文本等离散型数据的生成带来了希望。 接下来简单介绍相关的两篇工作[11~12]。

3.1. Wasserstein-divergence，额外的礼物

Wasserstein GAN[13]（简称WGAN），其影响力似乎达到了原版GAN的高度，在国内也有一篇与其影响力相当的博文——“令人拍案叫绝的Wasserstein GAN”[10]，不过在看这篇论文之前，还要推荐另外一篇论文“f-GAN”[14]，这篇论文利用芬切尔共轭（Fenchel Conjugate）的性质证明了任何 都可以作为原先GAN中 （或者说 ）的替代方案。 f-GAN 的定义如下：

公式中的 被称为 f函数，它必须满足以下要求：

不难看出， 也是 的一种，f-GAN 原文提供了数十种各式各样的 ，为GAN接下来沿此方向上的改进带来了无限可能。

Wasserstein GAN 对GAN的改进也是从替换 这个角度对GAN进行改进，其详细的妙处大可参看文献[10,13]，总的来说，WGAN采用了一种奇特的 Divergence—— “推土机-Divergence”， 将两个分布看作两堆土，Divergence 计算的就是为了将两个土堆推成一样的形状所需要泥土搬运总距离。如下图：

使用 训练的GAN相比原版的GAN有更加明显的“演化”过程，换句话说就是，WGAN的训练相比与GAN更加能突显从“不好”到“不错”的循序渐经的过程。从上面的2.2节，我们知道JS散度在面对两个分布不相重叠的情况时，将发生“异常”，计算结果均为 ，GAN的训练过程也是这样，也许在很长一段训练的过程中，JS散度的返回值都是 ，只有到达某个临界点时，才会突然优化为接近最优值的结果，而Wasserstein散度的返回值则要平滑很多。

既然Wasserstein散度能够克服JS散度的上述弱点，那么使用Wasserstein GAN直接吸收生成器G softmax层output的Distribution Vector 与真实样本的 One-hot Vector，用判别器D 进行鉴定，即便判别器D不会傻到真的被“以假乱真”，但生成器output每次更加接近于真实样本的“进步”总算还是能被传回，这样就保证了对于离散数据的对抗训练能够继续下去。不过Wasserstein GAN的原著放眼于对于GAN更加远大的改进意义，并没有着重给出关于文本生成等离散数据处理的实验，反倒是后来的一篇“Improved Training of Wasserstein GANs”[11]专门给出了文本生成的实验，从结果上可以看出，WGAN生成的文本虽然远不及当下最牛X的文本生成效果，但好歹能以character为单位生成出一些看上去稍微正常一点的结果了，对比之下，GAN关于文本生成的生成结果显然是崩塌的。

3.2. Gumbel-softmax，模拟Sampling的softmax

另外一篇来自华威大学+剑桥大学的工作把改进GAN用于离散数据生成的重心放在了修改softmax的output这方面。如2.2节所述，Sampling 操作中的 函数将连续的softmax输出抽取成离散的成型输出，从而导致Sampling的最终output是不可微的，形成GAN对于离散数据生成的最大拦路虎，既然不用Sampling的时候，output与真实分布不重叠，导致JS散度停留于固定值 ，如果用了Sampling的话，离散数据的正常输出又造成了梯度 Back-Propagation 上天然的隔阂。

既然如此，论文的作者寻找了一种可以高仿出Sampling效果的特殊softmax，使得softmax的直接输出既可以保证与真实分布的重叠，又能避免Sampling操作对于其可微特征的破坏。它就是“耿贝尔-softmax”（Gumbel-Softmax），Gumbel-Softmax早先已经被应用于离散标签的再分布化[15]（Categorical Reparameterization），在原先的Sampling操作中， 函数将普通softmax的输出转化成One-hot Vector：

而Gumbel-Softmax略去了 + 这一步，能够直接给出近似Sampling操作的输出：

精髓在于这其中的“逆温参数” ，当 时，上式所输出的分布等同于 + 给出的 Sampling 分布，而当 时，上式的输出就接近于均匀分布，而 则作为这个特殊softmax中的一个超参数，给予一个较大的初始值，通过训练学习逐渐变小，向 逼近，这一部分详细内容可以阅读文献[15]。

论文的实验仅仅尝试使用配合Gumbel-Softmax的GAN进行长度固定为12的 Context-free grammar 序列生成，可见GAN的训练并没有崩塌，在少数样例上也得到了还算逼真的效果。

所以，对于GAN进行直接改进用于文本生成，虽说是取得了一定的成效，但距离理想的状态仍然道阻且长，有没有更好的办法呢？当然！

4. RL在GAN文本生成中所扮演的作用

4.1. 关于Reinforcement Learning的闲聊闲扯

强化学习（Reinforcement Learning，RL）由于其前卫的学习方式，本不如监督学习那么方便被全自动化地实现，并且在很多现实应用中学习周期太长，一直没有成为万众瞩目的焦点，直到围棋狗的出现，才吸引了众多人的眼球。

RL通常是一个马尔科夫决策过程，在各个状态 下执行某个动作 都将获得奖励（或者是"负奖励"——惩罚） ，而将从头到尾所有的动作连在一起就称为一个“策略”或“策略路径” ，强化学习的目标就是找出能够获得最多奖励的最优策略：

为了达到这个目标，强化学习机可以在各个状态尝试各种可能的动作，并通过环境（大多数是人类）反馈的奖励或者惩罚，评估并找出能够最大化期望奖励 的策略。

其实也有人将RL应用于对话生成的训练当中[16]，因为对话生成任务本身非常符合强化学习的运行机理（让人类满意，拿奖励）。设，根据输入句子 ，返回的回答 从人类得到的奖励记为 ，而Encoder-Decoder对话模型服从的参数被统一记为 ，则基于RL的目标函数说白了就是最大化生成对话的期望奖励，其中 表示在参数 下，一组对话 出现的概率。

既然是一个最优化的问题，很直接地便想到使用基于梯度（Gradient）的优化方法解决。当然，在强化学习中，我们要得到的是最优策略 ，此过程便在强化学习领域常听到的 Policy Gradient。我们把等式右边 中的项单独记为 ，它表示对话模型找到最优参数时所得到的奖励期望。在实做时，设某句话的应答有$N$种可能性，则每组对话 出现的概率可视为服从均匀分布，故还可以进行如下变形：

在优化过程中，对话模型的权重 更新如下， 为所获奖励的变化梯度，

借助复合函数的求导法则，继续推导奖励的变化梯度，

这样一来，梯度优化的重心就转化到了生成对话的概率上来，也就是说，通过对参数 进行更新，奖励会使模型趋于将优质对话的出现概率提高，而惩罚则会让模型趋于将劣质对话的出现概率降低。

自AlphaGo使得强化学习猛然进入大众视野以来，大部分对于强化学习的理论研究都将游戏作为主要实验平台，这一点不无道理，强化学习理论上的推导看似逻辑通顺，但其最大的弱点在于，基于人工评判的奖励 的获得，让实验人员守在电脑前对模型吐出来的结果不停地打分看来是不现实的，游戏系统恰恰能会给出正确客观的打分（输/赢 或 游戏Score）。基于RL的对话生成同样会面对这个问题，研究人员采用了类似AlphaGo的实现方式（AI棋手对弈）——同时运行两个机器人，让它们自己互相对话，同时，使用预训练（pre-trained）好的“打分器”给出每组对话的奖励得分 ，关于这个预训练的“打分器” ，可以根据实际的应用和需求自己DIY。

稍微感受一下RL ChatBot的效果：

4.2. SeqGAN 和 Conditional SeqGAN

前面说了这么多，终于迎来到了高潮部分：RL + GAN for Text Generation，SeqGAN[17]站在前人RL Text Generation的肩膀上，可以说是GAN for Text Generation中的代表作。上面虽然花了大量篇幅讲述RL ChatBot的种种机理，其实都是为了它来做铺垫。试想我们使用GAN中的判别器D作为强化学习中奖励 的来源，假设需要生成长度为T的文本序列，则对于生成文本的奖励值 计算可以转化为如下形式：

这里要说明几点，假设需要生成的序列总长度为 ， 是指先前已经生成的部分序列（在RL中可视为当前的状态），通过蒙特卡洛搜索得到 种后续的序列，尽管文本生成依旧是逐词寻找期望奖励最大的Action（下一个词），判别器D还是以整句为单位对生成的序列给出得分 。

在新一代的判别器 训练之前，生成器 根据当前判别器 返回的得分不断优化自己：

直到生成器G生成的文本足以乱真的时候，就是更新训练新判别器的时候了。一般来说，判别器D对生成序列打出的得分既是其判断该序列为真实样本的概率值，按照原版GAN的理论，判别器D对于 real/fake 样本给出的鉴定结果均为 时，说明生成器G所生成的样本足以乱真，那么倘若在上面的任务中，判别器屡屡对生成样本打出接近甚至高出 的得分时，即说明判别器D需要再训练了。在实做中为了方便，一般等待多轮生成器的训练后，进行一次判别器的训练。

SeqGAN的提出为GAN用于对话生成（Chatbot）完成了重要的铺垫，同样起到铺垫作用的还有另外一个GAN在图像生成领域的神奇应用——Conditional GAN[18~19]，有条件的GAN，顾名思义就是根据一定的条件生成一定的东西，该工作根据输入的文字描述作为条件，生成对应的图像，比如：

对话生成可以理解为同样的模式，上一句对话作为条件，下一句应答则为要生成的数据，唯一的不同是需要生成离散的文本数据，而这个问题，SeqGAN已经帮忙解决了。综上，我自己给它起名：Conditional SeqGAN[20]。根据4.1节以及本节的推导，Conditional SeqGAN中的优化梯度可写成：

不难看出，此式子与4.1节中的变化梯度仅一字之差，只是把“打分器”给出的奖励得分 换成了鉴别器认为生成对话来自真人的概率得分 。看似差别很很小，实际上 RL + GAN 的文本生成技术与单纯基于RL的文本生成技术有着本质的区别：在原本的强化学习对话生成中，虽然采用了AI互相对话，并设定了 jugle 进行打分，但这个 jugle 是预训练好的，在对话模型的训练过程当中将不再发生变化；RL + GAN 的文本生成乃至对话模型则不同，鉴别器D与生成器G的训练更新将交替进行，此消彼长，故而给出奖励得分的鉴别器D在这里是动态的（dynamic）。

RL+ GAN 利用强化学习中的 机制以及 Policy Gradient 等技术，巧妙地避开了GAN面对离散数据时梯度无法BP的难题，在使用强化学习的方法训练生成器G的间隙，又采用对抗学习的原版方法训练判别器D。 在Conditional SeqGAN对话模型的一些精选结果中，RL+ GAN 训练得到的生成器时常能返回一些类似真人的逼真回答（我真有那么一丝丝接近“恐怖谷”的感受）。

另外，相关细节与延伸参见强化学习在生成对抗网络文本生成中扮演的角色（Role of RL in Text Generation by GAN）（下）。