从NLP终生学习开始，谈谈深度学习中记忆结构的设计和使用

雷锋网 AI 科技评论按：终生学习，简单说是让模型有能力持续地学习新的信息，但更重要的是让模型学习新信息的同时还不要完全忘记以往学习过的内容（避免「灾难性遗忘」），是深度学习的长期发展和大规模应用中必不可少的一项模型能力。

近期，「NLP 网红」Sebastian Ruder 小哥把终生学习能力融入了语言模型中，方法是加入一个片段式记忆存储模块。实际上类似的做法也并不是第一次得到应用了，雷锋网 AI 科技评论一并介绍几篇相关论文。

Episodic Memory in Lifelong Language Learning

终生语言学习中片段式记忆的作用

论文地址：https://arxiv.org/abs/1906.01076

内容简介：首先我们把「终生语言学习」（lifelong language learning）任务定义为：模型需要从连续的文本样本流中学习，其中不会指明数据集的边界。作者们提出了一个用片段式记忆存储结构增强语言模型的方式，模型中的存储可以进行稀疏经验重放，也可以进行局部适应，以减缓这种任务中的灾难性遗忘现象。另外，作者们也表明，这个记忆存储结构的空间复杂度可以进行大幅简化（可以降低 50% 到 90%），只需要随机选择把哪些样本存储在记忆中，这种做法对性能的影响非常小。作者们认为片段式记忆存储部件是通用语言智能模型中不可或缺的重要组件。

通过记忆能力增强模型表现其实并不是新鲜事，「经验重放（experience replay）」的思路最早可以追溯到 1990 年代的强化学习机器人控制论文 《Programming Robots Using Reinforcement Learning and Teaching》（https://www.aaai.org/Papers/AAAI/1991/AAAI91-122.pdf ）以及《Self-Improving Reactive Agents Based On Reinforcement Learning, Planning and Teaching》 （http://www.incompleteideas.net/lin-92.pdf ），论文中用教学的方式让机器人学会新的技能，那么记忆能力就与教学过程相配合，记录已经学会的技能。

下面我们再介绍几个新一些的成果

Human Level Control Through Deep Reinforcement Learning

通过深度强化学习实现人类级别的控制

论文地址：https://storage.googleapis.com/deepmind-media/dqn/DQNNaturePaper.pdf

论文亮点：DeepMind 发表在《Nature》的鼎鼎大名的 DQN 论文中也使用了经验重放。在强化学习的设定中，智能体通过与环境交互获得数据（相当于监督学习中的标注数据集），经验重放可以让智能体重放、排练曾经执行过的动作，更高效地使用已经采集到的数据。当然了，DQN 的另一大贡献是学习到原始输入的高维表征，不再需要人工的特征工程。

Memory-Augmented Monte Carlo Tree Search

记忆增强的蒙特卡洛树搜索

论文地址：https://webdocs.cs.ualberta.ca/~mmueller/ps/2018/Chenjun-Xiao-M-MCTS-aaai18-final.pdf

AAAI 2018 杰出论文

论文简介：这篇论文把一个记忆结构和蒙特卡洛树搜索结合起来，为在线实时搜索提出了一种新的利用泛化性的方式。记忆结构中的每个存储位置都可以包含某个特定状态的信息。通过综合类似的状态的估计结果，这些记忆可以生成逼近的估计值。作者们展示了，在随机情况下，基于记忆的逼近值有更高可能性比原始的蒙特卡洛树搜索表现更好。

经验重放还有一些高级改进

Prioritized Experience Replay

优先经验重放

论文地址：https://arxiv.org/abs/1511.05952

论文亮点：这篇论文的作者们提出，在之前的研究中，智能体学习到的经验是均匀地从重放记忆中采样的。而既然记忆的存储来自于智能体实际的探索活动，这就意味着智能体进行活动、获得记忆的分布和从记忆中采样、利用记忆的分布是一样的。作者们认为，智能体获得的记忆中肯定有一些是重要的、有一些是不那么重要的，我们应当更多地利用比较重要的记忆，这样可以用同样多的记忆提高智能体的表现。这篇论文中作者们就设计了一个为记忆的优先程度排序的框架，更多地重放重要的记忆，以便更快地学习。作者们在 DQN 上做了这个实验，改进后的 DQN 比原来的（均一记忆）的 DQN 在绝大多数游戏中都取得了更好的表现。

Hindsight Experience Replay

后见经验重放

论文地址：https://arxiv.org/abs/1707.01495

论文亮点：假想要让机械臂执行一个用末端在桌面上推方块到指定地点的任务。对于强化学习模型来说，初次尝试基本是注定失败的；如果不是特别的幸运，接下来的几次尝试也同样会失败。典型的强化学习算法是无法从这些失败经验中学习的，因为它们一直接收到固定的失败（-1）反馈，也就不含有任何可以指导学习的信号。

人类在执行任务的时候其实有一个直觉的感受是：即便我没有达成原来那个给定的目标，我起码还是完成了另外一个目标的。HER 的核心思想就是把这一人类直觉公式化。在这里，HER 会把实际达到的目标暂且看成要达到的目标；进行这个替换以后，算法认为自己毕竟达到了某个目标，从而可以得到一个学习信号进行学习，即便达到的目标并不是最开始任务要求的那个目标。如果持续进行这个过程，最终算法可以学会达成任意一个目标，其中也自然就包括了我们最开始要求的目标。

依靠这样的办法，即便最开始的时候机械臂根本就碰不到圆盘、以及反馈是稀疏的，最终它也学会了如何把圆盘拨到桌子上的指定位置。这个算法之所以称为 Hindsight Experience Replay 后见经验重放，就是因为它是在完成了一次动作之后再选定目标、重放经验进行学习。也所以，HER 可以和任何策略无关的强化学习算法结合起来使用，比如 DDPG+HER。

这 7 篇论文打包下载：https://www.yanxishe.com/resourceDetail/1005

雷锋网 AI 科技评论整理