华人学者Steven Y. Feng合著论文获INLG2021最佳长论文

周杰伦三词作曲，曹植七步成诗。近年来，约束文本生成任务越来越引起人们的兴趣，该任务涉及在某些前提条件下构造自然语言输出，

最新消息，华人学者Steven Y. Feng与四位学者Jessica Huynh, Chaitanya Narisetty,

Eduard Hovy and Varun Gangal共同发表的题为SAPPHIIRE: Approaches for Enhanced Concept-to-Text Generation（SAPPHIRE：增强从概念到文本生成的方法）的研究论文获得了2021年INLG的最佳长论文奖！

今晚，论文作者Steven Y. Feng将作为代表出席第14届INLG会议，线上分享自然语言生成的团队研究。

INLG（International Conference on Natural Language Generation ）旨在讨论和传播自然语言生成领域的进步，今年，会议于9月20日至24日在苏格兰阿伯丁举行，与会者将在虚拟会议上介绍他们的研究。

除了世界级的研究报告外，今年的会议还将包括研讨会、教程、受邀专家的讲座和一个讨论小组：用户希望从现实世界的NLG中获得什么。小组讨论将由目前在计算机学习、NLG 和认知 AI 助手行业工作的学者领导。

虽然自然语言生成已经建立了70多年，但将其视为业务的基础技术却是在近些年。Gartner 等分析公司最近已认识到 NLG 是一种核心能力，同时INLG也表明，会议现已从一个利基学术团体走向学术和商业领域融合的广阔领域。

获奖学者

Steven Y. Feng，现为卡耐基梅隆大学（CMU）研究生，对NLP、机器学习、深度学习和人工智能研究有丰富的经验和热情。

个人主页：https://mobile.twitter.com/stevenyfeng

获奖论文

论文地址：tinyurl.com/sapphirelNLG

论文作者表示，人类能够从常识推理，甚至反演，这种能力可以定义为从一组概念生成逻辑句子来描述日常场景，在这种情况下，这些概念是必须以某种形式在输出文本中表示的单个单词。

因此，作者提出了一套简单而有效的概念到文本生成改进方案，称为SAPPHIRE: 集增强和短语填充、重组。具体来说，SAPPHIRE由两种主要方法组成:

1)增加输入概念集

2)将从baseline中提取的短语重组成更流畅、更有逻辑的文本。这些主要是与模型无关的（model-agnostic）改进，分别依赖于数据本身和模型自己的初始代。

通过使用BART和T5模型的实验，他们证明了这两种模型在生成性常识推理，即CommonGen任务上的有效性。通过广泛的自动和人工评估，我们发现SAPPHIRE显著提高了模型性能。深入的定性分析表明，SAPPHIRE有效地解决了基线模型生成的许多问题，包括缺乏常识、不够具体和流利性差等问题。

研究内容

6种语言生成模型的对比

以上几种NLG模型对比揭示了baseline的几个问题：

1）概念覆盖率与概念集大小密切相关，随着大小的增加，遗漏概念的概率更高

2）许多只是不完整的短语

3）迟钝反应问题

Baseline和人工的对比

如何解决BL模型的固有问题，近年来，随着模型改进的研究取得了很大的进展，许多文本生成任务的性能得到了显著改善。

在冯团队中，他们设计了两步走战略：通过提取关键字和注意矩阵，在训练期间从参考文献中扩充概念。对于短语重组直觉，提出了基于新训练阶段和掩蔽填充的两个方法。最后，通过综合评估，他们展示了SAPPHIRE是如何通过各种指标提高模型性能，以及解决baseline在常识、特异性和流畅性方面的问题。

他们的第一个方法：Kw-aug和Att-aug，分别在训练现成的关键字提取模型注意值时，从参考文献中提取关键字，使用它们在训练时扩展输入概念集。（通过动作联想场景，通过名词联想动作，也就是由名词扩增动词，由动词扩增状语等）

概念扩增

概念扩增的方法激发了Steven Y. Feng五人的想象力，是否有简单有效的方法可以从数据本身来提高这些自然语言生成的性能? 此外，是否有可能利用这些模型本身的输出来进一步提高它们的任务表现——某种"自我反省"?

在第二种方法中，他们从模型输出中提取非重叠的关键短语，然后构建一个新的概念集，其中包含这些关键短语和原始概念集中的其他非重叠概念。

也就是说，从原有的低端模型中输出“不那么流畅的句子”，然后提取新句子中的关键词，再根据新的关键词“扩增概念”。多次迭代，就能从相似逼近到精确。

如此，机器完成一轮“自我启发”，虽然并不算是自然语言范畴的“艺术创作”，却在实验中贯穿了形象思维与抽象思维经过复杂的辩证关系构成的思维方式。想象与联想，灵感与直觉，理智与情感，意识与无意识，它们在未来能否卡定在不同的向量图中，建模、量化，或许一问出口，便已有知。

参考资料：

https://twitter.com/stevenyfeng/status/1440330270058500102

雷锋网雷锋网雷锋网