9篇论文、12个workshop、2个Tutorial，谷歌是 ACL 2017上亮眼的一颗星 | ACL 2017

雷锋网AI科技评论按：计算机语言学和自然语言处理最顶尖的会议之一ACL 正在2017年7月30日至8月4日期间在加拿大温哥华举行。雷锋网 AI科技评论将赴前线带来一手报道，并对论文及大会概况进行梳理。

ACL 2017中，谷歌的参与力度极大

在刚刚结束的 CVPR 2017中，来自各大科技界公司的论文就数量众多；ACL 2017 中业界公司们同样是一股重要力量。谷歌就已经发文对自己参加 ACL 2017 的各方面情况做了介绍，雷锋网 AI 科技评论编译如下。

作为自然语言处理和理解方面水平领先的研究团队、以及 ACL 2017 的铂金赞助商，谷歌会在这届 ACL 上大展拳脚，研究范围涵盖句法、语义、论述、交谈、多语言建模、情绪分析、问答、总结，以及构建一般意义上的监督和无监督系统、顶尖水平的建模以及根据非直接的监督学习。谷歌希望 ACL 2017 的参会者都可以到谷歌的展位前留步，看看他们的demo、见见他们的研究者，以及讨论谷歌正在进行的项目和可能的研究机会，来为地球上的几十亿人解决一些有价值的问题。

在此次 ACL 中，有两位谷歌的研究员 Sujith Ravi 和 Thang Luong 分别担任机器学习和机器翻译两个区域的区域主席；还有 Margaret Mitchell 担任着公关主席。

研究成果和大会活动方面，谷歌此次公有9篇论文被 ACL 接受；另外还有12个Workshop和2个Tutorial，可谓是相当充实精彩。

9 篇 ACL 接受论文简介

• A Polynomial-Time Dynamic Programming Algorithm for Phrase-Based Decoding with a Fixed Distortion Limit

• 一种用于基于短语的翻译模型解码的、带有固定失真限制的多项式-动态时间编程算法

• 论文简介：基于短语的翻译模型解码一般情况下都被认为是NP完全问题，可以看作是旅行商问题的简化形式（Knight，1999）。在实际使用中，人们经常为基于短语的翻译系统增加一个硬性失真限制，限制翻译过程中短语的移动。然而，增加的这种限制对复杂度的影响并没有得到充分的研究。这篇论文中描述了一个为基于短语的解码器设计的、带有固定失真限制的动态编程算法。这种算法的时间复杂度是O(nd!lh^{d+1})，其中 n 为句子长度，d 为失真限制，l 是从句子中任意位置算起的短语数目边界，h 则与任意待翻译的词在目标语言中的翻译种类的最大数目有关。这个算法使用了一种新的表征，而这样的表征给人们如何理解基于短语的翻译模型解码带来了新的视角。

• 这篇论文有口头报告环节
  

• 论文地址：https://www.transacl.org/ojs/index.php/tacl/article/view/1020 

• Cross-Sentence N-ary Relation Extraction with Graph LSTMs 

• 利用图 LSTM 做跨句子的 n 元关系提取

• 论文简介：以往关系抽取方面的研究都关注的是单个句子中的二进制关系。近期的 NLP 研究开始进军高价值的领域，激发了在更通用的设定下跨越多个句子提取 n 元关系的研究热情。这篇论文中，作者们研究了一种基于图 LSTM 的关系提取框架，它可以轻松地进行拓展用于多个句子间的 n 元关系提取。图的格式提供了一种统一的方式用来探索不同的 LSTM 方案并包含多种句内和句间的依赖性，比如序列、句法、论述关系。可以为这些实体学习出一个鲁棒的内容表征，然后把它作为关系分类器的输入，这样就可以方便地拓展为任意数目的多元关系，从关联关系中进行多任务学习也可以。论文中用精准医疗中的两个重要领域对所提的框架进行了评估，展现出它在监督学习和弱监督的条件下都可以发挥作用。跨句子的关系抽取可以产生更多的知识，多任务学习也显著提升了抽取的准确率。论文中还详尽对比了不同的 LSTM 方法，对语言学分析会如何影响模型表现提出了有趣的见解。

• 这篇论文有口头报告环节

• 论文地址：https://www.transacl.org/ojs/index.php/tacl/article/view/1028 

• Neural Symbolic Machines: Learning Semantic Parsers on Freebase with Weak Supervision

• 神经象征机器：通过弱监督学习Freebase中的语义分析器
  

• 论文简介：利用神经网络的统计能力做语言理解和象征推理是很难的，这需要神经网络在大规模知识数据库中执行高效的集成操作。在这项研究中，作者们介绍了一种神经象征机器（Neural Symbolic Machine，NSM），其中包含两个部分：1，一个神经网络“编程器”，也就是一个把语言映射到程序的串到串模型，其中还使用了一个可变值的内存来处理组合性；2，一个计算象征的“计算机”，也就是一个 Lisp 解释器，它可以执行程序，而且可以通过修剪搜索空间来帮助找到好程序。作者们把所构建的预测问题作为一个任务，然后用强化学习的方法来直接优化任务反馈。为了在弱监督的条件下训练模型，并提升强化学习的稳定性，作者们使用了一个迭代的最大似然训练过程对其进行了增强。NSM在 WebQuestionsSP 数据集上只用问-答对训练就可以取得前所未见的表现，不需要另外获取任何特征工程或者特定领域的知识。

• 论文地址：https://arxiv.org/abs/1611.00020 

• Coarse-to-Fine Question Answering for Long Documents

• 用于长文章的粗读到精度问题回答

• 论文简介：论文中提出了一种用于回答问题的框架，它对于较长的文档也可以保持现有模型性能的最佳水平，甚至有所提升。多数成功的阅读理解方案都依靠的是循环神经网络（RNNs），在长句子上运行这样的网络非常的慢，因为很难并行处理多个句子。人类阅读时可以在段落间快速跳转、找到有关联的部分、然后仔细阅读这些部分形成答案，作者们就受此启发把一个用于选择有关的句子的粗大、快速的模型和从选择到的句子中生成答案的高成本 RNN 组合在一起。这些选出的句子也就是从答案中合并训练得到的潜变量，这个过程只用到了强化学习。实验中这个模型在富有挑战性的 WIKIREADING 数据集的子集和一个新数据集中都表现出了顶级的水平，同时模型的速度还提升了3.5倍到6.7倍。

• 论文地址：https://homes.cs.washington.edu/~eunsol/papers/acl17eunsol.pdf 

• Automatic Compositor Attribution in the First Folio of Shakespeare

• 用于莎士比亚的 First Folio 的自动创作者归因

• 论文简介：创作者归因是一项依赖对页面做拼写变化分析和视觉细节检查的书目研究，它能够发现历史印刷品中的一组页面是出自谁的手中。这篇论文中介绍了一种新的无监督模型，它可以联合描述所需的文本和视觉特征用来区分创作者。把这种方法应用在莎士比亚的 First Folio 的图像之后，该模型预测出的属性结果和书目研究学者的人工判断契合度达到了87%，即便是在ORC后的文本输出结果上。

• 论文地址：https://arxiv.org/abs/1704.07875 

• A Nested Attention Neural Hybrid Model for Grammatical Error Correction

• 用于语法错误更正的含有注意力的混合神经网络模型

• 论文简介：语法错误更正系统努力完成两类任务，一类是更正语序和用法方面的大范围错误，另一类是纠正局部的拼写和变形错误。通过在近期的神经机器翻译方法基础上进行进一步开发，论文中为语法错误更正提出了一种新的用于带有内含的注意力层的混合式神经网络模型。实验表明这种新模型通过单词集成和字符级别信息的方法，对以上两类错误都可以有效更正，在标准 CoNLL-14数据集上的 benchmark 结果也显示出该模型的表现相比以往模型有着显著提高。进一步的分析还表明，内含的注意力机制的使用对所提模型的性能提升起到了很大作用，可以证明它对于需要在拼写上进行细微修改的局部错误更正中发挥的作用尤其好。

• 论文地址：https://arxiv.org/abs/1707.02026 

• Get To The Point: Summarization with Pointer-Generator Networks
  

• 指向重点：用指针-生成器网络进行文本总结

• 论文简介：串到串的神经网络编码模型为文本的抽象总结提供了一种可行的新途径（这意味着这些总结不再局限于简单地从原始文本中对段落做选择和重新排序）。然而，这些模型都有两个缺点：它们容易出现不准确的事实表达，而且容易用词经常重复。在这篇论文中，作者们提出了一个新颖的架构，它可以用两种正交的方式增强标准的串到串注意力模型。首先，论文中使用了一个混合“指针-生成器”网络，它可以通过指针的方式从源文本中复制词汇，这有助于提高重新生成的信息的准确率，同时还能靠生成器保留生成新词的能力；其次，作者们使用了覆盖率的指标来追踪已经得到总结的内容，这可以抑制重复。把这种方法用于 CNN、Daily Mail 文章的总结任务中，表现可以领先当时最好的抽象方法 ROUGE 分数2分以上。

• 论文地址：https://arxiv.org/abs/1704.04368 

• Identifying 1950s American Jazz Composers: Fine-Grained IsA Extraction via Modifier Composition

• 辨别1950年代的美国爵士作曲家：依靠修改器创作的细粒度 IsA 提取

• 论文简介：论文中介绍了一种生成带有实例的细粒度分类名称的方法。与当时最好的方法往往把类别标签作为单个词法单元不同，论文中所提的方法考虑了每个标签修改器与开头之间的关系。把重新构建维基百科的分类页面作为评价方式，基准方案依靠的是得到了广泛运用的 Hearst 模式法，有不错的表现，新方法仍然在准确率方面取得了10以上的提升。
  

• 论文地址：https://www.seas.upenn.edu/~epavlick/papers/finegrained-isa.pdf 

• Learning to Skim Text

• 学会跳过文本

• 论文简介：循环神经网络（RNN）在自然语言处理的许多自领域中都体现出了不小的潜力，包括文档分类、机器翻译、自动回答问题等等。但是在这些潜力之外，许多 RNN 模型都需要逐字地读完整段文字，这样就让它们处理长文档的时候非常慢。举例说明的话，让 RNN 读一本书然后回答关注书的问题就很难。在这篇论文中，作者们展示了一种在有必要的情况下边阅读文字边跳过不重要的信息的做法。其中的模型是一个循环神经网络，它能够学会看到输入文本的前几个字之后就知道跳过多远。作者们使用了一种标准的策略梯度方法来训练模型做出离散的跳过决定。论文中在四个不同的任务中对模型进行了测试，包括数字预测、情绪识别、新闻文章分类以及自动问答，这个修改后带有跳过功能的 LSTM 可以比标准的序列 LSTM 快达6倍，同时还能保留同等的甚至略微提升的准确率。

• https://arxiv.org/abs/1704.06877 
  

谷歌的研究人员还参与了12个workshop

• 2017 ACL Student Research Workshop

• 学生研究 workshop

• 网址： https://sites.google.com/site/aclsrw2017/ 

• WiNLP: Women and Underrepresented Minorities in Natural Language Processing

• WiNLP NLP界女性和未被充分代表的少数群体 workshop

• 网址： http://www.winlp.org/winlp-workshop/ 

• BUCC: 10th Workshop on Building and Using Comparable Corpora
  

• BUCC 第十届对比语料库的构建和应用 workshop

• 网址：https://comparable.limsi.fr/bucc2017/ 

• CLPsych: Computational Linguistics and Clinical Psychology – From Linguistic Signal to Clinical Reality

• CLPsych 计算性语言学和临床心理学 - 从语言学信号到临床现实

• 网址：http://clpsych.org/ 

• Repl4NLP: 2nd Workshop on Representation Learning for NLP

• Repl4NLP：第二届NLP表征学习workshop

• 网址： https://sites.google.com/site/repl4nlp2017/ 

• RoboNLP: Language Grounding for Robotics

• RoboNLP：机器人语言基础

• 网址：https://robonlp2017.github.io/ 

• CoNLL 2017 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies

• CoNLL 2017共享任务：从原始文本到通用从属的多语言分割

• 网址：http://universaldependencies.org/conll17/ 

• CoNLL-SIGMORPHON-2017 Shared Task: Universal Morphological Reinflection

• CoNLL-SIGMORPHON-2017共享任务：通用形态再感染

• 网址：https://sites.google.com/corp/view/conll-sigmorphon2017/ 

• SemEval: 11th International Workshop on Semantic Evaluation

• SemEval：第11届语义提取国际workshop
  

• 网址：http://alt.qcri.org/semeval2017/ 

• ALW1: 1st Workshop on Abusive Language Online

• ALW1：第一届网上不文明用语workshop

• 网址：https://sites.google.com/site/abusivelanguageworkshop2017/ 

• EventStory: Events and Stories in the News

• EventStory：新闻中的事件和故事

• 网址：https://sites.google.com/site/eventsandstoriesinthenews/ 

• NMT: 1st Workshop on Neural Machine Translation

• NMT：第一届神经机器翻译workshop

• 网址：https://sites.google.com/site/acl17nmt/ 

谷歌还组织了两个 Tutorial

• Natural Language Processing for Precision Medicine

• 用于精准医疗的自然语言处理

• 网址：http://acl2017.org/tutorials/ 

• Deep Learning for Dialogue Systems

• 用于对话系统的深度学习

• 网址：http://acl2017.org/tutorials/ 

ACL 2017现在正在热烈进行中，以上的研究内容中有感兴趣的可以根据网址进行参与。

雷锋网 AI 科技评论会继续在 ACL 2017和近期的多个学术会议中带来各方面的报道，请感兴趣的读者继续关注我们。

相关文章：

ACL 正会在即，哪两位重量级嘉宾将出席做主题演讲？| ACL 2017

现场：ACL 2017 Day 0, 计算机语言学思想碰撞的浪潮开启 | ACL 2017

ACL开幕式最全解读：大会的三个「最」和三个「第一次」都是什么？主席们分享了哪些肺腑之言？｜ACL 2017