雷锋网按：2018年，NLP领域有诸多令人欣喜的进展。例如，雷锋网曾报道谷歌在I/O大会上展示了Google Assistant中的Duplex技术，能够在理解上下文的情况下连续对话，帮助用户预定餐厅、理发店等任务；微软小冰发布“全双工语音感官交互”和“共感模型”，聊天能力升级，除了持续对话外，还能引导话题，还发展了写诗、写摘要、作词作曲演唱等才艺。
但是，我们离电影《Her》中那个贴心全能的人工智能“塞曼萨”还很遥远。NLP领域还有哪些难题亟待解决呢？NLP大牛、Salesforce首席科学家Richard Socher特意撰文指出了NLP领域的三座大山，雷锋网进行了不改变原意的编辑。
【 图片来源：ticary solutions 】
语言是人类所独有的能力，是智慧的体现。但是通过人工智能技术——特别是自然语言处理（NLP）——我们正在赋予机器理解语言的能力，为我们人类与机器交互开辟了一个全新的领域。
今天你可以走进黑暗的起居室，要求Alexa为你打开智能灯，并调节到令人感到舒适的75%亮度。或者，你可以询问有关于世界另一头儿的天气状况。业界所取得的最新进步在谷歌最近放出的关于Duplex的演示中得到了体现。在演示中，人工智能助手可以给商家打电话并完成预约。曾经看起来像在科幻小说里的东西，现在已经变成了现实，但是为了实现真正复杂的人机交互，机器必须能够处理更加直观、联系上下文和更加自然的对话——这仍然是一个挑战。我的职业生涯都集中在NLP技术上，这是一个和人工智能一样古老的研究领域，而我们仍然处于这个旅程的开始阶段。
语言是分享信息并与我们周围的人交流的基本工具，但是机器需要费力理解语言的复杂性，以及我们人类是如何充分利用语言进行交流的。情感分析、问答系统和联合多任务学习技术的进步使得人工智能能够真正理解人类的意图和我们交流的方式。
不得不说，语言天生就很难。它不断进化，它是高度细微的，它需要普通人年复一年的学习才能掌握。通过情绪分析技术，我们可以利用AI来理解给定话语中的某些特定内容，例如提到的品牌或正面的、负面的和中性的电影评论。但是我们也可以理解说话者的态度和意图（她生气了吗？高兴吗？惊讶？准备买了吗？）。从客户服务到在线社区审核，再到算法交易，通过即时分析数千条推文或数百条产品评论，了解公众对品牌的感受，对于企业来说是非常有价值的。
情感分析技术已经存在了一段时间，但并不总是很准确。然而，这是随着NLP技术的进步而改善的。在Salesforce，我担任首席科学家，我们的爱因斯坦人工智能服务（Einstein AI）允许品牌商可以实时分析电子邮件、社交媒体和聊天对话中的情感，以便提供更好的客户体验。准确的情绪分析结果可以为企业提供很多帮助，例如，服务代理人可以知道哪些不满意的客户是需要优先帮助的、应该向谁提供促销优惠、可以识别产品缺陷、测量总体产品满意度、甚至通过社交媒体渠道监控品牌满意度。目前已有其他科技公司也提供类似的服务。
我们也需要读懂上下文的含义。假设你经营肥皂生意，有人在推特上写道“这种肥皂对婴儿来说真的很棒”。这可以被看作是对肥皂适合婴儿的积极认可，或者讽刺地暗示它对年龄大一点的孩子来说很糟糕。在那句话里有太多的语境，并且这只是一个非常简单的陈述！教会AI分析句子结构的所有可能含义，并理解人在特定上下文中的意图，这是自然语言处理研究中的一大挑战。它既需要标记的数据来改进模型训练，也需要新的模型，这些模型可以学习上下文并同时在许多不同类型的任务中共享内容。
随着NLP技术能够更好地解析文本中的含义，帮助我们管理生活的数字助理的智能程度将会提高。Siri和Google Assistant等应用程序已经能够为常见问题提供相当好的答案，并能够执行相当简单的命令。理想的情况下，我们应该能够问我们的计算机任意的问题，并得到较好的答复。
得到更好答复的一种方法是确保计算机能够理解这个问题。如果你问“我的飞机什么时候到达？”计算机是如何知道你是在谈论你的航班还是从Amazon上订购的木工工具？计算机通过更深入地理解语义，以及更智能地使用上下文数据来更好地猜测我们的意图。使用NLP，我们正在研究如何学习上下文的每一层含义，以便AI可以一次处理所有上下文而不会错过重要信息。
例如，动态共聚焦网络（dynamic coattention networks）可以根据不同的问题来解释单个文档，例如“哪个队代表超级碗50中的NFC？”或者“谁在第四节完成了触地得分？”通过这种有条件的解释，它可以反复地假设多个答案，以便得到最好、最准确的结果。
科学界善于搭建运行良好的单任务的人工智能模型。但是，更直观、对话性的和上下文理解将需要AI模型能够不断地学习——将新任务与旧任务集成，并在过程中学习执行越来越复杂的任务。一般来讲，这想法对AI是正确的，但在语言方面却是部分正确，这里需要一些灵活性。
“谁是我的客户？”该问题提出一个非常简单的任务：创建客户列表。但是接下来的问题，“谁是我在西北太平洋地区最适合某特定产品的消费者呢？”现在我们添加了一层复杂性，它需要许多集成任务来回答限定的问题，例如：如何定义“最好”？每个客户在哪里？什么因素促使一个客户对一个产品感兴趣？每增加一个需要查询的项目，问题的复杂性便急剧增加。
Salesforce Research最近创建了自然语言技术十项全能竞赛，该竞赛利用答疑系统的力量，在单个模型中处理NLP的10项最艰巨的任务：问题回答、机器翻译、总结、自然语言推理、情感分析、语义、角色标注、关系抽取、面向目标对话、数据库查询生成和代词解析。使用多任务问答模型完成测试，单个模型在没有任何特定参数或模块的情况下可联合学习和处理不同的任务。这不仅意味着数据科学家不再需要为每个任务建立、训练和优化单独的模型，还意味着该模型将具有zero-shot 学习能力——换句话说，该模型能够处理以前从未见过的或者经过专门训练的任务。
随着研究人员继续改进这类模型，我们将看到AI交互在处理更复杂的任务时会变得更加智能。
虽然我们已经在NLP技术上花了很长时间，但依旧处于早期阶段。然而，希望NLP的改进能使AI改变我们与机器交互的方式。
Via hbr.org
相关文章：
正在生成分享图...
包永刚