雷锋网按:在 ICLR 2017 举办之际,FAIR实验室撰文展示了团队在理解对话所做的研究和贡献,雷锋网进行编译,未经许可不得转载。
在 Facebook 的人工智能研究中心(FAIR),理解对话一直被认为是一个宏大和长期的 AI 研究目标。
一个真正有效的对话系统应该是一项辅助性的技术,这个系统很可能包括一个可以用自然语言与人类交流的与聊天机器人类似的系统。它可以帮助人们更好地理解周围的世界,更有效地和周围的人进行交流,消除沟通上的障碍。随着数字化内容的不断增多,研发此类技术将会变得越来越重要。
尝试着去理解和解释对话并不是一个新奇的想法。早在 20 年前,就有人尝试着去建造一台人类可以与之交流并且可以教它学习如何去对话的机器。它们结合了技术和工程,但是使用预编程的脚本响应就显得视野十分狭窄了。
多亏了近年来机器学习技术的发展,机器学习技术让 AI 智能体与人类用自然语言交流成为了一个更加现实的想法,得到了学术界和工业界的广泛关注。
然而,现在的大多数对话系统仍然是脚本化的:它们的自然语言理解的模块可能是基于机器学习的,但是它们的应答内容通常是由 if/then 语句或规则引擎来决定的。尽管相对于数十年前已经取得了进步,但是在很大程度上还是依据其巨大的文本数据库来创建它们的回答。
与聊天机器人进行自然语言的对话仍然是一个挑战,这将需要一系列研究上的突破。 FAIR 选择从两个方向来解决这个问题:一般的 AI 和机器通过交流进行推理以及在当前的对话系统中进行研究。并从实际使用的聊天机器人中吸取经验。 FAIR 的优势在于跨越两种方法的所遇到的多样性。从长期的类似于 CommAI intiative 的基础性研究,到短期的类似于 FastText 和 Facebook M 的应用型尝试。通过这些努力,再加上团队在 AI 频谱、从深度学习 NLP 到增强学习、计算机视觉和工程方面的专业知识, FAIR 希望能够取得有意义的自然语言对话进展。
FAIR 在对话方面工作的重要一点是, 团队如何将它置于一个明确的基础之中:
强大的基础: 针对于 NLP 问题的高级学习系统应该展现出比传统方法更好地性能。为了达到这个目的, FAIR 构建了 FastText, 用相对简单和容易理解的技巧来提供可达到的最佳效果。
清晰的评估:评价一个对话系统是一个很困难的问题。FAIR 提出了一个更好的工具来做到这一点。在 ICLR 2017,Facebook 与学术界分享了它们的发现和工具。其中包括训练和评估推理模型的 CommAI environment,以及可用于测试端对端对话模型的 bAbI. 由于 FAIR 与 Facebook M 的合作,这些工具已经在实际生产条件下进行了测试。
开放的研究:FAIR 通过会议或者预印的方式公开了其几乎所有的研究工作。同样地,代码和数据,包括上面提到的两个评估举措也作为开放源码发布了。正如在 FAIR 有多种多样的工作一样,AI 社区也有着极大的多样性。 FAIR 相信通过开放式的对话、共享工具和研究将会带来更大的进步。
在 ICLR, FAIR 提供了 7 篇论文来说明 FAIR 对话研究的质量、创新和广度。Lazaridou 等人 [6] 和 CommAI 团队 [1] 提出了使系统能够发现和使用基本沟通技巧的方向,是迈向强人工智能的第一步。Li 等人提出了 2 篇关于端对端对话系统如何使用现场对话来提升自身性能的论文 [2,5]。Bordes 等人将 bAbI 引入到面向目标场景中的端对端对话系统的测试。 FAIR 也展示了 Grave 等人和 Henaff 等人关于机器阅读的两篇论文,他们的研究实现了通过机器推动文本阅读的界限。
[1] CommAI: Evaluating the First Steps Towards a Useful General AI, M Baroni, A Joulin, A Jabri, G Kruszewski, A Lazaridou, K Simonic, T Mikolov
[2] Dialogue Learning With Human-In-The-Loop, J Li, AH Miller, S Chopra, MA Ranzato, J Weston
[3] Improving Neural Language Models with a Continuous Cache, E Grave, A Joulin, N Usunier
[4] Learning End-to-end Goal-oriented Dialog, A Bordes, YL Boureau, J Weston
[5] Learning Through Dialogue Interactions, J Li, AH Miller, S Chopra, MA Ranzato, J Weston
[6] Multi-Agent Cooperation and the Emergence of (Natural) Language, A Lazaridou, A Peysakhovich, M Baroni
[7]「Tracking the World State with Recurrent Entity Networks,」M Henaff, J Weston, A Szlam, A Bordes, Y LeCun
via research.fb,雷锋网编译