雷锋网 AI 科技评论按:近年来,无论是聊天机器人技术,还是相关产品,都发展的非常迅速。近日,在雷锋网 AI 研习社公开课上,深圳狗尾草智能科技有限公司 AI Lab 主任邵浩系统性阐述聊天机器人的技术挑战,讨论聊天机器人理论的最新进展,介绍如何从零构建一款可用的聊天机器人,以及打造聊天机器人落地产品中需要注意的技术细节。
公开课回放视频网址:
http://www.mooc.ai/open/course/585?=shaohao
分享嘉宾:
邵浩:深圳狗尾草智能科技有限公司 AI Lab 主任,日本国立九州大学博士,中国中文信息学会青工委委员,中国计算机学会 YOCSEF 上海学术委员会委员,研究方向为人工智能和机器学习,发表论文四十余篇。
分享主题:从 0 到 1 构建聊天机器人
分享提纲:
1、聊天机器人关键技术及挑战
2、从 0 到 1 构建可用的聊天机器人
3、从认知到感知:知识图谱的核心作用
4、Gowild AI lab 简介,总结与讨论
雷锋网 AI 研习社将其分享内容整理如下:
虽然《从 0 到 1 构建聊天机器人》这个公开课标题起得有点唬人,但是还是希望大家通过这堂课了解我们公司相关团队在做聊天机器人时所遇到的一些问题和挑战,及相应的解决方案。
本次的分享分为三个部分,包括:
了解 Chatbot 的技术体系
如何从零构建一个可用的 Chatbot
讨论一些主流的理论技术及挑战——主要与深度学习相关
首先看一下为什么要做聊天机器人,这要从上世纪 80 年代起我们所经历过的四个时代说起:
第一个时代是 IT 时代,这是个人电脑出现的时代,它的特点是「运算力改变生活」,当时最具代表性的公司是微软和 IBM;
第二个时代是互联网时代,这个时代最典型的特征就是「连接颠覆一切」,当时最具代表性的公司就是 Google;
第三个时代是移动互联网时代,其最典型的特点是「数据利用效率的提升,和交互方式的改变」:数据利用效率方面的典型应用场景就是我们可以通过手机点外卖、叫车,这在以前是无法实现的事情;交互方式则从按键式交互变化到触屏交互。这个时代的代表性公司是苹果。
自从 Alpha Go 战胜李世石,我们就进入了最新的一个时代——AI 时代。这个时代所对应的入口就是语音对话产品。微软在 2016 年开发者大会上提出了「对话即平台」的口号,他们认为对话是人类最自然的交互方式,这也是为什么各大科技巨头都在竞相发力聊天机器人领域的原因。
那 2016 年到 2018 年两年的时间过去了,聊天机器人市场发生了什么?有句话叫做「忽如一夜春风来,千树万树梨花开」,我们可以看到市场上出现了大量的聊天机器人,有大家熟悉的 Echo、小米音响、天猫精灵以及我们公司的公子小白等等。其中,小米还出了一款 49 元的音箱,这肯定是不盈利的,那为什么各大厂商还是大力投入呢?主要是因为它们都想通过聊天机器人抢占 AI 时代的主入口——有了入口和流量,才能在上面做很多文章。
做聊天机器人的第一步就是选择想做什么类型的机器人。我们这里分为两个层次、四种类型:
主动交互是每个厂商都希望能做到的,它指机器人能在合适的时间和地点,以合适的方式进行主动的对话,实现信息共享与推荐。
被动交互则是目前大家接触最多的一种交互方式,主要有三种类型:
第一种是聊天(闲聊)机器人,比如小冰;
第二种是问答系统,如 IBM 的 Watson,可以回答一些事实型和非事实型的问题;
第三种是面向任务/目标的对话系统,比如当用户需要订机票、点外卖时,机器人就需要在对话中确定某项目标或任务。
后两类交互方式的一个主要区别在于:问答系统通常是单轮的,而面向任务/目标的对话系统通常是多轮的。
那又怎样区别聊天(闲聊)和面向任务/目标的对话系统呢?
(关于区别聊天(闲聊)和面向任务/目标的对话系统的具体讲解,请回看视频 00:12:00 处)
下面看一下怎样真正地从 0 到 1 去构建聊天机器人。我们以圣斗士的不同阶段为例进行阐述。
第一个阶段是圣斗士候补阶段,这个阶段我们强调的是,你可以没有 NLP 基础、工程能力、机器学习能力以及知识图谱能力,但你依旧可以搭建一个非常简单的聊天机器人。我们可以通过一些现有的平台去实现机器人的闲聊能力和其他技能。(实操平台:http://ruyi.ai)
第二个阶段是青铜圣斗士阶段,这个阶段不要求你具备很多算法知识,但需要你对 NLP 有所了解。你可以通过复杂平台去构建任务型对话,其中就涉及到「多轮」和「词槽」的概念。(实操平台:https://ai.baidu.com/unit/home)
第三个阶段是白银圣斗士阶段,这个阶段要求有一定代码能力,对 NLP 有了解,可以自己动手去构建聊天机器人。
首先,自己可以创建一个对话语料库,然后使用 Python 进行文本处理,其中可以用到的一个比较经典的框架是 IR 框架:
其中,在匹配模型的构建方面,可以使用深度学习的方法去实现匹配:
一个方法是基于表达的——Weak interaction models
另一个方法是基于交互的——Strong interaction models
第四个阶段是黄金圣斗士阶段,这个阶段要求你可以使用代码完全实现一个文字型的对话机器人。
这里就需要有一个非常明确的架构设计:
目标就是综合各种手段去实现聊天机器人 NLU、对话管理,NLG 以及各种功能:
第五个阶段是掌管者阶段,需要更加深层的能力,包括构建生成模型和语言模型。
第六个阶段是神的阶段,这个阶段除了对 NLP、工程、机器学习以及知识图谱能力方面有要求,还要求具备强大的团队实力。一个好的产品是各方面的妥协,需要从产品、性能以及成本等维度进行综合考量。
(关于从 0 到 1 去构建聊天机器人的每个阶段的具体讲解以及每个阶段所对应的实操演示,请回看视频 00:15:00—00:49:40 处)
事实上,很多创业公司都是「A 轮死」,为什么?在 A 轮前,创业公司获取现金流有两种方式:一种是通过创始人、团队和技术来卖「期望」拿投资;另一种是将「期望」转化为「产品」,卖「现实」拿收入。而 A 轮之后,投资人更看中的是技术变现能力,看具体的营收数字。
然后聊天机器人创业团队还要考量的问题是,机器人要不要考虑多轮对话,这就涉及到多轮架构的构建,一般难度比较大。
最后跟大家介绍一下我们公司,Gowild 是 AI 公司里面娱乐实力比较强的公司,也是娱乐公司中 AI 实力比较强的公司。
分享结束后,嘉宾还对听众的提问进行了解答,大家可回看视频 00:55:00 处
以上就是本期嘉宾的全部分享内容。更多公开课视频请到雷锋网(公众号:雷锋网) AI 研习社社区(http://ai.yanxishe.com/)观看。关注微信公众号:AI 研习社(okweiwu),可获取最新公开课直播时间预告。