雷锋网按：7 月 12 日至 7 月 14 日，2019 第四届全球人工智能与机器人峰会（CCF-GAIR 2019）于深圳正式召开。峰会由中国计算机学会（CCF）主办，雷锋网、香港中文大学（深圳）承办，深圳市人工智能与机器人研究院协办，得到了深圳市政府的大力指导，是国内人工智能和机器人学术界、工业界及投资界三大领域的顶级交流博览盛会，旨在打造国内人工智能领域极具实力的跨界交流合作平台。
7 月 14 日，伴随着议程进入到第三天，本次大会也迎来了为期一天的智慧教育专场。在这个专场中，好未来 AI 实验室负责人刘子韬博士登台，做了题为《Building The Next Generation of Smart Classroom》的主题演讲。
在演讲中，刘子韬从好未来在智慧课堂上的探索和研究实践出发，谈到了 AI+ 教育的发展过程中数据获取的复杂性，并由此谈到了 AI + 教育中的四个挑战，分别是：
一是数据量小。机器学习需要有标签的数据，而教育场景中的数据大部分都是无标签的，有标签的数据非常少；
二是异构性。异构性和多模态是强绑定的，不同来源产生的数据，有天然的异构性；
三是数据的质量问题。通常我们的标签获取是非常困难的，上了一堂课想预测这堂课好不好，好不好需要打一个标签，这个时候打的标签主观性非常强，十个人给老师打分，可能有六个好，有四个不好，这堂课是好还是不好，6：4 就说好，这是有歧义的；
四是评价。短期无法量化，对 AI 有一些困难和影响。
由此，刘子韬谈到了好未来在面对挑战的过程中提出的 AI 相关解决方案，并给出了相应的案例；比如说数据众包打标签、作业辅助批改和在线课堂监控等。最后，刘子韬给出了自己的观点：AI 在参与到教育应用的过程中所遇见的很多问题都是不曾被研究过的，这其中有很多的挑战，当然也有很多的机遇。
在演讲结束后，刘子韬接受了雷锋网的采访。
针对 AI 如何究竟赋能教育的问题，刘子韬表示，AI 作为一项技术本身其重大作用在于提升效率，就像 Google 提升了人们搜索并获取信息的效率，AI 同样也能在教育领域提升效率，比如说作业的自动批改、教育领域的运营管理（比如说培训机构）等等；不仅如此，AI 还能够在教育范围内改善产品的体验，是学生们在学习过程中获得更好的体验，比如说智能教室等。
以下是刘子韬在 CCF-GAIR 大会上的演讲内容，雷锋网对其进行了不改变原意的编辑整理：
大家早上好！今天我代表好未来跟大家分享好未来在智慧课堂上的探索和研究，今天我主要讲一下我们的进展和整个过程中遇到的困难和挑战。
好未来是一个以智慧教育和开放平台为主体, 以素质教育和课外辅导为载体, 在全球范围内服务公办教育，助力民办教育，探索未来教育新模式的科技教育公司。
好未来的人工智能实验室，是好未来在集团范围内的 AI Lab，它的职责就是通过 AI 技术来赋能好未来的各个事业线，让好未来的各个事业部拥有先进的 AI 技术。对于好未来的 AI 来说我们要达到什么样的目的？我们有四个愿景：一是希望通过 AI 可以提供更优质的教学内容；二是希望通过 AI 能提供更有效的教学体验；三是希望提供更科学的评测体系；四是更公平的教育资源。
我们提到教育或 AI+ 教育的时候，最重要的是什么？我们想中间最重要的是教学环境，也就是 Learning Environments。
当我们说教学场景的时候，我们可以做一个简单的划分，比如说选三个维度：
Z 轴可以看到教室有多少学生。比如说 1 对 1，也可以是在线小班，可以三到九个，传统的面授课堂有二十到五十个学生，大班网校可能 90、100、500 个学生都是有可能存在的，这是课堂里的学生数量。
横轴是年龄，可以是学前、小学、中学、高中、大学。
纵轴是上课的形式。上课的形式可以分为线下上课，跑到教学点线下上课、线上通过直播的方式，学生在学生家、老师在老师家通过直播的方式上课，这里只是随意列举几个纬度，还有学科，比如说教的是数学课、英语课还是物理课等科目。
不同的维度可以把场景进行细致的划分，其中每一块都有它的独特性，比如说在教小学线上一对一和教传统线下大班高中生，其实有很大的差别。学习场景会不一样，产生的数据不一样，教学设计的理念会不一样。针对不同的教学场景 AI 需要针对每一块进行优化和定制。
教育和 AI 最宝贵的是什么？就是丰富的数据，数据是在各个场景中能产生的数据。这些数据的产生也选两个维度划分一下：
上面一行是数据什么时候产生。首先是上课之前产生什么样的数据，除了一些学生的课前侧，还会包括家长、销售、学生之间的沟通记录；其次是课中，课中会产生很宝贵的数据；再次是课后，课后会产生学生的课后练习题、家长的反馈和给家长的报告。
产生数据的主体是老师、学生，中间还有一个很大的环节，我们这里会称为管理者。什么样是管理者？管理者是比较泛的概念，在整个的教学全流程中，包括课前、课中、课后，教学管理者包括跟家长沟通的学习规划师，或是有些地方叫顾问，还有一些销售。包括管理老师的人，大家知道培训机构有很多老师，如何把老师管理好，让他们的教学质量一致、归一化，这些都会产生很多的数据。
这里是细粒度的划分，给大家举几个例子，课中的时候，老师可以做什么？老师可以跟学生发起语音互动 Voice Interaction，可以跟学生换脸 Face Filter，直播的时候可以帮学生换脸、换场景。老师手里有什么？老师手里有很多 Pad、智能笔，学生手中会有很多的答题器，学生可以通过答题器和老师互动，课中的环节会有很多的数据。
管理者有售前的销售，给家长销售什么样的课程，以及和销售的聊天记录。课后上完以后，学习规划师会跟家长沟通、交流，会告诉你这堂课学生表现怎么样、孩子怎么样，这些都会有交流，会以数据的形式沉淀下来，数据的产生和全流程的把控对 AI 非常重要。
前面讲了教育的数据，各个环节都能产生各种各样的数据，当这些数据产生以后会是什么样？用一个比较学术上的词是 Multimodal ，也就是多模态，主流的多模态会有三种结合：一是文本数据，很多的数据以文本的形式产生出来。二是上课的时候多数会以视频的形式记录下来，会有一些视频的信息。三是还有一些语音信息，中间老师说了什么，学生回答了什么，这些数据会被记录下来。对于 AI 来说，这些都是很宝贵的资源。它一定是 Multimodal Machine Learning，今年 CMU 的教授写了一篇新的文章，文章很好地总结了 Multimodal 的问题，这里有五大问题是我们希望能解决的：
1、Multimodal 的情况下，我们怎么样做一些表征，表征学习可以学习到所有的数据。
2、Translation，有了视频数据和音频数。
3、Alignment，这两个对应起来，老师讲一个课件，这张课件是静止的，第一个讲课件的上面，第二个是课件的下面。
4、Fusion 融合。
5、Co-Learning。
具体应用到需要的 AI 技术，这个大家都比较理解，更多是方向上的东西，Multimodal Machine Learning 需要梳理不同的数据，需要的 AI 技术也是各种各样的，它是各种融合的过程。比如说 Speech，我们需要 ASR、需要降噪的方法；比如说数据挖掘，它需要更综合的能力，我们预测学生什么时候会退费，如何给学生推荐最适合他的老师，包括做一些个性化知识图谱，它需要的各种技能是不一样的，包括很多的模型是部署在端上的，教室的资源有限，我们在端上会有一些模型的加速和优化。
前面讲了数据和大概 AI 的范畴，我们中间会遇到什么样的挑战？这里的挑战非常多：
一是小数据。 各种教学场景可以产生海量数据，但大部分的数据是无标签的，小数据是指有标签的数据会非常少，机器学习是需要有标签的数据。
二是异构性。异构性和 Multimodal 是强绑定的，数据由不同的来源产生，有天然的异构性。
三是数据的质量问题。数据质量是什么意思？高质量的标签获取是非常困难的，上了一堂课想预测这堂课好不好，好不好需要打一个标签，这个时候的标签主观性非常强，可能给十个老师打，可能六个好，四个不好，这堂课好不好是有分歧的。
四是评价，短期没法量化，对AI有一些困难和影响。
基于上面说的问题，好未来做了一些很接地气的 AI 应用，来具体解决好未来场景中解决的问题。我们部署的系统在好未来已经跑起来真正在用了，每天都会在处理成千上万节课，这些工作我们都会发表在相关的会议或是顶级的杂志上，比如说 WWW、ICDE、AIED 等，包括我们部署的系统，包括课堂的监控这些维度，以及包括我们做的中文评测表达等。
快速举几个例子：
第一，我们今年已经在澳门 ICDE 上发表过一篇文章，如何从众包的标签中进行学习？为什么我们要众包标签学习？我们需要大量的数据进行学习，除了需要大量的数据，我们需要很精准的标签，现实的世界中有标签的数据比较小。我们怎么办？就是找人标，这是毫无疑问的，找人标就是 Crowdsourcing，找到人标的数据一定不是海量的数据。
基于这样的情况，如何使用现有的方法解决现有的问题？我们的数据量有限，可以做一些 Grouping，蓝色是正例，红色是负例，蓝色 100，红色 50 个，一共 150 个样本，这是无法做深度学习的；虽然样本单个很小，但是我们可以做一些组合和配对，通过组合我们可以产生很多的样本量。五个人打标签可能是 3 比 2，最简单的情况下，虽然是 3 比 2 给它一个知信度，给它 0.6，每个人打的标签不一样。我们提出了深度学习的框架，通过 Grouping 的方法和对样本标签的 Confidence，和 Model Learning，我们可以得到深度学习的模型。具体细节可以详细阅读我们的论文 Learning Effective Embeddings From Crowdsourced Labels: An Educational Case Study。
接下来我们介绍自动批改作业。
自动批改的场景是什么？自动批改不是你给我一个高考卷子，我给你改出多少分，只是想解决特定的问题；比如说一个学生在家解一道题，他的父母在侧面拍小视频，这个视频会传到我们的后端，后端会有程序进行自动批改，这是数据产生的场景。
我们会给学生布置题目，在好未来会称为口述题，口述题想解决什么问题？众所周知，相对于外国人的开朗，中国人以前受到的教育要谦虚、低调，可能会比较木讷一些；我们希望中国人在这方面不输给外国人，我们从小培养学生的中文口语表达能力。基于这个大背景，我们希望小孩不停地说，我们希望给小学生出一道题，他能讲解这个题的过程，我们不关系这道题的答案，希望他能讲解出来，这是我们设计题的初衷。
从具体案例来看，这个题目是很受欢迎的，效果也很不错，但背后我们遇到一些问题，就是老师改不过来了。试想一下，如果一个班如果有 30 个学生，一个学生上传两到三分钟的视频，老师听、写评语、改一下，一个学生老师要花五分钟，有三十个学生，老师凭空多花 150 分钟，非常浪费时间。
那么 AI 能不能帮老师做一些辅助批改？基于这样的初衷，我们设计了 AI 辅助批改解决方案，我们有学生的答案和老师的标准答案，我们会有两方面的文本；通过 Transformer 和 Multiway Attention，对学生提交的答案和相关的问题，进行深度的语义融合和匹配，实现口述题的辅助批改。我们做了很多实验，我们创新提出的方法，打败了传统机器学习的方法、深度学习的方法。具体的实现细节，可以参考我们今年在 AIED 上发表的论文 Automatic Short Answer Grading via Multiway Attention Networks 。
下面介绍我们在后台上线的真实系统，这个系统就是在线课堂质量管控系统。
举一个简单的例子，这是一个传统的在线一对一的上课画面，一边是老师，一边是学生，中间是课件。其中的问题是什么？这堂课上下来只有学生知道、只有老师知道，没有其他任何人知道这堂课上的怎么样，因为家长是不会坐在边上看的；假如这个学生马上高考了，他不爱学习，成绩很差，经常在家打游戏，如果这个老师并没有很好地教学生上课，而是教学生如何打游戏，会发生什么样的情况？学生很开心，家长问学生这堂课学得怎么样？学生会说这个老师教得特别棒，教得特别好……这样的情况是我们不希望发生的。我们想杜绝这些不应该在传统课堂上发生的现象，通过人工检查的方式一定是做不到的，而这种案例是极其致命的，家长发现一次这样的情况，家长不再相信这个品牌，会产生退课和一系列的坏的口碑传播。
所以我们希望通过 AI 来监控课堂质量，学生维度和老师维度我们都会监测。在学生维度，我们希望这堂课学生频繁开口，我们会监控学生的表达次数，同时包括学生有没有主动提问，学生的提问次数、学生有没有按老师的要求记笔记等。老师纬度我们会监控更多，我们希望提高整体的教学质量，包括红线词（老师上课有没有说骂人的话），老师的静默时间，老师有没有提问学生，老师有没有带着学生记笔记，老师有没有讲和学科相关的东西，而不是闲聊等。
第一步是简单的运营手段，有了这个我们可以有运营的管理闭环，不好的事情发生，可以对老师进行处理，这是 AI 落地教学管理运营的闭环。这不是我们的最终目的，我们的目的是用 AI 提供极致的教学体验和达到良好的教学效果。这个教学体验可以通过 AI 进行多维度量化，我们称为“四色分级”，红色是最差，绿色是最好的，上完课会对课堂打分，如果是红色说明这堂课非常差，随着课堂的演进和变化效果越来越好，希望最终都是绿色，这是课堂的量化。
在做 AI+ 教育的过程中，有很多的挑战，也有很多的机遇。其中要解决的很多问题都是学术界不曾存在的问题，包括众包的相关问题以及很多小数据的问题；现阶段学术界很多东西才刚开始做，包括小样本学习。
我刚才介绍了 AI+ 教育的挑战以及落地的应用，很多时候里面的机会很大，还有很多的问题不曾被人研究过。这里挑战是很巨大的，同时也有很大的机遇。
谢谢大家！
「AI投研邦」将在近期上线CCF GAIR 2019峰会完整视频与各大主题专场白皮书，包括机器人前沿专场、智能交通专场、智慧城市专场、AI芯片专场、AI金融专场、AI医疗专场、智慧教育专场等。「AI投研邦」会员们可免费观看全年峰会视频与研报内容，扫码进入会员页面了解更多，或私信助教小慕（微信：moocmm）咨询。
正在生成分享图...
张莉