AI科技评论按:2020年9月6日,中国计算机学会自然语言处理专业委员会(CCF-NLP)发起、联合AI研习社及各个知名高校开展的“CCF-NLP走进高校”系列高校NLP研究分享报告会——华南理工大学站,通过线上直播的方式进行。
本期报告会邀请了华为诺亚方舟实验室首席科学家刘群、北京大学王选计算机研究所研究员&博士生导师赵东岩、天津大学张梅山副教授三位特邀报告嘉宾,北京大学语言计算与互联网挖掘研究室负责人&自然语言处理专业委员会秘书长万小军教授和西湖大学特聘研究员张岳教授主持了本次报告会。在本次报告会上,专家们围绕预训练语言模型、跨语言迁移学习做了精彩报告,在AI研习社、Bilibili等平台上观看的用户合计4.2万人次,报告会反响热烈。此外,本次活动东道主华南理工大学组织了部分学生进行了线下报告听讲交流。
自然语言处理专业委员会主任、苏州大学NLP带头人周国栋教授作为开场嘉宾分别作了开场介绍。周国栋教授首先对组织者的准备以及报告嘉宾的到来表示热烈的欢迎和衷心的感谢,并指出,以自然语言处理为代表的人工智能技术受到了学术界和工业界的广泛关注,第一期CCF-NLP走进高校报告会在华南理工大学召开,可谓正当其时、恰逢其势。随后,另一位开场嘉宾、东道主华南理工大学蔡毅教授也介绍了华南理工大学及其团队在NLP领域的研究情况。
接下来的报告环节中首先进行分享的是华为诺亚方舟实验室首席科学家刘群,报告题目为《预训练语言模型研究进展》。
刘群老师介绍了预训练语言模型的发展历程,并结合诺亚方舟开发自研的预训练语言模型哪吒(NEZHA)的技术特色介绍了诺亚方舟实验室的中文预训练语言模型的具体工作,包括用概率掩码的预训练语言模型同时实现自然语言的理解和任意词序的生成;通过扰动掩码实现基于BERT的无监督句法分析;两个模型压缩的工作TinyBERT(预训练语言模型的极限压缩)和DynaBERT(动态可伸缩的预训练语言模型)。在报告结束后刘群老师还就听众提出的常规方法研究的前景、掩码概率的调节、预训练模型在自然语言推断(NLI)任务方面的效果、大模型中间层蒸馏的效果等问题进行了解答。(具体分享内容可进入文末报告会视频回放页面进行了解)
在刘群老师之后,北京大学王选计算机研究所研究员,博士生导师赵东岩进行了题为《基于知识的文本语义理解与文本生成》的报告。报告共分为三个部分进行,分别是知识图谱的研究背景、基于知识的文本语义理解与生成及应用实例。赵东岩教授从类人智能研究动态开始,引出基于知识图谱的语义理解技术与研究工作,进而讲解基于知识图谱的智能应用,并重点介绍了知识图谱的动态构建、事件抽取、新闻事件触发的知识更新、知识图谱的融合并探讨了如何基于知识图谱理解语义,进而实现智能问答等智能应用的理论方法和技术路线,最后介绍了北京大学王选计算机研究所在这个研究方向上的具体进展,包括高考因果类问题解答、融合多种知识资源的事实类问题求解和智能投资助手等。在问答环节,赵东岩教授也回答了听众关于构建常识性的知识图谱的方法、结合多模态的知识对知识图谱进行扩展等问题,用多模态信息来获取知识并辅助解决“鸡兔同笼”等传统方法难以解决问题的例子也给听众留下了深刻印象。最后一位进行报告的天津大学张梅山副教授的报告主题为《基于翻译的无监督跨语言迁移学习》。
跨语言迁移学习是解决资源稀缺语言自然语言处理的一个非常有效的方法,对于某个特定的任务,我们假定在例如英语这种资源丰富语言上存在一定规模的标注语料,然后辅助一个机器翻译系统,便可以为目标语言提供自动构建的训练语料,从而指导目标资源稀缺语言的模型训练。在报告中,张梅山副教授介绍了两个任务的相关工作,分别针对依存句法分析和语义角色标注,调研基于翻译的方法在这两个任务上面的有效性。
最后,万小军教授进行了活动总结,并再次向参加活动的各位专家学者表示感谢,并期待更多的专家、老师和同学能关注NLP领域的进展。此后还将会有更多的高校加入CCF -NLP走进高校系列活动,第二场分享会已定于9月27日,走进郑州大学,更多分享会信息请持续关注AI科技评论。中国计算机学会自然语言处理专委会(CCF-NLP)1987年10月成立, 专委会成立之初即确定了“中国语言文字处理的计算机系统”和“以计算机为工具研究语言文字处理技术”两个主要研究方向,主要包括(或涉及)中国各民族语言文字的自然语言处理、机器翻译、信息抽取、数据挖掘、信息检索、智能问答、语音识别与合成、社会网络计算等众多学术领域,以及中文计算,即中国语言文字处理的应用技术领域。专委会致力于团结、联合、组织中文信息技术相关领域的各界专业人士,开展学术/技术交流、发展战略研究、专业技术标准制定、专业技术评测、专业培训等相关活动,提高中文信息技术领域的科研、教学、应用水平,促进研究成果的应用和向产品的转化,提升在国家科技活动和国际学术方面的影响力。为了促进更多师生对自然语言处理前沿进展的了解,帮助在校计算机及相关专业大学生成长和发展,CCF-NLP致力于让领域内的权威大牛们走进更多的高校,与师生进行沟通和交流。这是成为我国NLP领域发展的迫切需求。自然语言处理专委会为此将举办一系列 CCF -NLP走进高校系列活动。CCF-NLP后续还将与更多高校合作,继续召开一系列的“走进高校”分享活动,进一步促进各高校之间的学术交流,推动科研合作发展,为 NLP 的研究添砖加瓦。