雷锋网 AI 科技评论按,国际赛事上屡传佳报的百度,2019 年开年再次拿下「一血」。2019 年 2 月 1 日,第十三届国际语义评测比赛(International Workshop on Semantic Evaluation, SemEval 2019)落下帷幕。在论坛评论建议挖掘任务评测(Task 9A: Suggestion Mining from Online Reviews and Forums)中,百度一举击败来自全球的 210 余支队伍,最终以 F 值 78.12% 的成绩夺得冠军,表明了百度率先在评论建议挖掘领域尝试并取得喜人的成果。
SemEval-2019 Task 9A 最终榜单,百度排名第一
SemEval 评测是自然语言处理领域的国际性权威竞赛,由国际计算语言学协会(Association for Computational Linguistics, ACL)下属的 SIGLEX 主办。ACL 是自然语言处理与计算语言学领域最高级别的学术会议,是世界上影响力最大、最具活力的国际学术组织。自 2001 年起,SemEval 至今已成功举办十二届,吸引了世界范围内的多所大学和研究机构的参加,在业界和学术界具有极高影响力。本次评测聚焦的任务是论坛评论建议挖掘,旨在抽取从网络论坛或评论中自动识别建议性的句子,用于帮助企业、政府机关等组织持续不断的从海量数据中提取有价值的信息。
如今,用户喜欢在网络中发表评论,表达自己对个人、产品、服务和社会事件等的意见和想法,这些评论不仅蕴含用户丰富的情感表达,有些还包含着用户对产品或服务的建议。比如「我喜欢吃这家餐厅」是用户表达喜欢这种情感的评论,但在「我喜欢吃这家餐厅,如果环境再好一点就更好了」这条评论中,还包含了用户对这家餐厅的建议。以往的情感分析研究更关注用户是否存在负面情感,上述这条评论往往会被忽略,实际上建议类评论对提升企业服务具有极高价值。目前,业界有大量针对用户情感分析的研究,但建议挖掘还处于初步阶段,百度率先在评论建议挖掘领域尝试。
建议挖掘是一项新的研究任务,该任务需要综合考虑句子的语义、语态、 情绪、句式、上下文等信息,才能做出准确的判断。例如「可以考虑在节假日增加几趟航班」,「假如房间里提供热水壶,我下次还愿意订在这里」等句子虽然句式、形态、评论的对象完全不同,但都是有价值的建议。对「建议」内涵和外延的理解存在比较大的主观性,使得问题定义及语料标注难以取得一致,这给建议挖掘带来了很多困难。
此次比赛中,百度团队采用多种技术手段解决难题,并最终取得了亮眼成果。首先,针对任务标注数据过于稀疏的问题,团队构建了以大规模无监督数据为基础的跨领域、多句式深度语义分类模型。采用融合浅层学习和深度学习的 Ensemble 学习模型,以解决样本不平衡问题。面对网络文本形式多样、表达不规范的现状,团队采用精细化粒度特征和注意力迁移机制进行处理。最终,百度团队以 F 值 78.12% 的成绩战胜了来自全球的 210 余支队伍,夺得冠军。
企业期待及时获取消费者的评价以改进服务、政府和媒体希望从海量文本中提取意见以成为决策参考与新闻素材……而互联网上还有大量评论数据沉淀,亟待深度应用。评论建议挖掘用于辅助决策,无疑是极具实用价值的自然语言处理任务!
赋予机器「认知」能力,是人工智能最具挑战的技术领域之一,自然语言处理属于认知部分的重要内容。更深入地理解语言,让机器具备人类的思考和理解能力意义重大。百度在自然语言处理(NLP)领域已经过十余年积累与沉淀,具备了最前沿、最全面、最领先的技术布局,不仅专注于前瞻技术探索,更致力通过技术应用解决实际问题。目前,百度语义理解技术已广泛应用于百度内外,在搜索、信息流等一系列产品应用中发挥重要作用。