雷锋网了解到,近两个月,国内团队先后在全球权威的人脸检测评测平台 FDDB 和全球自动驾驶算法公开排行榜 KITTI 以及 Cityscapes 上取得非常好的成绩,这在一定程度上证明了国内计算机视觉相关算法已达到国际顶尖水平。
今年 ILSVRC 2016(全称是ImageNet Large Scale Visual Recognition Challenge)分为五大部分,包括:目标检测、目标定位、视频中目标物体检测、场景分类、场景分析。在昨天,全球最为权威的计算机视觉大赛 ILSVRC2016(大规模图像识别竞赛)公布了算法排名结果,Hikvision(海康威视)夺得场景分类第一名。
那么,今年的ImageNet的比赛为什么由这5部分组成?Hikvision(海康威视)是如何在场景识别一项中夺得冠军的?今天雷锋网请到了海康威视首席科学家、海康威视研究院常务副院长浦世亮先生为我们讲解ILSVRC2016相关的详细细节。雷锋网对采访过程整理如下。
浦世亮,法国国家科学研究院(CNRS)博士、浙江大学博士,现任海康威视(杭州海康威视数字技术股份有限公司002415)首席科学家、研究院常务副院长、海康威视博士后科研工作站负责人、博士后导师,带领海康威视研究院的研发团队负责海康威视在视频应用领域的前瞻性、战略性基础技术研究。其个人曾获第十九届求是杰出青年奖、浙江省有突出贡献中青年专家、浙江省科学技术进步一等奖、杭州市131中青年人才等多项荣誉;已申请发明专利90多件,获得授权发明专利11件,并在知名期刊、国际知名会议ICDAR、ICPR等发表多篇论文。
今年 ILSVRC分为
任务目标检测(object detection)
目标分类与定位(object localization)
视频中的目标检测和跟踪(object detection / tracking from video)
场景分类(scene classification)
场景分割(scene parsing)
与去年相比今年增加了一项场景分割任务。这五类任务都是计算机视觉领域基础的人工智能任务,有广阔的工业应用前景。与去年相比,今年增加了一项场景分割任务。
鉴于这个参赛规则相对复杂,请参考ImageNet官网权威说明。http://image-net.org/challenges/LSVRC/2016,这是访问地址。
大致来说,五项任务提供了基础的训练集和测试集,各参赛队伍在训练集上训练,在测试集上完成测试,提交测试结果,然后,由组委会统一评估性能,并给出排名。
先说一下,场景识别比赛的主要的难点是训练数据的极度不均衡,而且数据标签具有二义性。在训练过程中,我们做了以下工作。
借助于我们组建的M40 GPU大规模训练集群,我们在过去两个月内训练了20多种不同结构的模型,包括常见的VGG,Inception,ResNet及其变化形式。
同时通过实验我们发现,在非常深的ResNet(101/152/200层)上对场景数据进行精调,无论是训练还是预测,都非常耗费时间,而且性能上还略差于更快的Inception结构的模型。基于这个观察,在模型结构上,我们主要采用了比较深的Inception模型和相对较浅的ResNet。
此外,我们还在训练和预测环节进行了多项改进,比如说,我们提出了一种的数据增强方法,可以更好的利用图像中的目标物信息。
我们还采用了标签洗牌(label shuffling)和标签平滑(label smoothing)技术,以更好地应对数据不均衡问题。
最后,我们的模型在28支队伍的92次结果提交中,脱颖而出,获得了第一名,top5 的分类准确率达到了91%。
海康威视研究院所在的海康威视,本身就是以视频为核心的物联网解决方案和数据运营服务提供商。连续五年蝉联IHS全球视频监控企业第一位。
我们在计算机视觉领域已经投入了十几年时间,深度学习技术的研究也开展了相当长时间了。在长时间的研究工作中,我们打造了一支经验丰富的人工智能算法团队,对于计算机视觉领域的基础技术有比较深刻的理解。
其次,我们认为深度学习是一项复杂的系统性工程。系统性工程需要集团作战,数据的清洗标定、大规模训练集群的搭建、各种神经网络框架的测试、神经网络的优化都需要比较专业的团队分工才能达到最优效果。
最后,理论的探索和创新需要一个良好的环境。
一方面,我们投入大量资源构建我们的数据和训练平台,让我们的研究人员可以在海量的训练数据上迅速的做大量的试验。另一方面,我们营造了一个宽松的研究环境,可以让大家在支持公司业务发展的同时有大量时间可以进行技术的探索。
我们准备了半年多,主体参赛团队总共7人,四位博士、两位硕士外加一位实习生。另外,还有很多该领域工作的同事也陪伴我们完成这个过程,比如,有高性能计算团队团队搭建并行训练集群,团队成员大都毕业于国内的顶级高校。
场景分类技术,对于视频产业及其应用领域有比较重要的应用价值,基于对场景的理解可以有助于我们的系统对于视频中的信息理解和应用。
一方面,可以让系统根据场景适配算法,另一方面,也可以让系统更好的理解视频中所产生的信息。例如,当系统检测到视频中有人在奔跑,系统理解到这个奔跑事件所发生的环境,是在步行街或者是在学校,那么,它就可以采用不同的应对策略。
而目标检测、分类、跟踪及定位技术是计算机视觉领域的基础算法,可以应用于许多领域。
例如,自动驾驶、机器人、智能摄像机、智能手机等,只要系统中有视觉传感器,需要视觉传感器从视频图像中提取信息,这些技术都是必不可少的。Imagenet竞争的成绩逐年提升,显示人工智能技术在工业界的应用会逐渐成熟,其应用领域也会获得极大的拓展。
很多数据集存在样本不均衡的问题,有些类别样本特别多,有些类别样本特别少。训练模型时,如果从一个图像列表中依次读取样本训练的话,小类样本参与训练的机会就比大类少。
训练出来的模型会偏向于大类,即大类性能好,小类性能差。我们的平衡采样策略就是把样本按类别分组,每个类别生成一个样本列表。
训练过程中先随机选择1个或几个类别,然后从各个类别所对应的样本列表中随机选择样本。这样可以保证每个类别参与训练的机会比较均衡。
我们实现了一种有监督的数据增强方法,可以在裁剪数据的时候更好的利用目标物信息。后面马上会在Eccv会议上作report,因此建议关心的朋友直接看report。
海康威视研究院重点开展视频领域共性技术、关键技术和前瞻技术的创新研究,持续增强公司技术实力,为公司核心产品及新兴业务拓展提供有力支撑,成为公司主营业务及创新业务发展的重要驱动力。研究院在KITTI、MOT、Pascal VOC等世界级人工智能竞赛中曾获得多个第一的好成绩。
除研究院之外,海康威视还在全球设有五大研发中心,年轻的研发团队在视音频编解码、视频图像处理、视频智能分析、云计算、大数据、云存储、人工智能等方面有深厚的技术积累,成功助力海康威视不断引领整个行业的发展。他们在图像处理、识别算法、视频核心算法技术领域的前瞻性研究,应用于海康威视的各类主营业务产品和解决方案中。