资讯 业界
此为临时链接,仅用于文章预览,将在时失效

大规模3D数据集ScanNet:让机器人理解真实世界

作者:白及 编辑:张驰
2017/07/25 17:42

大规模3D数据集ScanNet:让机器人理解真实世界

雷锋网按:国际计算机视觉与模式识别顶级会议CVPR 2017于 7 月 21 日—7 月 26 日在美国夏威夷召开。雷锋网记者团也特赴夏威夷为大家带来一手报道。在会上,许多杰出的青年学者都将介绍自己的研究和论文,雷锋网也会对部分内容作介绍。

Angela  Dai 是斯坦福大学的一名博士生,在 CVPR 上有一个 Spotlight talk,主要介绍 ScanNet,一个拥有标注过 3D 室内场景重构信息的大规模 RGB-D 数据集。

她最初的想法是,推动数据匮乏的机器学习算法的发展,特别是在 3D 数据上。3D 数据包含更多信息,比如比如大小和物体之间的距离。但 3D 数据更难获取,为其添加标注也更难,现在 3D 数据并不多。

Angela希望用 ScanNet 建立一个可扩展数据采集框架。他们首先需要收集 3D 重建数据,然后用有效的方式对数据进行标注,以便收集更多数据。目前团队已经收集约 1500 个 RGB-D 的视频序列,通过 iPad 应用加深度传感器而收集的。然后视频会被上传到服务器,并被自动重建。然后,视频会被给到亚马逊 Mechanical Turk,将标注工作众包出去。

大规模3D数据集ScanNet:让机器人理解真实世界

数据标注是在一个给定的 3D 场景中,绘制出物体,例如,绘制一个椅子、桌子或者计算机,从而了解什么是什么,以及所在位置。每个图像通常需要 5 个人来标注。所得数据可以在做物体分类这样的训练任务时,作为标准参考。

ScanNet 数据集可以帮助直接在 3D 数据上训练算法。例如,如果有一个机器人在房间移动,它需要识别房间里有什么对象,而且不仅需要识别远处有一个物体,还要确定这个物体是什么。

Angela 和团队还在现实数据上做了几个场景理解的基准测试。因为现在已有的大型 3D 数据集都是合成的,这与现实世界收集的 3D 数据有很大不同。

大规模3D数据集ScanNet:让机器人理解真实世界

通常情况下,如果你通过合成数据库来训练算法,当算法用于真实数据时效果不会太好,因为计算机并没有学习到现实世界的数据特征。现实中有很多噪音,很难观察到一个对象的全部特征。基准测试表明,计算机在真实数据中的训练效果,比在合成数据中的训练效果要好得多。真实数据以后会有更大的需求。

Angela 以前一直在研究 3D 重建,开发实时的 3D 重建系统,但她后来发现很难运用于实践中,因为缺少对于场景的语义理解。在一个场景中,人们会希望知道物体在哪个位置,到底是什么物体,这样还可以有虚拟助手或聊天机器人一样的东西,帮助做场景的交互。这也是她开发新的数据集的原因。

另外,除了众包标注任务,他们也希望能众包场景重建任务。除此之外,在语义理解方面还要做很多工作。但他们现在的任务是,解决物体识别。3D 场景数据未来还会有更多有趣的应用。

Angela 还很感兴趣于将真实世界的数据与合成的 CAD 模型相结合,相关联起来。这么做的一个好处是,合成数据比较容易获得而且易于操作,如果合成数据与真实数据建立了联系,那就可以让在模型上训练的系统,更容易迁移到真实数据上。

当然,更重要的任务是给 3D 数据赋予语义解释,这有利于使机器人更好地理解世界。

关于ScanNet的论文,在这里下载

长按图片保存图片,分享给好友或朋友圈

大规模3D数据集ScanNet:让机器人理解真实世界

扫码查看文章

正在生成分享图...

取消
相关文章