雷锋网 AI 研习社按,上个月月底,Google 在官方 Blog 上发文称将开放 Open Images V4 数据库,并基于这一数据集举办 ECCV 2018 公开图像挑战赛(Open Images Challenge 2018)。详细信息参见雷锋网此前报道:谷歌发布 Open Images V4数据集,190万张图片开启公开图像挑战赛
接下来,雷锋网 AI 研习社将为大家带来关于该比赛的更多信息。
时间节点:
2018.04.30 发布带有边界框注释的对象检测分赛训练集
2018.05.10 发布带有注释的视觉关系检测分赛训练集
2018.05.31 发布评估度量规范
2018.07.01 在 Kaggle 上发布测试集(10 万张图片)
2018.09.01 提交截止日期
比赛分为两个赛道:
对象类别检测:预测出所有实例(500 个类别)的精确边框
视觉关系检测:预测出物体间的特殊关系,例如「正在弹吉他的女人」
Google 希望这个大型训练数据集将助力研究出更绝妙的模型——可以做到比目前顶尖模型的效果还要好。此外,数据集中包含 500 个对象类,将能够更精确地评估不同检测器在哪种情况下工作得最好。另外,这个数据集中包含许多带有注释的对象,我们可以用来进行视觉关系检测,这是一个热度日益增长的话题,社群也在逐渐壮大。
训练集地址如下:https://storage.googleapis.com/openimages/web/challenge_visualizer/index.html
两个分赛道的详细介绍如下:
对象类别检测:
对象类别检测分赛覆盖了 Open Images V4 中带有边界框注释的 600 个类中的 500 类。主办方移除了一些范围很广的类(例如「衣服」)和一些罕见类(例如「裁纸器」)。
评价指标是 mAP。正图像级标签指示图像中存在特定的对象类,负图像级标签则指示图像中不存在某些类。在评价时排除了其他未被标注的类。对于图像中的每一个正图像级标签,我们已经详尽地注释了图像中对象类的每个实例。这使我们能够准确地测量召回率。大家可以点击链接看到关于该数据集的详细信息。
图一:对象类别检测分赛训练集
视觉关系检测:
视觉关系检测分赛需要检测两个对象的关系。这包括了人与物体的关系 (例如:「弹吉他的女人」,「拿着麦克风的男人」) 和物体与物体间的关系 (例如:「桌子上的啤酒」、「车内的狗」。每种关系连接了不同物体。此外,这一比赛还考虑了物体属性 (例如:「手提包由皮革制成」,「凳子是木制的」)。
在标注中,关系与对象形成一个三词短句。(例如「桌上的啤酒,beer on table」)。属性实际上也与前者类似,例如:「桌子是木制的,table is wooden」。标注是基于图像级标签和 Open Images V4 的边界框标注。我们最初选择了 467 个短句,并在 Open Images V4 训练集上进行了标注。视觉关系检测分赛的训练集最终由 Open Images V4 标注训练集中的 329 个至少有一个实例的短句组成,包含 62 个不同的对象类。
图 2:训练集的关系、类和属性
更多信息,参见 https://storage.googleapis.com/openimages/web/challenge.html