美图推出业界最大规模教程类行为数据集 | CVPR 2019

雷锋网 AI 科技评论按，计算机视觉顶会 CVPR 2019 即将于 6 月在美国长滩召开，今年有超过 5165 篇的大会论文投稿，最终录取 1299 篇。随着会议临近，各大公司纷纷揭晓自家被收录论文。

美图公司社交产品事业群视觉算法组与清华大学自动化系智能视觉实验室合作，推出了业界最大规模教程类行为数据集 COIN（COmprehensive INstructional video analysis），相关论文（COIN: A Large-scale Dataset for Comprehensive Instructional Video Analysis）已被 CVPR 2019 录用。

COIN 数据集概览

教程类行为视频（Instructional Video）可以帮助使用者获取完成各种行为任务的知识，但是现有教程类行为视频数据集在规模性和多样性上都存在较大的局限性，难以应用于现实生活中的复杂场景。为此，美图公司社交产品事业群视觉算法组与清华大学自动化系智能视觉实验室合作提出了名为 COIN 的大规模教程类数据集，用于更全面的教程类行为视频分析。

COIN 数据集在标注结构上采用分层的组织结构，第一层是领域（Domain）、第二层是任务（Task）、第三层是步骤（Step），其中包含与日常生活相关的 11827 个视频，涉及交通工具、电器维修和家具装修等 12 个领域的 180 个任务，共 778 个步骤。

COIN 数据集的分层结构

COIN 数据集的设计人员还开发了创新性的标注工具，可以更高效更准确地标注视频行为的步骤信息。此外，为了给数据集提供更准确的基准指标，数据集开发人员还使用了 SSN、R-C3D 等评价方法对 COIN 数据集进行了测评。

COIN 数据集的步骤定位准确率分析

论文地址：https://arxiv.org/abs/1903.02874

GitHub地址：https://coin-dataset.github.io