标准化数据集在多媒体研究中至关重要。今天,我们要给大家推荐一个汇总了姿态检测数据集和渲染方法的 github repo。
项目地址:https://github.com/YoungXIAO13/ObjectPoseEstimationDatasets
这个数据集汇总了用于对象姿态估计的数据集,以及生成合成训练数据的呈现方法。在下表中,3D CAD 模型表示为模型,2D 图像表示为对象。
该项目分为四个部分:
受控环境中的对象
野外物体
3D 模型数据集
渲染方法
受控环境中的对象
此表列出了通常称为 BOP:Benchmark 6D 对象姿态估计的数据集,该数据集提供精确的 3D 对象模型和精确的 2D~3D 对齐。
可以下载所有 BOP 数据集,并使用作者提供的工具箱。
使用项目上面的代码 ply2obj.py 将原始 .ply 文件转换为 .obj 文件,并运行 create_annotation.py 为数据集中的所有场景创建一个注释文件。
以上数据集的下载地址:
HomebrewedDB:https://bop.felk.cvut.cz/datasets/
YCB-Video:https://rse-lab.cs.washington.edu/projects/posecnn/
Doumanoglou:https://bop.felk.cvut.cz/datasets/
Occluded-LINEMOD:https://bop.felk.cvut.cz/datasets/
野外物体
在该表中, Pix3D 和 ScanNet 提供精确的 2D-3D 对齐,而其他仅提供粗略的对齐。
PASCAL3D+ 是用于视点估计的事实基准。
ScanNet 通常用来评估场景重建和分割。
数据集下载地址:
ApolloCar3D:http://apolloscape.auto/car_instance.html
ScanNet:http://www.scan-net.org/
ObjectNet3D:http://cvgl.stanford.edu/projects/objectnet3d/
3D 模型数据集
为了验证网络泛化能力,可以使用以下数据集生成合成训练数据。请注意,ABC 包含通用和任意的工业 CAD 型,而 ShapeNetCore 和 ModelNet 包含常见类别的对象,如汽车和椅子。
数据集地址:
ShapeNetCore:https://www.shapenet.org/download/shapenetcore
ModelNet-40:http://modelnet.cs.princeton.edu/
渲染方法
可微渲染
这里有两篇参考论文:CVPR 2018 论文《Neural 3D Mesh Renderer》和 NIPS 2018 论文《RenderNet》。
Blender Render 渲染
本 repo 提供了相关的 python 代码,以使用 Blender 作为一个易于安装和生成照片级真实图像的 python 模块,从 3D 模型生成渲染图像。
你可以在这里找到更多关于使用它的方法。
物理模拟器
Pybullet 是机器人界非常受欢迎的一个物理模拟器。
其他
Glumpy:不支持无头渲染(在 ssh 模式下会失败)
UnrealCV:Unreal Engine 4 的扩展,帮助与虚拟世界交互并与外部程序通信。
合成计算机视觉:恢复许多用于生成合成图像的技术
via:https://github.com/YoungXIAO13/ObjectPoseEstimationDatasets
雷锋网网雷锋网雷锋网