项目主页:
https://yijiaweng.github.io/CAPTRA/
引言
方法简介
位姿估计存在两类主流方法,基于坐标预测的方法首先为观测点预测其对应物体点在归一化物体坐标系中的坐标,利用观察坐标与归一化物体坐标之间的对应关系,使用 RANSAC 拟合物体位姿,得益于 RANSAC 对离群点的有效移除,该方法通常能获得更为准确与鲁棒的预测,但 RANSAC 算法中的假设采样较为耗时,其过程也不可微,无法直接针对位姿进行优化。
基于位姿回归的方法进行端到端可微的直接预测,能够达到很高的运行速度,但容易产生更大的预测误差。我们希望结合两类方法的优势,建立一个端到端可微、精度与速度兼备的位姿追踪系统。
如下图所示,我们的模型由位姿正规化(Pose Canonicalization)、旋转回归网络(RotationNet)与坐标预测网络(CoordinateNet)组成。
结果展示
我们的方法在类级别刚性物体位姿估计数据集 NOCS-REAL275 [1]、基于 SAPIEN [3] 的类级别带关节物体位姿估计数据集、BMVC [4] 上均超过了已有方法,以下展示部分定性结果,详细实验设定与定量结果请参见论文。
结语
参考文献
[1] He Wang, Srinath Sridhar, Jingwei Huang, Julien Valentin, Shuran Song, and Leonidas J Guibas. Normalized object coordinate space for category-level 6D object pose and size estimation. CVPR 2019.
[2] Xiaolong Li, He Wang, Li Yi, Leonidas J Guibas, A Lynn Abbott, and Shuran Song. Category-level articulated object pose estimation. CVPR 2020.
[3] Fanbo Xiang, Yuzhe Qin, Kaichun Mo, Yikuan Xia, Hao Zhu, Fangchen Liu, Minghua Liu, Hanxiao Jiang, Yifu Yuan, He Wang, Li Yi, Angel X. Chang, Leonidas J. Guibas, and Hao Su. SAPIEN: A simulated part-based interactive environment. CVPR 2020.
[4] Frank Michel, Alexander Krull, Eric Brachmann, Michael Ying Yang, Stefan Gumhold, and Carsten Rother. Pose estimation of kinematic chain instances via object coordinate regression. BMVC 2015.
雷锋网雷锋网雷锋网