ARKit 玩出新高度：iPhone+纸盒眼镜怎么实现 Inside-out 追踪？

自从苹果推出 ARKit 之后，不少开发者已经玩疯了。继 ARkit+HTC Vive 玩《Tilt Brush》的视频引来众人围观后，又有一家内容团队把 ARKit 玩出了新高度。

据雷锋网了解，这家团队名叫 Nexus Studios，他们将 ARKit 开发的 demo，与纸盒眼镜 Cardboard 结合，在户外展示了所能实现的效果。

从视频中，我们能看到，戴上 Cardboard 之后，你眼前的内容一会儿切换成 AR，真实环境与虚拟的内容一同显示，一会儿切换成 VR，完全进入虚拟的世界中，相当有意思。

Nexus Studio 称“在 iPhone 7 上实现 AR 效果，以及达到每秒 60 帧 VR 画面 Inside-out 追踪，是完全有可能的。”但还是有一些小问题，“不能快速地移动头部，只要你在内容呈现的‘画廊范围内’走动，定位追踪的效果还不错。”

Nexus Studios 的互动艺术部门负责人 Luke Ritchie 向外媒表示，他们测试了 10 分钟，他透露到"说实话，追踪确实很棒。如果快速转动头部，画面会不稳定。快速移动和稍长的延时会让人感到有些不舒服。我们不建议现在就拿给消费者使用。"

树旁边是虚拟的画

在这个测试视频中，有两点比较有意思，一是这个 demo 在户外测试，并且有一定空间范围的移动，其中苹果手机怎样实现定位追踪的？另外， VR、AR 是如何随意切换的？

雷锋网请教了 Usens 技术副总裁马赓宇，他给出了很详细的回答：

ARKit 的 SLAM 技术，是基于单目相机和 IMU 传感器融合的。通过对摄像头图像中的特征点识别和跟踪，可以重建出场景的 3D 模型。但是单目相机无法得到尺度信息。因此需要用 IMU 中的陀螺仪和加速度信息进行融合，得到场景的真实尺度信息。

AR 和 VR 中用到估算的 SLAM 空间定位技术都是一样的，只是显示的内容不一样。SLAM 会识别出双眼在世界坐标系下的位置。AR 应用中是把一个虚拟物体显示在一个世界坐标系中的某个位置，同时显示真实场景的内容。VR 应用就是只显示虚拟物体，不显示真实场景。

因为 ARKit 是针对 AR 场景开发的，所以对快速旋转跟踪的并不好。文中也说了，只是对类似看画廊的那种平移移动效果比较好。

简单来说，基于苹果手机上单目相机和 IMU 传感器融合的 SLAM 技术，定位是一样的，只不过根据内容开发的不同，而产生了 AR、VR 切换的效果。仔细看视频，你会发现，他们在真实的树上设置了点云。

马赓宇也解释道，

咱们手机上的摄像头，是可以直接看到外部环境的。AR 无非就是在这个画面上叠加了虚拟的物体。而 VR 就是把 VR 的内容，放到你的屏幕上了，比如你看电影的时候或玩游戏的时候，就看不到外部环境了。

VR时候的画面，在“画廊的范围内”移动

另外，基于现有的包括单目、双目和深度相机等三种视觉定位追踪方案，马赓宇表示它们的不同之处在于：

单目使用的信息最少，如果跟踪丢失的话，需要相对较长的时间进行初始化。而且估计尺度需要较高的 IMU精度。成本最低。

双目可以通过单帧图像得到场景的真实尺度，初始化比较简单。但是由于基线长度限制，对太远的场景初始化不好。而且成本相对较低。

深度相机要处理的数据量比较大，计算比较复杂。而且深度相机成本比较高

雷锋网又想到了当年搭载深度相机的 Tango 手机，尽管推出的时间很早，但并没得到开发者热烈的反响，究其根本原因还是与硬件的普及度有关。马赓宇说，“Tango 硬件不普及，必须要特殊的硬件才能用，所以一般开发者也不会在 Tango上开发应用，导致消费者没有购买的动力。”

事实上，除了国外开发者玩的嗨，国内也有开发者正在进行 ARKit 的内容开发。雷锋网联系到武汉火游网络的 CEO 童洋，他跟 Luke Ritchie 的看法一致，现在 ARKit 还不成熟。他们现在使用 iPhone 7、iPhone 6 & 6s 进行 Demo 测试，还处于只是“能用”的阶段，可能需要等待 iPhone 8 的上市，在硬件和软件上能更好地支持 ARKit。

再来说说文章一开始提到的 VRKit 和 HTC Vive，有可能是通过单目+IMU 的定位方式，并配合 Lighthouse 空间定位系统，实现了我们所看到的效果。

最后，iPhone 8 如果上市了，你会不会为了好玩的 AR 换手机？笔芯。