Google的VR大计，隐藏在Cardboard和Jump背后

关于 Google 在虚拟现实技术上的打算，我们已经看到了一个廉价的纸盒子 Cardboard 和一个可容纳16只 GoPro 相机的托架 Jump。从技术的角度看，前者用来消费内容，后者用来生产内容，这个布局无疑是完整的。但是，这里的“内容”究竟指什么？在 Google 眼中，虚拟现实技术的核心又是什么？

VR“内容”：跳到另一个真实空间

Jump 项目负责人在 Google 亚太区年度媒体会议（APAC）上的分享，或许能帮我们找到答案。 Steven Seitz 说，Jump 的意思就是“跳到另一个真实空间”，而 Google 要做的就是让人们更便捷地，在另一个真实空间“身临其境”。

“便捷”说的是廉价的 Cardboard 盒子，也说的是开始支持360° VR视频的 YouTube；“身临其境”说的是把全景真实世界收入眼中的 Jump，以及 Jump 背后先进的视觉补偿算法。

这就是 Google 眼中的VR“内容”，不同于 Oculus 和 Vive 的虚拟场景游戏，也不同于 Hololens 的全息电脑交互，比后两者要“轻”得多。

这也就解释了 Google 为什么专注于“体验不那么好”的 Cardboard 纸盒，而不是开发更先进的专门VR设备。Steven Seitz 承认 Cardboard 体验确实不是最好的，同时详细解释了原因——Cardboard 试图兼容多个不同尺寸的手机，需要用到标准不一的手机传感器，性能千差万别的运算处理器，而且手机屏幕并不是专为近距离观看而设计的。但他说，从另一个角度看，手机是使用成本最低的，而且下一代手机一定会比现在的手机更适合VR。现在只是 VR 技术普及的早期，下一代手机的VR体验一定会越来越好。

VR技术的核心：3D计算机视觉

在领导 Jump 项目之前，Steven Seitz 已经将计算机视觉技术引入多个 Google 的产品，例如 Android 相机中的“镜头模糊”特性，通过算法让手机也能拍出“背景虚化”的照片，就像单反和微单相机一样。这里用到的主要算法是前景和背景的识别。

另一个项目是 Google 地图的景点“3D Photo Tour”功能，在地图里提供知名景点的多角度的画面。这里用到的主要算法将用户拍摄的多个角度照片对应到立体的空间中，还原实景。

正是这些在计算机视觉技术方面的积累，帮助 Steven Seitz 在捕捉360°全景图像的探索上取得了突破。他介绍，第一代 Jump 其实是两台单反相机的组合，实现效果不错，但需要支架可以旋转，无法捕捉同一时间的全景图像，更适合静止的场景。

第二代 Jump 已经开始采用16只 GoPro 相机，通过视角组合，可以实现模拟左右眼看到的不同画面。效果无疑得到提升，但这个方案依然有盲区，对于视觉补充算法不够友好。

第三代，也就是 Google 在 I/O 2015 大会上正式公布的最终版本，依然是 16 只 GoPro 相机，组合方式有了变化，便于对未捕捉到的视角进行算法上的补偿。

据 Steven Seitz 称，由 Jump 拍摄的视频最终变成 360° 全景视频还需要复杂的视频合成计算。如果是一台普通电脑的话，需要几个月的时间进行计算，但使用 Google 的计算机集群只需要几个小时就可以完成。最终制作完成的视频上传到 YouTube，就能通过 Cardboard 进行观看了。

Google 的VR大计

在 Google 的 Expeditions 教育项目中，VR技术已经得到运用。课堂上，老师可以带领学生们回到遥远的历史场景中，或者遥不可及的海底世界，可以通过控制端程序引导学生看一只海龟。Google 地图的街景更是已经积累了难以计数的全景图像。

虚拟现实技术的核心是3D计算机视觉，是重建视觉空间的机器学习算法。当我们探索这样一个新世界时，最简单的工具加上大规模的图像数据“训练”才是 Google 眼中真正的通向未来之路。