像智能手机一样改变世界，VR能做到吗？

【编者按】作者LeoWang&Bai，乐视创新与用户体验研究院（IUEI）工程师。

VR 在游戏和互动娱乐方面的前景已经很清晰了。对于很多人来说，那是让他们这么多年没有放弃的原因。但是 VR 还有更多的潜力——成为一个像手机一样改变世界的真正全新的计算平台。

虽然这一愿景已经持续了几十年，并且在虚拟现实中占有突出的地位，真正让 VR 广泛应用、冲击大众市场的道路却不那么清晰。杀手级应用会是什么样的？什么样的使用场景能够更早的成为主流？哪些会滞后一些？

本文将和大家聊一聊各种消费级应用所需要的知识和能力。这张图是整个分析的总览，我们将在下面和大家详细讲述。

| Part 1：技术基础

VR 不是单一的技术，而是很多技术的集成。这些技术大多处于不同的发展成熟阶段。不同的消费级应用对于这些领域的应用也不太一样。所以任何对进入市场时机的分析必须以对技术的了解为基础。

VR 作为一个通用的计算平台有四个广泛的技术领域。

• 意图捕捉（Intent Capture）

意图捕捉，是一种能够在任何时刻可靠和流畅地理解用户需求的能力，或者叫做输入方式，例如在VR游戏中的用户行为捕捉。迄今为止，消费级 VR 在这方面相当缺失。最近 Valve Lighthouse 和 Oculus Touch 的进展将极大的改善这一处境。手势输入仍是用户最自然的表达意图的方式，下图为Oculus Touch。

除了手势输入，由于目前绝大多数VR设备都是头戴式，捕捉用户头部的运动也可以方便地让用户直接操作眼前看到的虚拟世界。三维空间的右手笛卡尔坐标如下图所示，pitch是围绕X轴旋转，yaw是围绕Y轴旋转，roll是围绕Z轴旋转。在VR头盔中，歪头就是roll，摇头是yaw，点头是pitch。

依赖重力感应和陀螺仪传感器，我们可以捕捉到用户头部的运动中心点，并映射到虚拟空间中的坐标上，如下图中绿点所示，从而实现某些用户交互，如判断是否激活当前空间内红框区域所代表的兴趣点。

• 人物捕捉（Persona Capture）

人物捕捉，包括感知、编码、重现使用者的外观、行为、情绪、非语言暗示等目前应用程序需要的信号。可以想象，未来商务人士不需要做空中飞人，就可以借助VR开启各种虚拟会议，你可以观察到与会者的一举一动，甚至表情和情绪。但目前，这是技术领域最不成熟的一块，尤其缺乏消费级的解决方案。目前的方案大都需要借助一些辅助设备的帮忙，而捕捉到的人物精细度已经越来越高，可以应用在影视创作和游戏开发中了。下图是利用kinect实时捕捉脸部运动的例子。

不只是面部表情，全身动作也可以借助光学设备捕捉到。原理是多台相机从不同角度拍摄的图像被采集到计算机之后，通过视觉算法过滤无用的信息，再计算出每个标记点的空间位置，进而根据已知的骨骼信息得到关节的旋转角度。

如下图就是通过同一个标记点在两台相机画面中的位置，解算出它的空间位置的简单数学表达，以及捕捉到的动作实例。

• 环境捕捉（Environment Capture）

环境捕捉，指的是感知、编码、重现真实世界的环境。环境捕捉可以分为相对简单的 360°全景视频和全景几何捕捉——后者需要应用更加复杂的计算机视角技术。

这些技术在飞快的向成熟发展，Jaunt VR、NextVR、GoPro、Matterport 这些公司都在进行紧锣密鼓的研发，很快就会出现完整的商品。

通过全景摄像设备捕捉到的影像或几何信息，经过摄像机标定、传感器图像畸变校正、图像投影变换、匹配点选取、全景图像拼接和融合，以及亮度与颜色的均衡处理等，就可以得到VR头盔中看到的360度视频影像了。

VR头盔的两个镜片可以看成两个完全相同的放大镜，如下图光路剖面图所示，人眼处于左侧实线与光轴的焦点处，中间的为双凸镜片，右侧为屏幕，由于镜片有弯折光线的作用，人眼看到屏幕最上方x位置，而给人的感觉是沿着虚线从更高的位置进入人眼的，仿佛把屏幕放大到了x’的那么大。

VR头盔镜片呈现出更大视野的同时，也带来了畸变。

畸变用通俗的话来说就是图像扭曲变形，给人以中间凸出（桶形畸变）或是凹陷（负畸变），这也属于像差的一种，是由于人眼处于光学系统中的前后位置不同造成的。因此，在图像呈现于使用者之前，先做一次桶形畸变。

如下图所示，用以抵消镜片带来的枕形畸变，从而使使用者感受不到由于镜片畸变造成的不真实感。不同VR头盔的镜片有不同的畸变系数，组成一个畸变补偿方程，来适配不同畸变程度的镜片，从而达到能够通用不同镜片的目的。

•  环境渲染（Environment Rendering）

环境渲染是很多人想起 VR 时想到的：以高质量渲染虚拟的世界，其中包括了所有相关的感知方式。Oculus 的演示表现了消费级产品的出色渲染能力，给用户带来身临其境的沉浸感，这也标志的现代 VR 的来临。VR头盔强调的沉浸感，一方面取决于屏幕的大小，另一方面取决于镜片弯折光线的能力，也就是可视角（FOV）的概念，这也是广大VR厂商经常宣传的一个参数。下图是我们渲染的一个影院三维模型，以及在移动设备上呈现出的虚拟影厅效果。

当然，所有这些领域都包含了很多独立的技术，任何对于一个 VR 应用近期潜力的真实评估都需要比这里列出的更加详细的细节。 

| Part2：设计元素

再好的技术，都需要友好的呈现给使用者。我们把这部分要讲述的内容广义的称之为“设计元素”。它包括了以下三个方面。

• 可用性（Usability）

包括了 UI/UX 的所有方面。用户界面和用户体验，是消费级产品最重要的部分。

如何才能简单高效的将技术能力传达给用户，同时又能准确的捕捉用户意图，相信随着意图捕捉的技术能力越来越成熟，这部分会有更好的解决。

• 叙述（Narrative）

指的是我们讲述故事、小说或其他什么东西的能力。

这些都充满了信息，引人入胜，并且能引起人的共鸣。在我看来，未来的VR电影，观影者不仅能感到身临其境，还能获得更有很强的参与感：观影者可以随时望向任何角度，从而获得无数个可能的视角。从某种程度上来说，这种VR电影体验更像是为观影者提供一些素材，而观影者根据自身的关注点来“剪辑”影片，通过不同的角度来自我理解和诠释影片。

• 信息呈现（Information Presentation）

指的是我们在描绘想法、数据、图表和其他抽象概念需要的专业知识：思维导图，信息图表，技术图纸等等。

毫无疑问的是，所有的设计领域——可用性、叙述、信息呈现——在 VR 中都还处于起步阶段。

| Part3：应用程序

既然我们已经知道了技术和设计的必要元素，那么再来看看应用程序吧。在图表中用线的粗细表示了应用对于这些领域依赖的强弱。（图见本文第二张总览）

有些应用拥有很高的技术门槛，如果这些技术基础没有改进，这些应用就无法真正进入市场。在这些领域，新企业如果想要起步，就需要进行这些基础的研发。个人通信就是一个很好的例子：我们还没有消费级的解决方案能够处理实时人物捕捉问题。一旦这些技术被开发出来，这块空间就将向大家敞开。

其他领域则更多的受限于我们的设计知识——我们不知道什么样的体验才是最好的。生产力工具就是最好的例子，很快 Oculus 和 Vive 都将把优秀的手势识别输入控制器推向市场，而剩下的主要技术障碍——意图识别——也将不复存在。但是 VR 中的 Word、Excel、PowerPoint 和 Photoshop 将是什么样的？它们如何工作？我认为我们对于可用性和界面设计的不了解才是我们面临的主要障碍。

那么，什么样的应用可以投向市场，或者可以很快的投向市场，什么样的还需要等待时机？ 

短期（9-18 个月）

游戏：当然最强的依赖就是渲染了，这一块已经相当成熟。对于其他技术的依赖较弱，并且使用一些早期的技术就可以工作。叙述手段在短期内可能会有一些问题，因为人们需要去学会怎样建立和展开故事线。

直播：除了渲染，主要的依赖就是环境捕捉了——但是这一块发展真的很快！直播依赖的其他部分内容不在本文讨论的范畴内，例如内容运营，云计算技术等等。

不动产：这类应用的门槛在于快速廉价准确的捕捉室内环境。Matterport（室内环境建模软件）这类的软件就是这样。

新闻：高效的 VR 新闻需要将叙述技术和环境捕捉相结合——这两个领域都需要更多的发展提高。不过使用现有的技术进行早期的尝试也能够成功，然后再慢慢的结合最新的技术成果。今年11月6日，《纽约时报》正式上架虚拟现实新闻客户端“NYT VR”，为读者提供“浸入式”视频，号称“看新闻视频比3D/IMAX还带感”。

中期（1.5-3年）

• 生产力工具

这类 APP 的存亡取决于它们激发、捕捉和响应我们的意图的能力。精准高效的输入解决方案即将投入使用，不过设计和开发人员还需要花一些时间才能弄清如何更好的利用这些输入设备。虽然这类应用被列入中期，但是很多重要的作品都需要数年的时间才能完善并面世。

• 社区

和其他人交流感兴趣的话题——这也是互联网最初和最持久的应用。在 VR 中实现它需要很好的人物捕捉（主要障碍）以及出色的产品设计，不过这类应用在相对较短的时间内就可以使用了。

• 电影

故事叙述不受主要的技术壁障现实，并且全景相机正在迅速的发展。现阶段最主要的难点就是创意——如何在这个媒介中讲故事。Oculus 、Google 以及许多传统工作室和制作公司已经在努力的探索这一领域了。

• 教育

这有点难分析，因为不同学科的需求不同。历史和文学与影院和旅行有很多相似之处，而细胞生物学和技能训练则更像游戏。

• 旅行

这几乎全靠环境捕捉——让我们感觉我们真的在哪里，这需要尽可能高的保真度和尽可能多的感官渠道。

更远一些 (3-5年)

• 商务会谈

需求很复杂，从高还原的人际关系，信息和思想的呈现，到可靠的产品设计。目前的会议解决方案例如 GoToMeeting 体验非常糟糕，在个人和公司转而使用这类技术前还有很多需要改进的地方。

• 个人通信

这类应用还很遥远，它需要能捕捉细微动作的人物捕捉技术，包括所有人类使用的非语言交流方式。除非有重大的技术突破，否则不会出现令人满意的解决方案来取代现有的通信方式。

• 扩展知觉
  

另一种很难分析的应用——通过数据展示以及感官输入这样全新的视角向我们展示现实和虚拟的世界。这需要等待设计准则的成熟以及最合适的数据流才能变得实用。

| 我们还缺少些什么？

在这篇分析里，主要讲解了不同 VR 应用的技术和设计需求——这也是决定能否做出有竞争力的产品的主要因素。但是在 VR 成为一个新的计算平台的过程中还有很多其他问题需要解决。其中一部分如下：

• 中间件，引擎，分布式平台，授权工具。

这些都是一些幕后的模块，它们对于将应用推向市场很重要。当然，它们中的很多都在短期内会产生机会。

• 市场规模，货币化，商业模型。

所有这些应用都拥有广阔的市场，有一些的市场特别大，而有一些则有明确的货币化的道路。基于不动产的商业和基于体育在线直播的商业是完全不同的。

• 消费者的广泛接受以及头戴设备的渗透。

有一些应用需要广大的消费者作为基础。而有一些则只需要早期的用户就可以启动。

核心观点引自国外作者Beau Cronin，这里面还有更多VR相关内容，有兴趣可以看看。

【作者介绍】LeoWang&Bai，来自技术交流平台——乐视创新与用户体验研究院（IUEI），一个展现乐视最新技术成果、项目经验与工作感悟的地方，有兴趣的童鞋可移步其微信公号：LetvIUEI。