这家公司可能解决了VR电影的最大难题

Sebastian Marino是一个略微有点陌生的名字，但你肯定看过詹姆斯·卡梅隆的经典之作《阿凡达》。Marino曾凭借在《阿凡达》中出色的特效工作为影片赢得奥斯卡金像奖。

某夜，他化身一名导演，在他的公寓拍摄了一段电影片段。他与他的团队架起一排摄像机，在一个绿色的荧幕前对两名女演员进行拍摄。只有其中一人有台词，她略带神秘地说，“我猜你现在心情应该有点像历险记中掉进兔子洞的爱丽丝，我建议你谨慎选择”。她指向一个方向，又指指另一个方向。拍摄内容结束后，大家卸掉荧幕回家了。

但Marino的工作还没有完成，接下来他需要将这个片段进行后期制作。

经过一夜的处理，早上他把生成的文件载入Unity 3D游戏引擎中，并将这两名女演员置身于一间公寓中。在一个房间中，一面墙上有霓虹灯，另一面墙上的挂灯发出的光芒投射到女演员的右侧。在另一间房间中，他使屋内的灯昏暗地发出红光，使人看不清另一名演员身上的穿着。

虚拟现实的难题

事实上，这并不仅仅是个电子游戏，它是一个电影。确切来说，它极有可能是第一部真正加入真人角色的虚拟现实电影。之前讲话的女演员看起来一点都不像电子游戏角色，她看起来跟本人一模一样。她穿着同样的衣服，脸部动作十分逼真，行为举止流畅。然而，她正站在一个实际上根本不存在的房间中。

Marino与其初创虚拟现实公司Uncorporeal想要通过现实途径，解决虚拟电影制作中的难题。更加令人吃惊地是，他与另外两位联合创办人（他们曾在卢卡斯影业，WETA，欧洲太空属，Google X，微软和Electronic Arts工作）已经秘密地完成了这项工作。他们独立完成了公司的种子投资，并从未在现身于任何虚拟现实会议，并且各项对外联系均利用母公司的电子邮箱，所以没有任何人捕捉到Uncorporeal存在的信息。Marino说，“知道我们的工作的人数，用手指跟脚趾就能数过来”。

随着时间驶向2016年，期待已久的虚拟现实技术投入市场的日子也越来越近，但仍有一个现实难题急需解决。这个难题并不是模拟器性能不足，分辨率不高之类；这些硬件问题目前都已被有效解决，虽然仍称不上完美，但其性能相比于18个月之前，其变化已经超乎想象了。这个难题亦不是输入问题，即将出现的三种用户系统（Oculus Rift，HTC Vive和Playstation VR）均有不俗的表现。此难题也无关内容：从开发中的几十款游戏到Netflix公司的虚拟影院，再到虚拟博物馆之旅，这些都保证了其适用性。

Uncorporeal相机抓取实时几何数据

难题是电影。

具体来说，是真实动作视频捕捉。消费级虚拟现实依靠外部摄像头追踪头盔的环境，并将其移动和位置转化成虚拟环境。这称为位置跟踪，而在虚拟现实游戏中，正是这项技术让你可以通过蹲下、斜靠和弯身，在游戏中实现在椅子后蹲伏、障碍物后侧窥视以及在桌下巡查这些动作。但，现在还不能将位置追踪加入到视频中。

试想一下：你将一系列摄像头放置于一个中心点周围，作为头戴头盔的人的眼睛，那么你只能看到这点周围360度的视野。在虚拟现实中最佳的“六自由度”中——左右点头、转头、歪头，并向三个方向移动——虚拟现实视频在移动中有极大的限制。换句话说，你可以在即有位置上任意活动，但不管你怎样蹲伏或者倾斜身体都不能改变位置，这会在使用时造成很大不便。

为了解决位置追踪这一问题，数个虚拟现实电影公司都选择制作皮克斯那样的CGI电影，即使用为虚拟现实优化的游戏引擎，如Unity 3D和Unreal 4，制作像游戏一样的视频。（这种奇怪的混合模型正是为什么在虚拟现实界，“体验”与“叙事”正在逐渐取代“电影”这一词。）但是实现位置跟踪和所有六个自由度，你将会同时失去一些东西：现实。在常规的非虚拟现实游戏中制作逼真的人类，已经够吓人了，如果再进行虚拟现实的处理，这完全是无用的。

Uncorporeal的几何数据可被用于游戏引擎制作的虚拟环境

在虚拟世界中生成真人

这就是Uncorporeal要解决的关键。他们像其他虚拟现实视频公司一样，使用一系列相机组合拍摄影片。然而，他们的镜头可以捕捉到房间的所有光场，像Lytro相机的视频版那样。简单来说，这意味着该公司拥有如此多的光样本，足够通过在亚毫米精度创建几何模型，处理画面。“我们不单单能了解拍摄物体的几何结构，”Marino说，“也捕捉这些相机所能捕捉到的所有的光，我们能捕捉到每一个像素，无论你在哪个方向看物体。”

这听起来可能有点像动作捕捉，但事实上它不是。在动作捕捉时，你制作一个人物的静态三维模型，然后让骨骼结构和其他底层动起来，形成动作效果；它可能看起来逼真，甚或是基于一个穿了内置追踪设备的服装的演员的动作生成的，但这仍然是CG。Uncorporeal的技术更像是“逐像素动作捕捉”，每个像素都有3D效果，可以完美实现数字化，但它本质上是一个人类演员在做表演。

不过，这只是一个人物而已。所以一旦相机捕捉到了人的动作，Uncorporeal会合成所有数据，生成一个专有的编解码器u3d，它包含有被捕捉对象的所有几何信息，以及光场信息。u3d编码文件能直接用在Unity 3D游戏引擎制作的场景。得到的结果就是，在虚拟环境中出现一个真实的人。光场信息让两者的结合变得天衣无缝，Marino将自家技术称为10DVR——六个自由度加三维信息再加时间。

明确地说，Uncorporeal并不是唯一一家有所行动的公司。在今年早些时候，Lytro筹款五千万美元，欲用于光场摄影机的虚拟现实应用，目前尚未有成果公布。OTOY公司对一个空房间进行了光场渲染，但没有人类动作。而Uncorporeal貌似是将图像捕捉和视觉效果结合起来的第一人。通过捕捉真人举动和表情，它能为虚拟现实影像保有亲密感。通过对人物进行渲染，并引入可进行位置追踪的虚拟空间中，它又能达到只能在CGI中才能体验到的临场感。

好莱坞也对这项研究时时跟进。Marino证实，Uncorporeal正低调地同数个工作室进行密切联系。“因为在种子投资期间，我们是自食其力的，所以我们并不需要大张旗鼓引人耳目。在联系人方面，我们可以自由选择”。尽管他们向来避免在虚拟现实活动中露面，他们将参加今天于纽约开幕的Future of Storytelling（未来叙事）大会，并使用DK2向众人展示真正的电影叙事的未来是什么样的。

Via wired