谷歌Paul Debevec：如何打造堪比真人的虚拟形象？（附PPT）｜SIGGRAPH Asia 2016

SIGGRAPH Asia 大会已经进行到第二天，包括 VR、计算机视觉处理等多个领域的展览也于今天正式开幕。如果说昨天还只是前菜的话，那么今天主菜就要新鲜出炉了。

来自谷歌 DayDream 团队的 Paul Debevec 1996 年在 UC 伯克利大学取得博士学位，在动画制作及计算机图像领域有着丰富经验，可以称得上是电影节的技术泰斗，他在今年六月加盟谷歌 DayDream 团队。

今天早上，Debevec 做了名为《如何把高拟真的虚拟人物应用于电影、游戏及 VR》的主题演讲。

从当年玩着 64 KB 的电脑到高中摄影社助理，Debevec 对计算机图像产生了很浓的兴趣。

1996 年在 UC 伯克利大学取得计算机科学博士学位后，他着手采用高分辨率计算机生成虚拟图像，并于 1997 年首次在他自己导演的电影短片《The Campanile Movie》中展示，而《黑客帝国》中驰名的「子弹时间」（bullet time）也是基于这种技术改进而成。

我们在影院中也已经能看到不少基于 CG 技术的科幻动作形象：《侏罗纪公园》的恐龙、《阿凡达》的 XX、《火星救援》里穿着宇航服的马特达蒙，甚至是《速度与激情 7》里「死而复生」的保罗，都是计算机的杰作……随着技术的进步，人物的数字化已经成为了电影制作的一种必然趋势。但是，由于光照会在人脸上形成阴影，如果简单粗暴地将实地拍摄好的人脸「照搬」到电影场景中，逼真程度就会大打折扣。

Debevec 在会上介绍了他在 2000 年设计研发的一种方法——基于图像的光照技术（Image－Based Lighting），简单说来，就是采用真实光源来测量 CG 对象的一种方式。一开始 Debevec 的方法是用单个摄像机反复多次环绕拍摄人脸，再利用拍摄所获得的数据，利用构建好的反射函数生成三维图像。这个图像在算法作用下，可以应用于任何的场景，人脸也能够反映出目标场景下的阴影变化情况。不过后来增加到多个摄像头环绕同时拍摄，这样效果更能接近真实情况。

为了营造更好的灯光效果及建模精度，Debevec 首先对多光谱照明进行了改进（Multispectral Lighting Reproduction）。一开始他采用的是一款含有 18 个 LED 灯（8 红、5 绿、5 蓝）的 MR 灯，但后来改用了只含有六个 LED 灯，但含有更多原始颜色的光源，为的是更好地在自然环境下覆盖几乎所有可能想象的颜色。经过几次改良后，最终变成了现在下图的样子。

除了从设备上下功夫外，软件的要求也同样不能落下。实际上，动态化的人物面部表情捕捉比起静态的人物而言更加困难。其中最为典型的一个例子便是 2008 年的「数字化的 Emily」（Digital Emily），Debevec 采用上述所说的技术，让演员 Emily O'Brien 在一个布满 165 个 LED 灯和摄像机的大圆球内拍摄了一组动态的面部表情照片。

第一行表示的是四个球面光照在不同级别亮度下，Emily 所拍摄的照片；

第二行表示的是加上高光之后的脸部变化。

每个照明方向都会拍摄下数以百计的表情图片，研究者们根据这些数据模拟出了一个数字化的 Emily。看看成果，是不是非常逼真呢？

根据同样的原理，《阿凡达》中的女主、迪士尼《奇幻森林》里的人熊共舞，也是用这样的技术实现的。

在《乌龙特工》（Central Intelligence）中，只需要拍摄下道恩强森所有的面部表情，就能把他俊朗的脸安在高中时代胖胖憨厚，一身肥肉的 Bob Stone 身上了。

Debevec 还提到，奥巴马也同样在美国白宫用这类技术拍摄了自己的多角度，并凭此制造出了他的半身像。

此外，这项技术还能把虚拟人物带到教室中去，让学生向二战幸存者进行提问和互动。

诸如此类的应用不计其数，那么它的真正意义又在哪里呢？在演讲的最后，Debevec 解开了我们心中的谜题：

• 对于演员来说，技术实际上并不会让演技变得无关紧要，相反它会是一种锦上添花的事物，能让演员挑战更多的角色，此外，游戏和虚拟现实行业通过这种技术，能够推动自动化技术的诞生。

• 而对于像好莱坞这样的内容制作方而言，原本需要大量人力劳力去完成的实景拍摄，现在可以直接坐在电脑前完成。

• 对于图形学研究者来说，目前利用多摄像头拍摄来制造虚拟化人物的方式还很昂贵，并且依然对技术的要求有着不少要求，Debevec 希望相关的研究人员能够降低成本，让这项技术成为普适性更强的东西。

• 而最后一点则是技术对于真相的意义。此前为了测试学生的数字化技术水平，老师会让学生们将处理过的照片放上网络，看看是否能蒙骗过网民的眼睛。这当然只是一种戏谑的玩法，但人们如何能在真假难辨的信息中去伪存真，技术又应该承担怎样的角色呢？

「我们在座的每个人都应该时刻提醒自己，自己正在创造的工具是有多么强大。技术能够用来教化、用来启迪、用来娱乐，但它也同样可以被用来欺骗、用来压制、用来篡改真相。我们所能做的，是把亲手设计的产品首度应用在符合自己价值观的地方，并且不遗余力地帮助公众理解和接受。」

雷锋网小编在会后与 Debevec 进行了简短的交流。

雷锋网：您在今年 6 月加入了谷歌团队，继 DayDream 之后，现在主要负责的是哪方面的内容，是否会和您的老本行有联系？

Debevec： 我还是很期待能做些和制作电影有关系的工作的，不过现在主要还是集中于开发新产品，比如和相机有关的一些内容。

雷锋网：您在演讲中主要介绍的是基于图像的光照技术，而 SIGGRAPH 的本次会议覆盖了很多虚拟现实的技术，那么您认为这两者可以实现怎样的结合？

Debevec ：我认为基于图像的光照技术更多地会应用于 AR 领域。如果你想以一种更清晰的方式看到面前的某个事物，这类技术会是 AR 所需要的。又或者，你可以采用光照技术进行远程沟通，就像我在演讲中提到的二战访谈一样。目前有不少厂商正在研究全息影像这样的技术，它们必然需要一个好的光照技术以强化真实感。

雷锋网：您可以算得上是计算机图像在电影领域应用的泰斗，那么您认为 VR 视频的市场是怎样的？

Debevec：目前有不少厂商做出了这样的尝试，希望从硬件上为 VR 视频提供内容，如 Facebook 的 Surround 360 全景相机。 但是，除非你有 VR 头盔，否则很难将它拍摄下来的内容呈现给观众。不过，也有像 Google Cardboard 这样的简单硬件，想让用户用更少的价钱，比如 10 美元，就能更近地接触 VR 相关的内容。而就像我所在的 Google DayDream 头显团队，也正在努力让用户以一种可接受的方式购买 VR 产品。虽然目前的步伐迈得很小，但我觉得这是一个好的开始，毕竟 3D 效果比一张平面图片而言，已经算得上是一个质的飞跃了。

相关文章：

朋克学术大牛上演“换头术”，原来深度学习还能这样玩！（附论文下载）｜SIGGRAPH ASIA 2016

能跟人类对话还不够，机器人还得会用表情、手势表达情绪｜SIGGRAPH ASIA 2016

重磅！独家解密腾讯AR开放平台“QAR”！｜ SIGGRAPH Asia 2016