AMD沉浸式技术总监：如何用显卡帮助开发者打造更优质的VR内容？ | UOD 2017

Frank Vitz

一直以来，VR 对画面质量有着较高的要求，而能决定画面质量的除了开发者使用的开发工具，更需要依靠高性能的显卡。在近日的 Unreal Open Day 开发者活动上，雷锋网见到了 AMD 的沉浸式技术总监 Frank Vitz，他谈到了如何发挥显卡的潜能，在开发过程中帮助开发者打造更好的内容。雷锋网认为这对开发者来说也方便了不少。

以下雷锋网对其演讲内容做了整理：

沉浸式技术让实际世界与数字世界或者模拟世界之间的界限变得模糊了，现在人们已经沉浸在了新的环境当中，这包括虚拟现实、增强现实、混合现实、远程监控、HDR以及触觉界面等等，这些都是能够为我们今天所采用的技术。你们知道虚拟现实产业已经成为了所有这些领域的催化剂，而且它还会变得越来越大，没有人知道它会变得多大，但是我们有一个非常有意思的预测，会有巨量的发展。

我们不能只告诉人们，这样的巨浪就要来了，我们要告诉他们巨浪来了以后，怎样学会冲浪，应该怎么样应付自如。我们想做的就是让他处在巨浪中间，告诉他们自己应该如何驾驭巨浪。首先我们要把人们放在巨浪当中，这就是我做的类比，我喜欢冲浪，而且我也喜欢在这个行业当中所产生的巨大的影响。

在AMD，我是一个相对比较新的人，但是我在这方面是非常积极的，做多媒体已经做了很多年了。我们现在做的 ITG，这是一个工作流程，对这些方面人们的关注是越来越多。我们大概有三十名工程师组成的团队，我们的工作是解决一些问题。

我们的使命是非常简单的，用一句话来说，我们要知道可以这么做，然后知道如何解决这背后的复杂问题，知道如何快速的以节省成本的方式，来做 ITG 的规划，每年它的生成速度最快，每年我们为开发人员更好接触这样的能力。

我们要解决这些挑战，现在处在一个非常战略性的位置，我们要开发新的工具，要让他们有新的特征。我们有一个开源仓库叫做GPU，现在GPUopen.com，因为有些人已经知道了这是一个开放仓库，我们还需要一些产品系列来生产出来，如同我们造船一样，这里面既应硬件也有软件。

我是做视觉效果，这是数字效果的早期阶段，里边还涉及到如何从事工作，我们还有一些非常强有益的工具，最后我们有计算机方面的加速。我想做的就是把我们在电影当中学到的东西，放在游戏行业当中，这是我很长时间以来一直说的，从电影到游戏。

现在像虚幻引擎，为我们提供了一个框架，在这个框架内，你可以解决电影互动的问题，我们通过VR可以实现，所以在我的脑子里，实时引擎现在是关键。因为他们提供了一个框架和一个工具，让人们能够有沉浸式的体验，我认为这是它最有潜力的方法。我认为在座的人中，大多数能够把给你们这些工具，把我们的硬件融入到你们的游戏当中，我们怎么做到的呢？我们是设计并且创造新的特征，我们还使用GPU，把它放在ADK、SDK、API来实现，我们还有一个GPUopen源，这是非常酷的东西。

不只是想让你使用AMD的产品，我们是让你能够有很多的解决方案，而无论你说的问题是什么，我们的战略就是有这样软件的特征，他们能够在所有的GPU上运行，所以如果你走了GPUopen.com，可以看到有一个库，里面有更多AMD的事例，使用的数据等等。

我们有一个叫做 LiquidVR，里面设置了不同功能特征。从两年前到现在，我们都一直使用一个GPU，这是不成问题的，而多显卡可以降低延迟，提高渲染的效率，我们可以左眼和右眼同时进行渲染，这样两个眼同时进行的，并且可以传递到屏幕之上，这样是比我们甚至是高端的显卡，刺激性的渲染还要快。就是说我们先左眼加上右眼，才能到屏幕上，所以我们多显卡情况下，即使是两个低端的显卡也是比高端的显卡快的，而我们低延迟就是关键。

另外一个功能是向前的渲染，这个不是一般的AMD的硬件。向前的渲染，也很多人说，是一个新的好东西，但实际上不是一个新的东西，我们只是说，做了一种不一样的渲染，因为考虑到照明和不同的印。有的时候回头看一步就开拓天空了。其实向前的渲染对于VR来说非常适用的，因为它并不是像我们之前渲染一样，有这么多的细节，这样的话，其他的功能更好适用VR了。它也是有非常棒的团队，做得非常不错。而我们做的，只是说优化了一下，让它在AMD的性能更好。我们也可以向大家保证，这样的技术在AMD上运行得非常好。

我们注意到音频也是VR不可或缺的一部分，简单的立体声不行的，必须要让声音来自于正确的角度，让它听起来好像是我们在走到房间的不同角度，声音反射也不一样。如果我们做这样的建模，要了解每个关卡的声学设置特别难，我们可以用同样几何的形状，用于渲染视觉的形状，渲染我们的音频，这个就是我们的产品。

这是一个插件，这个插件可以良好的渲染世界之中的材质，还有不同的几何形状，能够非常好的实现现实世界的声学特征。我们知道一个声音从声源过来的时候，从耳朵中听到的，不光是一个声音，还听到了衍射、慢反射、反射，我们所用的这个技术叫做“卷积”，我们也知道这个显卡，可以处理32个不同的路径，同时进行处理，所以只要你有一个比较好的耳机，听起来会非常棒。

而且我们大脑可以区分哪些是真的，哪些是假的，所以我们才可以做到这一点。我也是一个音频的铁粉，我们的True Audio  Next就是支持音频的插件，而且我们做了一个非常简单的VR建模，作为一个样品。当然不是一个非常复杂的代码，但是我们把它作为一个插件，这样的话不管用什么音频的系统都会觉得很有用的。

下面一个叫做高级的媒体框架，或者叫AMF，它也是作为AMD执行的，它所做的事情能够提供显卡加速的解码和编码。我们可以在AMD的硬件之上，用专用的硬件进行，而且不会影响到其他的系统。比如说打开两个视窗，一个放4K的视频，与此同时，我们实时运行这样的游戏不会受到影响，这一点也是VR当中越来越重要的。

比如我们有360视频，可能是预渲染的，加上实时渲染的前面的一些实时渲染，这样就能够有跨操作性了，就是在不同API，不同的显卡上都可以有，DX9，DX11、DX12都可以。因为我们可以解码，来做推特的连播放，同时我们又玩游戏也不影响我们的帧率，这是有意思的一点，而且我们可以提供一些其他的组件，比如多媒体的应用，比如说是色块的转化，或者是拓展，还有包括计算等等。

这个是我们的方块图，我们看是怎么起作用的，可以编码、解码，而且可以提供我们显卡的功能，这个对于我们的程序员来说非常的好，因为如果能够在于游戏中执行这个，实现这个，或者我们去使用它的话，它能够代替我们的默认虚幻引擎的编码，我们会运行更快。

TressFX也是非常好的功能，是实时毛皮的模拟，我们有这样的设置，很快做一些毛皮的动态出来，我们能够提供这样的插件，可以用maya，然后在我们的素材上生成这个毛发，然后再对模拟进行渲染。我们提供所有的源代码，还有一点比较有趣，我们的计算对于毛皮的计算是本地化的计算，非常的复杂，有物理引擎，包括毛皮怎么动什么的，它不需要非常精确的32位精度就可以做到了，所以我们觉得可以用tress FX，FP16的架构就可以进行计算了。就在下一个显卡的产品就可以内设这一点，我们基本上可以把整个处理量乘以二，现在还在开发当中，但是进展也是非常迅速，正想办法集到新的引擎里。还有多视窗的渲染，也是在我们VR下面的，可以左眼、右眼渲染上进行优化，减少重复，这也是复杂的说法，其实简单点说，我们只是有一个显卡，也可以去优化我们左眼、右眼数据的调用或者载入，可以同时去做，不管一个显卡，还是说多显卡的效率提升都是可以做到的。

我们这种高保真的渲染挑战，在VR是在哪里呢？实际上，它不是唯一的一个我们想要高保真的地方，在我们的企业级的应用上，有时候，即使是最好的向前渲染，或者说是扫描的算法都没有办法得到相片级的表现，比如用游戏引擎渲染我们的过场动画什么的，我们也希望有非常好的渲染得到高的图象质量。那现在确实是有一些选项了，可扩展的光线追踪可以加速我们的显卡，而且它使用的是行业标准，这样的话能够更好的运用我们多显卡，而且运用我们的CPU，更好分配我们的渲染任务，放在所有机器人的处理器上，它是免费的。

关键是我们游戏引擎的光线追踪，我们游戏中很多的花的资源，有时候很复杂，有时候还是重复的，有时候像意大利面一样，非常的混乱，这样的一些代码，但是我们可以把它真正的转为所谓的像基于现实的这种光线追踪和这样的阴影生成，关键是我们要生成标准的素材库，我们可以用标准的游戏阴影器，还有光线追踪器，这样我们就有非常一致性的表现。

我们最近刚刚把我们ProRender集成到产品之中，这样能够真正抖出我们的模型，导入到虚幻之中，而且是无缝导入，这个对于一些人很重要，有的时候需要从建筑师这里，或者是从汽车行业这样的模型之中把它导入出来，导入到我们的其他应用之中，这个就是我们全集成这样的光线追踪的设置了，这就是我们虚幻的未来。

当然像我之前所说的，我给大家看到的所有这些，在AMD的硬件上运行非常良好，我们也一直在优化，而且他们也能在其他的显卡中运行，而且我们的硬件上还有一些功能是其他的硬件不能做的，其中有一个就是我们SSG功能，这也算是一个图形卡，就在我们卡上，有M.2这样的设置，也就是说可以直接在这边收集1TB的数据。这是一个非常快的硬件，他们可以播放这种8K无压缩的视频，也就是说，一秒有180多帧，关键我们除以四的话，有四的4K流。在VR游戏的直播之中，背景放一些别的，这就是非常强大的功能，这是AMD的硬件特点，它可以更好的促进我们的游戏开发或者说我们的游戏其他应用。像我之前所说的，在大的数据集上，它处理得非常好，而且加上我们的AMD解码、编码确实是一个非常棒，非常好的工具。

我们认为未来在于matiGPU，像CPU里面，这是能量非常大的。在matiGPU你的引擎里面，你要有比较小的显卡，有比较大的能量，而且花的钱也比较少，这比你买一个大卡要划算得多。还有VEGA已经来了，我们有一系列特征可以给原始的性能进行优化，我们管它叫快速的，包装好的东西，这是我们前面所提的，它指的是我们能够得到指令，2×16的指令，而且有32个键。

但是不管怎么说，VEGA和Ryzen结合起来才是一个真正的能量屋，去年的时候，我们看到VEGA、Ryzen体系是4K上运行，这里面规定了一个基准的流量，我们把所有的VR特征放在一起，我们放在VR上，我们今天和你们分享的这些东西，我们都是也和Ryzen和VEGA放在一起，我们认为这对于开发VR内容来说，是一个非常强有力的工具。

所以总结一下，今天我们所讲的内容，在AMD上建立了高品质的硬件，可以有非常好的计算能力和图形能力我们已经开发了软件，让你们能够进入使用这个强有力的工具并发挥作用，我们提供了一个开放式的，免费的进入模式。我的目标是为我们的虚幻开发人员提供，他们来你所从事的工具需要的各种各样的工具，这是我们现在工作，正在做的事情，而希望你们的工作也和虚幻能有一些联系，非常感谢。