11月9日，NVIDIA GTC 2021 在美国加利福尼亚州圣克拉拉召开。

NVIDIA处处给我们惊喜，这次，黄老板并没有使用虚拟数字人替身，而是直接用新技术造了一个“小黄”！网友高呼：求黄老板同款手办！

而这些都是NVIDIA最近实现的技术的成果。

NVIDIA发布了用于生成交互式AI虚拟形象的技术平台——NVIDIA Omniverse Avatar。同时NVIDIA还发布了一款能够生成用于深度神经网络的合成数据的强大引擎——NVIDIA Omniverse Replicator，它能够生成用于训练深度神经网络的物理模拟合成数据。

两者皆是用于3D工作流程的虚拟世界模拟和协作平台NVIDIA Omniverse的一部分，Omniverse公测版用户现已超过7万人，此外，还有 700 多家公司的专业人士使用。这些公司包括宝马集团、CannonDesign、Epigraph、Ericsson、建筑公司 HKS 和 KPF、Lockheed Martin 以及 Sony Pictures Animation。

黄仁勋：“智能虚拟助手的前景一片光明”

“Omniverse Avatar将我们的基础图像、模拟和AI技术结合在一起，打造出一些有史以来最复杂的实时应用。协作机器人和虚拟助手的案例令人难以置信，影响深远。” NVIDIA创始人兼首席执行官黄仁勋表示。

据介绍，Omniverse Avatar能够连接NVIDIA在语音AI、计算机视觉、自然语言理解、推荐引擎和模拟方面的技术。在该平台上可以创建具有光线追踪3D图像效果的交互式虚拟形象，可以看到、说话、谈论各种主题，以及合理地理解表达意图。

拥有了Omniverse Avatar就可以根据各个行业的需求来定制AI助手。AI助手可以用来帮助处理日常客户服务互动，比如餐厅订单，银行交易，个人预约和预订等。

这些技术被集成在一个应用，并使用NVIDIA统一计算框架进行实时处理。这些技术被打包成可扩展、自定义微服务后，能够通过NVIDIA Fleet Command™在多个地点安全地部署、管理和协调。

在NVIDIA GTC主题演讲中，黄仁勋分享了使用Omniverse Avatar的多个例子，包括用于客户支持的Project Tokkio、用于永久在线车载智能服务的NVIDIA DRIVE Concierge以及用于视频会议的Project Maxine。

在第一个Project Tokkio演示中，黄仁勋展示了NVIDIA的同事们与一个黄仁勋的卡通虚拟形象进行互动——就生物学和气候科学等话题开展对话。黄仁勋将这个“小黄”叫做Toy-me，使用了他自己声音合成的语音、角色动画以及基于光线追踪的精美图像，而且这一切内容都是实时的。

在第二个Project Tokkio演示中，黄仁勋着重介绍了餐厅自助服务亭中的一个客户服务虚拟形象。演示中，有两名顾客正在订购素食汉堡、薯条和饮料，该虚拟形象看到了他们、与他们交谈并理解了他们。这些演示由NVIDIA AI软件和目前全球最大的可定制语言模型——Megatron 530B驱动。

在DRIVE Concierge AI平台演示中，中央仪表盘屏幕上的数字助理帮助驾驶者选择了最佳驾驶模式以准时到达目的地，然后按照驾驶者的要求，设置在汽车续航里程下降到100英里以下时进行提醒。

另外，黄仁勋还展示了Project Maxine如何为虚拟协作和内容创作应用增加最先进的视频和音频功能。演示中，一个讲英语的人在嘈杂的咖啡馆里进行视频通话，但是其他人可以清楚地听到她所说的话，没有背景噪音。当她讲话时，她的话被实时转录并翻译成德语、法语和西班牙语，并且声音和语调与原话完全相同。

Omniverse Avatar主要组成部分

Omniverse Avatar 所使用的语音AI、计算机视觉、自然语言理解、推荐引擎、面部动画和图像元素，通过以下技术实现：

• 其语音识别基于NVIDIA Riva。这个软件开发工具包可以识别多种语言的语音。Riva还可通过文本语音转换功能生成接近真人的语音反馈。

• 其自然语言理解基于Megatron 530B大型语言模型。该模型可以识别、理解和生成人类语言。Megatron 530B是一个预训练模型，它可以在很少或没有训练的情况下完成句子、回答主题广泛的问题、总结长而复杂的故事、翻译成其他语言，并应对许多它未接受过专门训练的情景。

• 其推荐引擎由NVIDIA Merlin™提供。该框架使企业可以建立能够处理大量数据的深度学习推荐系统，以提出更明智的建议。

• 其感知功能来自用于视频分析的计算机视觉框架——NVIDIA Metropolis。

• 其虚拟形象动画由AI赋能的2D和3D面部动画和渲染技术——NVIDIA Video2Face和Audio2Face™驱动。

这些技术被集成在一个应用，并使用NVIDIA统一计算框架进行实时处理。这些技术被打包成可扩展、自定义微服务后，能够通过NVIDIA Fleet Command™在多个地点安全地部署、管理和协调。

为了帮助开发人员创建训练 AI 所需的大量数据，NVIDIA 推出了 Omniverse Replicator。

Omniverse Replicator应用，打造虚拟世界

首批基于Omniverse Replicator用于生成合成数据的应用应运而生，它们分别是用于承载自动驾驶汽车数字孪生的虚拟世界——NVIDIA DRIVE Sim™和用于可操纵机器人数字孪生的虚拟世界——NVIDIA Isaac Sim™。

NVIDIA模拟技术和Omniverse工程副总裁Rev Lebaredian表示：“通过Omniverse Replicator，我们能够创建多样化、大规模、精确的数据集来构建高质量、高性能和安全的数据集，这对于AI来说至关重要。我们已自主构建了两个特定领域数据生成引擎，可以想象的是，许多企业都会使用Omniverse Replicator建立自己的引擎。”

这两个Replicator应用使开发者能够以人类无法做到的方式引导AI模型、填补现实世界的数据空白，并标记真值数据。在这些虚拟世界中产生的数据可以涵盖各类不同场景，包括在现实世界中无法经常经历或安全体验的罕见和危险情况。

黄先生将Isaac Sim称为有史以来最逼真的机器人模拟器，Isaac Sim Replicator 可以生成合成数据来训练机器人，并且表示要让机器人不知道它是在模拟世界还是现实世界中。

使用这些数据构建的自动驾驶汽车和机器人可以在一系列虚拟环境中掌握技能，然后再应用到物理世界中。

真实世界数据是昂贵、费力、需要人工标记的，它容易出错且不完整，而Omniverse Replicator扩展了这些数据，该引擎能够创建大量、多样化的精确物理数据以满足自动驾驶汽车和机器人开发者的需求。它还能生成人类难以或无法标记的真值数据，如速度、深度、被遮挡的物体、恶劣的天气条件、追踪各传感器上的物体移动等。

Omniverse Replicator已成为NVIDIA DRIVE自动驾驶汽车团队和Isaac机器人团队的重要数据生成引擎。该引擎将于明年上线，帮助开发者构建特定领域数据生成引擎。

雷锋网