3D 环境训练智能体时代来临？Facebook 开源仿真 3D 环境平台 Habitat

雷锋网 AI 科技评论：Facebook AI 小组今日在博客开源了一个仿真 3D 环境平台 Habitat，该平台让我们可以在其中训练与评估 AI 智能体，正式宣告「3D 训练时代」来临。雷锋网将之编译如下。

在将学习到的技能运用到现实世界以前，Habitat 允许我们在逼真、高效的 3D 模拟器中对 AI 智能体（虚拟机器人）进行训练。过去基于静态数据集（ImageNet、COCO、VQA）的「互联网 AI」，摇身一变成在现实环境运作的「具身 AI」，进而赋予 AI 积极感知、长期规划、从交互中学习以及基于环境的对话等能力。

为啥叫 Habitat ？因为这是 AI 智能体生活的地方。

总的来说，Habitat 是一个落实「具身 AI」研究的平台，当中包括了 Habitat-Sim、Habitat-API 以及 Habitat Challenge。

Habitat-Sim

一个配备了可配置智能体、多款传感器、通用 3D 数据集处理器（内置支持 SUNCG、MatterPort3D、Gibson 及其他数据集）的灵活、高性能 3D 模拟器。以 Matterport3D 数据集的场景渲染过程为例，Habitat-Sim 的单线程运行高达数千帧/秒（FPS），且只需单个 GPU 就能实现超过 10,000 FPS 的多线程运行！

Github 网址：https：//github.com/facebookresearch/habitat-sim

Habitat-API

Habitat-API 是一个能够实现「具身 AI」端到端开发任务的模块化高级库，这些开发任务包括：定义「具身 AI」任务（导航、指令跟踪、问答等）、配置「具身」智能体（物理形式、传感器、功能等），培训这些智能体（通过模仿或强化学习，或者像经典 SLAM 那样完全不学习）以及通过标准指标对其定义任务的表现进行基准测试。

Github 网址：https：//github.com/facebookresearch/habitat-api

Habitat 挑战赛

我们将举办自动导航挑战赛（在 EvalAI 平台上举行），旨在加速推动「具身 AI」的基准测试与研发进展。与传统基于图像数据集的「互联网 AI」挑战赛（如 ImageNet LSVRC、COCO、VQA）不同的是，我们将基于参与者的上传代码而非预测结果进行评判。上传的智能体会在最新的（隐形的）环境中进行评估，以测试其泛化能力。如果您有兴趣参与，请在此表格中填写姓名与电子邮件地址，我们将在提交生效后回复您。挑战赛的获胜者名单将会在 CVPR-2019 的 Habitat：Embodied Agents Challenge and Workshop 上宣布。

Github 网址：https：//github.com/facebookresearch/habitat-challenge

其他类似平台

OpenAI 的 Gym Retro

该平台同样主打智能体能力泛化，不过就局限在游戏领域，发布至今响应者众。简单来说，Gym Retro 可以帮助研究智能体在本质相似但外观不同的游戏之间进行泛化的能力，尤其关注同一游戏的不同级别之间进行泛化的比较容易的问题，涉及了包括世嘉和任天堂在内的 1000 多款游戏。随着 Gym Retro 一同发布的尚有一款集成工具，让我们轻松添加游戏 ROM，进而创建储存状态、寻找内存位置以及设计强化学习智能体实施方案。不过，该平台依然存在一项棘手问题，那就是经训练的智能体存在 farm 奖励现象，也就是专注于游戏得分，因此忽略了真正的隐藏任务，是它下一阶段需要取得突破的地方。

英伟达的 Isaac

英伟达倾力打造的终极机器人 AI 虚拟训练环境，与 Habitat 平台性质更接近，然而发布至今响应者寥寥。该平台充分利用英伟达在物理引擎上的造诣，旨在打造一个遵从物理定律的「alternate universe」（替代空间），除了时间，该虚拟训练空间将完全遵从现实世界的物理定律。该平台希望在模拟机中学习过的机器人，就能达到貌似在现实世界中预训练过的水平。在时间上，机器人 AI 将以多重「分身」在 Isaac 中进行训练，每轮训练中最聪明的那一个，将进入下一轮分配给每个智能体；再从中选出表现最好的那一个进入下一轮，取代上一轮的所有智能体——如此往复，以训练出最聪明的机器人 AI。

via https://aihabitat.org/?fbclid=IwAR2nzCWxWuOy2klH7dnCKbTZ940F4UjKNwPGAT8CYViMHKWLkAKXDbK4M5c

雷锋网 AI 科技评论 雷锋网