清华 TSAIL 联合腾讯 AI Lab 夺冠 FPS 游戏 AI 竞赛 VizDoom

雷锋网消息，在荷兰刚刚结束的 IEEE CIG 计算智能与游戏大会上，清华大学张钹院士领导的人工智能创新团队 TSAIL 在第一人称射击类游戏《毁灭战士》（Doom）AI 竞赛 VizDoom（Visual Doom AI Competition）上荣获竞赛 Track 1 的预赛和决赛冠军，及 Track 2 预赛冠军、决赛亚军，成为赛事历史上首个中国区冠军。

该赛事研究得到了腾讯 AI Lab 犀牛鸟专项合作计划的大力支持，研究过程中与腾讯 AI Lab 的资深研究员进行了密切合作。团队负责人为清华大学 TSAIL 实验室负责人朱军教授，成员包括清华大学苏航、黄世宇、阎栋、翁家翌及宋世虹，及腾讯 AI Lab 许佳、孙鹏等研究人员。

这一事件在雷锋网学术频道 AI 科技评论旗下数据库项目「AI 影响因子」中有相应加分。

Track 1 官网：https://www.crowdai.org/challenges/visual-doom-ai-competition-2018-singleplayer-track-1

Track 2 官网：https://www.crowdai.org/challenges/visual-doom-ai-competition-2018-multiplayer-track-2

《毁灭战士》是 ID Software 公司于 1993 年推出的 FPS（First Person Shooter，第一人称射击）类游戏，作为该类型游戏开拓者，模式延续到《使命召唤》和《光环》等多个射击游戏。AI 在游戏中能有画面而无声音信息，因此基于强化学习的 Bot 获得的信息比人类还少，使该游戏成为了 AI 研究热门试验场。

在深度学习和强化学习兴起背景下，2016 年，基于游戏的 ViZDoom AI 竞赛诞生，研究能获取原始视觉信息的强化学习技术，因其高挑战性吸引众多顶级实验室，如 2016 年冠军 Facebook FAIR（Track 1）和英特尔（Track 2）、2017 年冠军 Marvin（Track 1）和卡耐基梅隆大学（Track 2）。

比赛共分为两个挑战，Track 1 是单人闯关模式，Track 2 是随机对战模式（Death Match）。

Track 1 单人闯关模式的考核标准是最短时间内闯最多的关口。这是今年的新增项目，与以往经典的死亡竞赛不同，需要 AI 能同时完成探索路径、收集装备、躲避陷阱、杀死怪物、寻找出口等诸多复杂任务，对 AI 的任务理解和环境认知能力要求极高。在 53 个国际参赛团提交的 204 个机器人中，只有 6 个团队实现了有意义的闯关。

针对该复杂任务，TSAIL 团队提出了环境信息引导的分层强化学习技术，在对环境信息有效感知基础上，融合环境反馈和强化学习的奖励信号，引导分层强化学习训练，使得 AI 闯关表现优异，预赛中以绝对优势保持第一，直至决赛锁定冠军。

Track 1 预赛及决赛成绩

第二个挑战 Track 2 是随机对战模式（Death Match），这是 VizDoom 的传统项目，采用死亡竞赛模式，要求参赛选手在同一个地图里对杀 10 分钟，AI 要在保存自己的同时，尽量多的杀伤敌人。最后用 Frags（=杀敌数量-自杀数量）定胜负。清华大学和腾讯 AI Lab 去年曾参赛并获得优异成绩。今年的比赛喜迎了 33 个参赛队的 152 个机器人。

在 Track 2 中，TSAIL 团队针对目前强化学习中普遍存在的动作空间大和奖励信号稀疏等问题，更改适配了轻量级物体检测架构 YOLO-v3，并与强化学习算法有效融合，极大提高了强化学习的训了效率。预赛竞争异常激烈，TSAIL 团队与第二名不断交换领先，最后以 0.1 个 frag 优势夺冠。决赛有 6 支团队参加，包括预赛的前三名、2017 年冠、亚军及 2016 年冠军，TSAIL 最终夺得亚军，成绩远超前两届冠军。

Track 2 预赛及决赛成绩 

参与 VizDoom 竞赛的意义，首先是探索输入像素级视觉信息，直接输出 AI 控制策略的强化学习算法。在研究上，这能带动同类任务研究，如无人驾驶、机器人导航和物体追踪等；应用上，可助力同类射击游戏开发，如虚幻竞技场、雷声之锤和刺激战场等，从而拓展人工智能技术的研究和应用领域。