IEEE CoG 2021格斗游戏AI竞赛成绩公布，获得冠军的网易互娱AI Lab 有多强

雷锋网消息,IEEE 2021游戏会议(IEEE CoG 2021)格斗游戏AI竞赛(FTGAIC 2021)的成绩不久前正式揭晓。

网易互娱AI Lab 在竞赛的两个赛道、三个角色,共六个项目中均斩获第一,以150分的总成绩满分夺冠,一举击败来自中、日、韩等多个国家的顶级学府和科研强队,其中包括曾连续获得四次冠军和一次亚军的日本参赛队伍,以及去年夺冠的中国科学院自动化研究所,成为9年竞赛史上首个满分全胜的队伍。

IEEE CoG 2021是专注于游戏领域的人工智能国际会议,每年都有来自全球各地的专家学者和开发人员汇聚于此,共同探讨游戏技术与设计相关的前沿话题和未来趋势。FTGAIC作为大会官方举办的双人格斗游戏AI实时对抗竞赛,由于其兼具挑战性和趣味性,自2013年首次推出便吸引海内外强队踊跃参加。

据了解，该竞赛要求参赛算法控制三种不同属性的格斗角色,使其在16.67ms的反应时间内从56个离散动作中做出最佳决策,进而在有限时间内快速击败对方算法控制的智能体。

值得一提的是，该赛题旨在实时双人零和博弈问题,属于非完美信息博弈,在同步决策的过程中智能体无法准确获取对方正要采取的动作行为,因此会对其有效决策行为造成影响。此外,竞赛中两个角色的属性对于参赛选手而言是未知的,这也大大增加了研发的难度。

并且，网易互娱AI Lab创新性地使用了自研的分布式深度强化学习框架和自博弈训练范式的PPO算法,该自研框架具有良好的适应性和可扩展性,支持不同规模的分布式训练,同时也支持自博弈训练范式。相比往届冠军队伍都采用的启发式搜索算法,深度强化学习算法无需基于专业知识对所有搜索空间进行约减,只需在原始的状态空间和动作空间进行训练,大幅提高了AI设计效率。

另外，为了避免受到游戏角色属性被修改的影响,网易互娱AI Lab在训练时还对角色属性进行了随机修改,获得了更为鲁棒的策略。最终,在Speedrunning模式下,网易互娱AI Lab的AI击败内置MCTS AI的平均用时仅为第二名的二分之一左右。而在Standard模式下,网易互娱AI Lab的AI使用三个不同角色与其他参赛队对战的胜率分别达到了 98.3%,96.7%,100%。

网易互娱AI Lab(BlackMamba)与其他参赛队的时间对比

网易互娱AI Lab(BlackMamba)与其他参赛对手的胜利局数对比

在大赛上,网易互娱AI Lab另辟蹊径,以深度强化学习方法替代搜索性算法(蒙特卡洛树搜索、演化算法)夺得竞赛冠军,打破了后者在该比赛近五年的统治地位,证明了网易互娱AI Lab在游戏AI领域的技术优势和工程实力。

从过去的国际象棋和围棋等回合制双人零和博弈,到如今更加复杂的实时策略型游戏,游戏AI一直在推动人工智能的核心发展。网易互娱AI Lab也一直将游戏AI作为研究的核心领域之一,希望能够将研究成果反哺到游戏中去,不断丰富和提升玩家的游戏体验,同时也希望AI+游戏的研究成果能够被延伸至游戏外的更广泛的应用领域,向通用型人工智能探索和迈进。