资讯 业界
此为临时链接,仅用于文章预览,将在时失效

OpanAI公布Dota AI比赛细节,自我对局让它超越人类

作者:张驰
2017/08/18 08:47

OpanAI公布Dota AI比赛细节,自我对局让它超越人类

在攻克了围棋以后,人工智能研究者们似乎不约而同地把电子竞技游戏作为了下一个练兵场。雷锋网上周报道,在Dota2国际邀请赛TI7上,OpenAI率先展示了自己的成果,在西雅图让AI在1v1比赛中击败了职业选手,又一次点燃了关于AI的讨论。

雷锋网对比赛结果也进行了诸多分析,就目前的资料来看,其实1v1比赛可能较围棋来得简单,在1v1比赛中取胜,也不能说明在5v5的完整比赛中能战胜人类,人类还保有一定的尊严。

经过约一周的时间,OpanAI最终公布了Dota AI的一些细节,不过它还是有所保留,没有说明技术细节。最后,他们还说到最终的目的就是在5v5比赛中战胜人类。

OpanAI公布Dota AI比赛细节,自我对局让它超越人类

上图是游戏AI的TrueSkill评级(类似于国际象棋中的ELO评级)分数变化,计算方式是模拟AI之间的游戏对局,并观察胜率。TrueSkill系统是基于贝叶斯推断的评分系统,由微软研究院开发,主要用于多人游戏匹配。这套评分系统考虑到了玩家水平的不确定性,综合考虑了玩家的胜率和可能的水平涨落,而不是简单的基于胜率的评分。

图中显示的变化趋势是线性的,这意味着AI的提升水平呈指数级增长。

OpenAI还具体介绍了项目的开发时间表。从某种角度看,15%的玩家低于1.5K MMR,58%的玩家低于3k,而99.99%低于7.5k。

MMR是比赛匹配分级系统,全称是match making ranking,简单理解就是Dota中常说的天梯分。

OpanAI公布Dota AI比赛细节,自我对局让它超越人类

AI与Sumail比赛

完整的比赛是5v5版本的,不过1v1也出现在一些锦标赛中。OpenAI写到,系统是在标准比赛规则下对战的 ,在1v1中没有为AI做特别的简化。

系统的操作环境如下:

系统还可以选择使用的几十个装备道具,选择后会有评估。OpenAI还用了传统的强化技术单独训练开局前的挡兵,这基本是1v1的标准操作。

OpanAI公布Dota AI比赛细节,自我对局让它超越人类

AI与Arteezy比赛

OpenAI称,他们使用的方法结合了少量的“教练”式训练与自我对战,每天都能有很大的提升。比如在TI比赛的那段时间,周一晚上的时候Pajkatt还打赢了系统,当时他使用了一个不寻常的装备,即在早期购买了魔棒。后来OpenAI将这种操作加到了培训当中。

星期三下午OpenAI再次测试了最新的系统。比赛中AI在第一波攻击中就掉了一大半血,正当研究人员觉得要把系统回复了原先版本的时候,他们注意到了惊人的发展,原来第一波攻击是在诱使对方采用更激进的攻击方式。系统进一步的自我对局逐渐解决了这个问题,并学会了抵制引诱策略。

在与Arteezy的比赛之后,OpenAI更新了挡兵模型,让系统的TrueSkill分增加了一点。然后在与Sumail比赛之前又进行了进一步训练,把TrueSkill分增加了两点。Sumail比完后说,AI甚至学会了在敌方的视线之外压影炮,这样可以打断敌人在视野之外的回复。

Arteezy还与OpenAI的7.5k评级半专业测试员打了一场比赛。Arteezy赢了比赛,但测试人员用了从AI系统那学的一招,着实让人吃惊。Arteezy后来说,这是他以前与Paparazi比赛时对方用过的招数,很少有人会用。

这种情况在围棋中也曾出现过,当AlphaGo战胜李世石后,再到它与柯洁的比赛,人类棋手也越来越多地开始学习它的布局与下法。

Sumail在对战后说,AI系统是“不可战胜的”,但它仍然会在与之前遇到过的状况非常不同的情况下不知混所措。在TI的比赛那段时间,OpenAI还设了一次局域网比赛让很多人参加进来,以各种方式与AI系统对战,总共收集了1000多次比赛数据。最终还是发现了不少系统的破绽,可以战胜它,主要有三类:

以上都是在1v1比赛中的小bug,很容易修复错误。但是对于5v5比赛来说,这样的问题根本就不是漏洞了,这时候需要的是一个可以处理突发且怪异情况的系统。

最后,OpenAI表示还没有准备好对外公布开发的AI代理的具体构造,团队的重点是首先解决5v5比赛。如果说1v1比赛很复杂,那5v5比赛就是复杂的集合,而解决这一问题会进一步推动AI的进步。

OpenAI认为,一个比较好的着手方式是行为克隆。Dota每天有大约一百万场公开赛,这些比赛的重播数据会被存储在Valve的服务器上两周。雷锋网了解到,自去年11月以来,OpenAI一直在下载每位专家级别玩家的重播数据,已经收集了580万局游戏的数据(每局都是10人参与的45分钟游戏)。

OpenAI的Dota 2系统表明,如果有充分的计算,自我对局可以将机器学习系统的性能从远低于人类的水平提高到超越人类。在一个月的时间里,它们的系统就从比不上高水平玩家,发展到了击败顶级职业选手,而且还在继续提升。有监督深度学习系统只能与培训数据集一样好,但在自我对局系统中,随着代理越来越好,可用数据会自动提升。

长按图片保存图片,分享给好友或朋友圈

OpanAI公布Dota AI比赛细节,自我对局让它超越人类

扫码查看文章

正在生成分享图...

取消
相关文章