王者荣耀AI开放公众体验!游戏AI是迈向通用AI的关键?

对于广大王者荣耀爱好者来说,这个五一不一般:51 假期期间,腾讯 AI Lab 与王者荣耀联合研发的策略协作型 AI “ 绝悟 ” 首次开放大规模公众体验活动,限时四天。

“ 绝悟 ” 曾于 2019 年 8 月王者荣耀最高规格电竞赛事,在职业选手赛区联队带来的 5v5 水平测试中获胜,升级至王者荣耀电竞职业水平,因此受到大量关注。

借助这次面向公众开放的机会,DeepTech 亦派出小分队体验了一番,与这位神秘强者直接过招。

图|AI 进行团战配合(来源:王者荣耀)

与AI过招一探“绝悟”实力

为了充分体验 “ 绝悟 ” 的水平,我们总共打了 10 多场比赛,成功通关前五关。第六关小分队一人因为段位不够参与不了,剩下两人倒是在一番苦战之后取得了胜利(前前后后试了 10 多次)。不少玩家也纷纷在网络上表示第 4、5、6 关堪称“人间疾苦”。

其实我们最开始抱着试试看的心态单排路人,想着不过就是 AI 吗,能有多厉害?毕竟小分队队员也是击败过 OpenAI 的人。

结果在单排的 5 局里,除了第一关比较轻松,第二局幸运碰到大腿韩信带着躺赢,剩下三盘都被 “ 绝悟 ” 虐的痛不欲生,万万想不到 “ 绝悟 ” 的 Gank 和支援的意识这么强——会绕后开团,草丛蹲人,3 人跨越大半张地图支援。

当然,路人局缺少交流和阵容问题也是惨败的关键因素,有一局 2 射手+3 法师的脆皮阵容差点被 AI 零封,最后比分定格在 1:36。

自己单排被虐怎么办?叫两个最强王者抱大腿。在找来基友后,车队实力明显从三轮车跃升为装甲车。除了第五关稍显吃力以外,其他几关都比较顺利。期间,一名王者大神表示,感觉对线的 AI 至少也有接近星耀的实力了,轮流扛塔是基本操作,而且技能准的可怕,经常甩出多个技能,然后同时在极限距离命中。

为了分析 “ 绝悟 ” 的套路,备战第五关,我们复盘了第三关录像,发现了一些端倪。

举个例子,“ 绝悟 ” 操刀的上官婉儿和鬼谷子二人开局压制中路,迅速清掉兵线之后转向上路游走,无意中发现了我方打野兰陵王,二人组随即转换目标,入侵野区。由于我们也发现过AI二人组开局中转下,这意味着AI并非只是一个套路走天下,随机应变能力并不差。

这时候我们的中单张良还在清理进塔的兵线,无法支援,导致打野不得不后撤,让出打了一半的蓝 buff。一看时间,离游戏开局还不到 40 秒,不得不说“绝悟”真的很有侵略性。

不过在兰陵王的成功勾引下,婉儿和鬼谷子的目标出现了分歧,前者继续骚扰打野,后者去抓上路。这个决策导致婉儿过于深入,我方清完兵线的中单配合隐身兰陵王轻松拿下一血。

一般来说,二人组应该不会分开才对。我们看录像发现,可能是兰陵王当时只出现在了婉儿的视野里,鬼谷子没有直接看到他,所以才只身一人去了上路。

类似的剧情 1 分钟之后又出现了,面对半血的中单张良,AI 的上官婉儿在草丛附近徘徊,但隐身的兰陵王看准时机抓人,张良接上控制再次收下人头。随后全场顺风顺水,打成了碾压局。

由此看来,AI 非完全不会犯错,也会露出操作上的破绽,但最考验玩家的是能否抓住稍纵即逝的机会,甚至是滚起雪球,对掌控节奏和判断局势有很高要求。

按照玩其他 MOBA 游戏的经验,AI 在技能释放,血量控制和团战方面是优势,但在没有视野的情况下,大局观和支援意识会差一些,提升自我经济的优先度会更高,侵略性通常也只是局限在对线的对手上。

反观 “ 绝悟 ” ,它的侵略性和线上支援意识是顶尖的,经常会出现多人越塔强杀的情况。而且非常重视打龙,甚至达到了无视人类动向,有龙必拿的状态。由于龙是团体增益,“绝悟”可能认为它对团队的提升很大,优先级比自我发育还高。

不过 “ 绝悟 ” 也存在 AI 的普遍通病,一旦玩家选择牵制和偷塔一类的战术,避其锋芒不接 5V5 团战,那么它的行动模式就变得有迹可循。比如骚扰 AI 打龙,让龙脱战,就可以争取其他人的发育时间,或者让 1-2 个人露头收线,AI 就会多人抱团 Gank,剩下的人就可以伺机偷塔。

这一点是非常致命的。由此衍生出 1 人牵制+4 射手偷塔的战术,只要多加配合,哪怕个人实力不足,也能攻克最后一关。

明显的缺点暴露出现阶段的 “ 绝悟 ” 对视野和局势的理解还很粗浅,脸探草丛是常事儿,有时兵线都推到自家高地了,还在外面抱团抓一个收线的人,只因为剩下的人类玩家都藏在视野之外,然后就被莫名其妙一波带走。如果能更好地处理这些问题,“ 绝悟 ” 一定会比现在绝得多。

(来源:腾讯)

专访“绝悟”开发团队:游戏 AI 将是探索通用人工智能的关键一步

体验之外,我们也专访了 “ 绝悟 ” 的开发团队,了解了腾讯设计出 “ 绝悟 ” 的更多技术细节,专访内容如下:

DeepTech:从开发角度,MOBA 游戏 AI 设计的难点是哪些?相比于知名的 AlphaGo 与 OpenAI 的 Dota2 项目,在 “ 绝悟 ” 的设计上有何独特之处?

“ 绝悟 ” 开发团队:早在 2016 年,腾讯 AI Lab 就已开始了 AI+ 游戏的研究之路。我们当时研发的围棋 AI “ 绝艺 ” 相继在 UEC 杯、AI 龙星战以及围棋人工智能大赛等顶级赛事中三次夺冠,并且成为中国国家队围棋训练专用 AI。围棋 AI 的难点在于大规模离散决策空间探索,突破强化学习理论实践瓶颈,探索超过人类的优化策略。

2017 年,“ 绝艺 ” 之后,腾讯开始在星际争霸 2 这类 RTS 游戏中进行 AI+ 游戏研究。与围棋相比,星际争霸 2 是一个不完全信息博弈场景,需在复杂连续的决策空间下进行面向长期决策的决策。到 9 月时,在 AI 仅在 “ 星际争霸 II 学习环境 ” 的多个小游戏上达到专业水平时,腾讯成为首个研发出能在 “星际争霸 II ” 全场游戏中打败 “ 开挂 ” 内置 AI 的智能体。

(来源:腾讯)

同一年,腾讯 AI Lab 与王者荣耀展开了 AI 联合研究,打造本次出战的 “ 绝悟 ” 。它在 2019 年 8 月参加在吉隆坡举办的王者荣耀最高规格电竞赛事——世界冠军杯半决赛的特设环节中,在职业选手赛区联队带来的 5v5 水平测试中获胜,升级至王者荣耀电竞职业水平。

MOBA 游戏中测试的难点,是 AI 要在不完全信息、高度复杂度的情况作出复杂快速的决策。在庞大且信息不完备的地图上,10 位参与者要在策略规划、英雄选择、技能应用、路径探索及团队协作上面临大量、不间断、即时的选择,这带来了极为复杂的局面,预计有高达 10 的 20000 次方种操作可能性,而整个宇宙原子总数也只是 10 的 80 次方。

若 AI 能在如此复杂的环境中,学会人一样实时感知、分析、理解、推理、决策到行动,就可能在多变、复杂的真实环境中发挥更大作用。因此业界认为下一个 AI 里程碑,可能会在复杂策略游戏中诞生。世界顶级科技公司均在推进此类研究,例如问题中提及的 AlphaGo 与 OpenAI 的 Dota2 项目。我们和业内其他所有的研究机构一样,都在追求一个共同的目标:通用人工智能。

腾讯在游戏 AI 研究上有三个优势。第一,在研究方面,我们的研究是系统性的,从围棋进化到 MOBA 游戏,再到 FPS 游戏,未来可以延伸到更多游戏中去,因为腾讯有广阔的研究基础。第二,在应用方面,我们可以将研究成果开放应用到不同的场景中,例如 “ 绝艺 ” 成为国家围棋队的训练专用 AI,同时也在腾讯棋牌服务于公众;绝悟已经可以在王者荣耀上线了,而且未来可以探索更多玩法,让大家去体会 AI 的能力。

(来源:腾讯)

DeepTech:这项研究已经持续较长时间,这次活动的 “ 绝悟 ” 水平相比于过往,在哪些方面得到了比较显著的提升?

“ 绝悟 ” 开发团队:在 2018 年的 KPL 秋季总决赛上,AI “ 绝悟 “ 首次露面,在这场初秀中,绝悟战胜了前 KPL 职业选手和职业解说组成的人类战队,它的表现给外界留下了深刻的印象。

2019 年 8 月 2 日,“ 绝悟 ” 在吉隆坡举办的王者荣耀最高规格电竞赛事——世界冠军杯半决赛的特设环节中,在职业选手赛区联队带来的 5v5 水平测试中获胜,升级至王者荣耀电竞职业水平。同期,“ 绝悟 ” 的 1v1 版本手机版本 “ SUPEX 战队 ” 在 ChinaJoy 2019 首次对公众亮相,在 2100 多场顶级业余玩家体验测试中胜率达到 99.8%。

这两次对外亮相的结果,代表腾讯在深度强化学习、多智能体决策智能课题上的国际级 AI 研究水准,也标志着公司在攻坚通用人工智能( Artificial General Intelligence)难题上更进一步。

在本次 “ 55 开黑节 ” 与大家见面的 “ 绝悟 ” AI,在之前基础上又朝着无限制竞技的方向上前进了一大步,具体表现为:支持更大规模的英雄池,支持放开装备,且在AI的微操水平和大局观战略上的能力较之前版本有提升。

DeepTech:“ 绝悟 ” 设计的最初想法源于什么?这项 AI 研究对于游戏会起到怎样的意义?

“ 绝悟 ” 开发团队:如果 AI 能在此环境中学会类似于人的长期策略规划和协作能力,就代表着多智能体决策最高水准。正因为在挑战性和应用性的巨大价值,腾讯长期关注并持续投入科技来发展游戏,并成为了AI+游戏领域的先行探路者。

为什么选择在王者荣耀中进行研究?原因有几个:首先这是一个多人协作的游戏场景,它在设计上的高复杂度、高挑战性,满足了对高水平AI+游戏的研究需要;其次,王者荣耀团队提供了运行游戏的测试环境,帮助搭建和开发独立的研究平台,极大提升了我们的研究效率;第三,这款国民级游戏拥有众多粉丝,并且口碑优良,对普及和推广AI研究成果也至关重要。

绝悟将会从两个环节促进游戏行业发展:第一,参与游戏设计环节,比如参与英雄角色的平衡性测试与参数调整,提高测试效率,优化角色平衡性,甚至参与 MOBA 地图研发等。第二,绝悟将发力电子竞技领域。作为数字时代最受年轻人欢迎的运动,电竞已于 2018 年成为亚运会表演项目,中国队参赛获两金一银的佳绩。与传统体育项目一样,电竞职业选手也需要手眼脑协调、策略和操作快速反应、团队协作精神及大量刻苦训练。借助在算法和数据方面的优势,“绝悟”可为职业选手提供数据、战略与协作类实时分析与建议,及不同强度与级别的专业陪练。以前沿科技推动电竞专业化发展,AI 将继续推动中国电竞在全球范围内保持领先。

图|AI 与人类的游戏角色对阵(来源:腾讯)

DeepTech:“ 绝悟 ” 前两次在 KPL 赛场上接受顶尖玩家和选手挑战,为什么这次“绝悟”选择王者 55 开黑节接受王者主播和玩家的挑战?

“ 绝悟 ” 开发团队:王者荣耀是一款非完美信息策略对战的游戏,对局中存在无限的可能,目前业界其他游戏 AI,例如 openAI five 在 dota2 上开放挑战中(英雄池和装备等限制条件下)也无法取得全胜。作为设计者,我们并没有期望“绝悟”能够取得特定的胜率。在主播和玩家两天挑战中,受到了玩家极大关注,我们也看到通过人类的智慧,成功找到了破局的方法,感到非常开心;也发现了绝悟AI在应对分推战术上存在的问题:不主动探视野、固定时间打龙、长时间多人抱团等问题,后续我们将针这些问题进行重点投入,希望能够尽快让绝悟以更加完善的形态来迎接玩家的挑战。

DeepTech:在王者荣耀中称霸后,“ 绝悟 ” 背后的技术还可能在哪些领域有应用?

“ 绝悟 ” 开发团队:长期应用上,“ 绝悟 ” 将是腾讯攻克 AI 终极研究难题——通用人工智能的关键一步。AGI 代表研发能在通用系统中执行多种复杂命令,达到或超越人类水平的 AI ,从绝艺、绝悟到绝觅,不断让 AI 从 0 到 1 去学习进化,并发展出一套合理的行为模式,这中间的经验、方法与结论,长期来看,有望在大范围内,如医疗、制造、无人驾驶、农业到智慧城市管理等领域带来更深远影响。