日前,由英国帝国理工学院和剑桥大学共同组织的“动物—AI 奥运会”在英国拉开帷幕。
继版本一场景发布之后,官方参赛规则和大纲等等相关信息也相继释放,主办方正在执行评估平台上的最后几个测试,比赛和提交说明会在 7 月 8 日放到 EvalAI 平台上。深度学习三巨头之一的 Yann LeCun 亲自在 Twitter 上转发了这一竞赛。
“动物—AI 奥运会”是受动物认知启发而组织的 AI 竞赛。参赛者将在有 7 种物品存在的环境里通过智能体寻找食物,过程中可能需要跨越障碍物、爬坡、推箱子或者避开一些区域。真正的挑战在于主办方并不提供测试内容,需要依靠参赛者自己的场景设置以及互动,这有助于打造一个了解环境的物理运作及其情景支持。最终提交的应该是一种能像动物一样进行食物猎取活动的智能体。这样的测试,对于动物来说不叫事,是时候看看 AI 是不是也能做到。
图 | Animal-AI Olympics 官方图(来源:Animal-AI Olympics 官网)
比赛共分为十个等级,所有测试成功与否都取决于对特定等级目标的实现程度,大多数动物能解决的问题是最基础的测试范围,只有少数动物能解决的问题是最为困难且等级最高的。
觅食测试:大多数动物都有觅食的动机,这在动物认知测试中得到了证实。在比赛里也是一样。食物是比赛中唯一的积极奖励,每次测试的目标都是在时间耗尽之前尽可能多地获得食物(通常这意味着只获得一块食物)。这个入门级的类别可以测试智能体获取食物的能力,过程中不包含任何障碍物。
偏好测试:这一类别用来测试智能体选择最优奖励的能力。尽管不同种类的动物会存在差异,但几乎所有动物都会选择用最简单的方式获取更多食物。有些动物有能力对最有益的长期行为作出复杂的决定。
障碍测试:这一类别的测试涵盖不可移动的障碍物,这有可能阻碍智能体的行动。要想取得成功,智能体就必须充分探测周边环境,而探测行为是动物行为的关键组成部分。
弊害测试:这一等级引入了热点区域和死亡区域,如果智能体触碰到了这些区域会有惩罚。生物有一项关键技能就是躲避风险,红色区域就是比赛禁止进入的区域,如果智能体移动到这些区域,测试将重新开始。这一测试用来鉴定智能体检测和避免负面刺激的能力。
空间推理测试:这一层级用来测试智能体能否理解环境的空间特征,是否具备复杂的导航能力以及在环境内的一些简单物理知识的理解能力。
泛化测试:这一层级包括一些看起来与之前的测试有所不同的环境,尽管解决方式和之前还是一样的。这些仍然由标准配置文件指定。
内部模型测试:这是用来测试智能体存储内部环境模型的能力。在这些测试中,灯光会关闭,智能体必须记得环境的布局并在黑暗中行进。很多动物都具备这种行为能力,但智能体缺少相关的感官输入。因此,这些测试做了一定程度的简化,只测试智能体的视觉输入。
物体存继性测试:当一个物体从视野中消失时,很多动物都能理解它依然是存在的。这是我们认知范围内能理解的,但 AI 系统不懂。如果不能理解这一特性,很多简单的人机交互就不可能实现,因此,看开发者如何把这一功能编码进 AI 系统里将是一件有趣的事情。
高级偏好测试:这将测试智能体通过更复杂的决定来获取更高级别奖赏的能力。希望通过不同的选择获得不同的奖励。
因果推理测试:这是最后的测试,测试智能体提前策划并在未实施之前就能预想到结果的能力。一些动物已经通过这一类别的所有测试。
需要提到的是,在Amazon、Unity Technologies、Whole Brain Architecture Initiative、AIJ、 EvalAI、GoodAI、Leverhulme Trust 和 Leverhulme Centre for the Future of Intelligence 的赞助下,“动物—AI 奥运会”的奖金池已经增加了三倍,达到 3.2 万美元(包括现金+旅行+AWS 计算资源抵扣券)。
参赛日程:
2019 年 7 月 8 日——开启在线提交并启动日常项目更新以及排行榜
2019 年 9 月 1 日——AWS 积分奖评选截止日期
2019 年 11 月 1 日——最终提交截止日期
2019 年 12 月——在 NeurIPS 2019 宣布比赛结果