年初一场关于深度学习局限性的讨论，“战火”一直蔓延到年尾。
作为近年来最活跃的深度学习质疑者之一，纽约大学教授的 Gary Marcus 曾宣称以 Yann lecun、Yoshua Bengio 为首的 AI 界大牛“神化”了深度学习，并公开表示只有深度学习是行不通的。
图丨2017年，Gary Marcus 在麻省理工科技评论举办的 EmTech Digital 峰会上演讲（来源：麻省理工科技评论）
2018 年 1 月，他曾发长文阐述深度学习的 10 个局限，在当时引发了很大的反响，10 月 29 日，Gary Marcus 再度发文，称深度学习 20 年来在解决局限性上没有显著进展，无法处理语言复杂性，并直指 Yoshua Bengio 团队在最新的一篇论文中承认了深度学习的不足，即当下的深度学习技术并不能真正处理语言的复杂性，意味着两人在深度学习的局限上“达成共识”。
那么，Yoshua Bengio 又如何看待 Gary Marcus 这来势汹汹的新一轮“深度学习反思”呢？11 月 6 日，Yoshua Bengio 在采访中对 DT 君表示，他并不同意 Gary Marcus 的最新表态。两人在深度学习乃至人工智能未来发展上仍持不同意见。
图丨Yoshua Bengio （来源：DT君）
“我们目前的工作中的确展现出了深度学习的局限性。但事实上，这些局限性并不是新的限制。几十年前，我们在图像数据上训练机器时，就知道它们不会理解世界的全部复杂性，只会理解它们接受过训练的某些特定内容。Gary 一直在说的事情，包括提出一些关于符号的先验知识等，我同意我们需要这样做，但我不认为这是什么新的说辞。我不喜欢他说得好像这些都是新局限、新方案一样”，Bengio 说。
图丨Gary Marcus 10月29日发表的文章（来源：Medium）
Gary Marcus 年初的文章中提到的深度学习局限性包括需要更多的数据、不能处理层级结构、无法进行开放式推理、不够透明、不能与先验知识集成、不能区分因果关系和相关关系等。他还提到，深度学习工程化很困难，并且存在着过度炒作的潜在风险。因此，Gary Marcus 认为，深度学习需要重新概念化，并在非监督学习、符号操作和混合模型中寻找可能性。而在 Medium 发表的最新博文中，Gary Marcus 也再次强调了深度学习走出当下困境的一个选择是：与经典人工智能（符号学）结合。对于这一看法，Bengio 认为，经典人工智能用以试图解决 AI 的一些问题的方式是错误的，但目标是正确的。
“经典人工智能试图用数学公式表示一些常规知识，我觉得这很好。有很多知识可以用这种方式表达出来。但它哪里错了？它缺少学习，它缺少不确定性的表示，缺少分布式表示。而分布式表示正是神经网络的核心。这些经典人工智能所缺乏的东西阻碍了经典人工智能的进一步发展”，他说，“所以我的看法是，我们可以朝着经典人工智能想要实现的目标迈进，深度学习是达到这些目标的有力工具。”
图丨Yoshua Bengio，蒙特利尔大学计算机科学与运筹学系教授，也是深度学习的元老，与 Yann LeCun、Geoffrey Hinton并称为“深度学习三巨头”。他的诸多科研积累，包括深度学习架构、循环神经网络（RNN）、对抗算法、表征学习，影响和启发了后来的大量研究者，将深度学习应用到自然语言处理、计算机视觉等人工智能的各个主要领域，对近年来深度学习的崛起和发展起到了巨大的推动作用。目前,他是仅存的几个仍然全身心投入在学术界的深度学习教授之一，为人工智能培养了许多杰出的下一代人才
当然，我们目前也无法判断深度学习乃至人工智能的未来会走向何方，Bengio 本人也认为，每个 AI 学者也都有各自不同的观点。 值得注意的是，这样的正反不同观点碰撞出现的一个大背景，正是近年来深度学习已经成长为人工智能技术中的主流力量：人们不但能在各类 AI 相关应用上发现它的身影，同时它也是整个 AI 生态链中的一大底层支持，因此，到了现在这个阶段，深度学习算法能力和人才储备也被看作一个 AI 公司是否具备一定竞争力的判断标准。
而作为深度学习的奠基人，除了回应 Gary Marcus 最新的深度学习局限性讨论以外，Bengio 也与 DT 君分享了其对于当下的深度学习研究、AI 创业潮等热门话题的思考。以下为 11 月 6 日 Bengio 于微软亚洲研究院主办的一次会议上接受 DT 君采访的内容（基于原意有所删改）：
图丨 Gary Marcus 最新文章中对深度学习的预测（来源：Medium）
问：纽约大学教授 Gary Marcus 最近又发布了一篇文章，称您的团队确认了深度学习的局限性，您和他关于深度学习的看法是相同的，您同意 Gary Marcus 的最新说法吗？
答：我们目前的工作中的确展现出了深度学习的局限性。但事实上，这些局限性并不是新的限制。几十年前，我们在图像数据上训练机器时，就知道它们不会理解世界的全部复杂性，只会理解它们接受过训练的某些特定内容。就像多年来，研究人员也意识到基于符号的经典人工智能技术存在一些局限性一样。
所以，这是一个非常旧的想法。Gary 一直在说的事情，包括提出一些关于符号的先验知识等，我同意我们需要这样做，但我不认为这是什么新的说辞。我不喜欢他说得好像这些都是新局限、新方案一样。
事实上，我们一直都知道问题所在，也正在解决这些问题，经典人工智能技术也试图解决局限性的问题，但 Gary 认为深度学习就是一个错误的答案。我认为，深度学习是一个新的工具，我们也知道，人们已经在这个框架内积累了各种各样的想法，我们将继续扩展它，并扩大深度学习的范围，去吸收经典人工智能的兼具规则和知识的能力。
经典人工智能试图用数学公式表示一些常规知识，我觉得这很好。有很多知识可以用这种方式表达出来。但它哪里错了？它缺少学习，它缺少不确定性的表示，缺少分布式表示。而分布式表示正是神经网络的核心。这些经典人工智能所缺乏的东西阻碍了经典人工智能的进一步发展。
所以我的看法是，我们可以朝着经典人工智能想要实现的目标迈进，深度学习是达到这些目标的有力工具。
至于接下来的几年深度学习将走向何方，我不知道，毕竟我没有水晶球。每个研究人员都有自己的想法。我认为这很好，因为我们都不知道最优解将来自何处，而研究的多样性非常重要。
因此，作为一个社区，我们必须鼓励探索。没有人能确切地掌握未来，没有人确切地知道正确的方式。所以，大学里的研究以及在微软研究院或者其他类似公司的实验室中，大量的研究都是好奇心驱动的，正如微软 CEO 纳德拉今天早上（的微软亚洲研究院活动）所说的那样。
（来源：DT君）
问：目前深度学习技术已经已经有了各种各样的具体应用，您最近有没有特别关注哪个方向？
答：未来还会有更多不同的应用出现，我希望看到能够将人工智能技术应用于保护地球。
比如与生命相关的应用或者环境保护相关的应用。因为我觉得我们现在真的有很大麻烦，比如气候变化等。比如说，我由衷地希望研究人员们能考虑研究卫星图像识别，而不是简单地研究识别小猫小狗的图像。
另外，人工智能在医疗方面的应用也值得期待。
人工智能将能帮助治疗病人，许多这种应用场景或许不会有多大经济收益，但是对所有人类或者对地球来说意义重大。我希望这种研究和应用越多越好，这比手机上实现某些小功能有用多了，尽管这些功能也挺酷的。
图丨谷歌团队的Thang Luong认为，BERT模型开启了NLP的新时代（来源：Twitter）
问：谷歌最近推出了一个新的 NLP 模型 BERT，根据论文，其在数十项测试中都有非常好的表现，您如何评估这个模型的价值？
答：BERT 让人印象深刻。但是我感觉它有点类似基于神经网络的谷歌翻译，我们之前在大学里也使用过类似代码，那时还很一般，但经过大量的工程和数据训练，谷歌已经将其提升了很多。
像谷歌这些大型科技公司，有资金去支持学界的想法然后实现其功能，不过我不认为这是一种基础性的突破，但它确实让人印象深刻。
图丨 Bengio 在微软亚洲研究会主办的国际学术研讨会暨微软教育峰会上进行演讲（来源：DT君）
问：近期您有在寻找某些特定的 NLP 创新方向吗？
答：就创新而言，联系到自然语言领域，我认为我们需要创建一个能真正听懂人类语言的系统。
例如，当我说小猫时，它不仅仅是一个抽象的概念，我脑海会有猫的图像，我能想起猫跳到腿上后的感觉。所有这些感受是不容易用语言形容的。但这些感受是我说话时随之而来的，所有这些对于理解句子来说是非常重要的。
单纯的字符是无法体现这些感受，这些问题还没有得到解决，BERT 也没有解决这个问题，而且只针对文字的训练是不能解决这些问题的。
（来源： Element AI）
问：您在两年前创办了 AI 孵化器 Element AI，致力于通过硅谷式的产业服务帮助创业者，将人工智能的新技术从实验室转化为实用产品，同时也为其他公司构建研究机构提供解决方案。根据您的经验，一家深度学习初创公司需要哪些条件才能够成功？
答：对于创业来说，创业者只有科技硬实力是不够的，还需要有强大的商业实力。因此，通常一个人去领导这家公司是很难实现成功的，需要一群有管理能力、商业能力、科研能力和工程实践能力的人一起合作。我不是一个优秀的工程师，但我是科学家，如果我创业的话，我可能会找一个优秀的工程师合作。
每个人都有自己的优势，初创企业需要把这些人团结起来，还要吸引合适的投资。尤其在 AI 领域，想要成就事业，初创公司需要找到愿意承担长期风险的合伙人。但是投资人一般更愿意投资短期就能实现收益的公司。因此人工智能行业找到合适的投资并不容易。另一方面，拒绝一些不合适的投资人也未尝不可，毕竟就长期目标来说，合适但不多的资金也是值得的。
初创公司还需要有强大的技术实力，需要领域内的顶尖人才。就目前人工智能初创公司来说，有很多盲目扎进来的外行人。行业火热是好事，但是我们仍需要专业人士的参与。
