开发者中心 > 专栏 > 内容详情
分享
  • 点击前往QQ分享

  • 点击前往微博分享

  • 点击复制链接

先天认知与深度学习

  • AI研究院
  • 2020-01-10

头.jpg

“天赋论学说认为,人类思维是与生俱来的思想或知识。在这种理念中,最著名的是柏拉图的形式理论,以及后来的笛卡尔的《沉思录》。目前,这一观点正在获取神经科学方面的证据,以证实我们确实生来就对我们的世界有先天的认识”。


1.jpg

Figure 1: An elder Plato walks alongside Aristotle, The School of Athens, Raphael


然而,“天赋论”学说与“纯粹主义”机器学习方法是相冲突的。在这种“纯粹的”机器学习算法中,算法仅从数据中学习,而无需进行显式编程或配备预编程的计算和逻辑模块。

“思想的实际内容是非常深奥、无比复杂的;我们不应该试图寻找一些简单的方法来思考思想的实际内容,比如用简单的方法来思考空间、物体、多主体或对称性等内容。所有这些都是任意的、内在复杂的外部世界的一部分。它们不是应该被内置的,因为它们的复杂性是无止境的;相反,我们应该只构建那些能够发现和捕获这种任意复杂性的元方法。


——The Bitter Lesson
Rich Sutton
March 13, 2019


但是,有一种持截然相反观念的思想流派,建议将符号主义人工智能技术与深度学习相结合。

深度学习的未来

纽约大学教授Gary Marcus等人提倡的一种观点认为,深度学习需要与更古老的、象征主义的人工智能技术相结合,以达到人类的智能水平。但是,Hinton并不这么认为。Hinton将此比作使用电动马达却仅仅用来驱动汽油发动机的喷油器,尽管电力更节能。

与此同时,混合模型可能能够会解决深度学习明显的局限性,特别是关于“深度学习目前缺乏一个明确的定义来学习抽象概念的机制,当有成千上万、数百万甚至数十亿的训练实例时,这种方法效果是最好”。

你是否认为我们最好把GOFAI融入深度学习呢?争论仍在激烈进行。

新的神经学证据

在我看来,其实这些讨论最终都归结为一个问题——我们人类是通过经验来学习一切,还是生来就具有某种形式的先天认知?

在《美国国家科学院院刊》(PNAS)上发表的一项研究表示:

“研究发现了一种突触组织原理,它以一种动物间普遍存在的方式将神经元分组,从而独立于个体经验”


——A synaptic organizing principle for cortical neuronal groups
By Rodrigo Perin, Thomas K. Berger, and Henry Markram


这样的集群包含物理世界某些简单工作的内容。

“在动物的新皮层中同时出现的神经元群,或称细胞集合体,本质上是细胞的‘积木’。对许多动物来说,学习、感知和记忆可能是将这些碎片拼凑在一起的结果,而不是形成新的细胞组合。”


——Are We Born With Knowledge?
in Uncategorized


分界线
随着越来越多的神经学证据支持先天认知的存在,用“先天”的计算模块或原语来装备深度学习可能是有意义的。同时,其中的一些原语很有可能将基于那些从GOFAI借鉴或启发的思想。
另一方面,我们很难预测未来的深度学习架构会是什么样子。Yoshua Bengio本人也承认,“在神经网络能够达到人类大脑所拥有的一般智力之前,深度学习的新架构是很需要的。

在我看来,与诸如神经后端和符号前端(如图2)的清晰并置相反,符号操作很可能会与神经体系结构深度耦合和纠缠在一起。“ 与通用计算机程序相比,它们的模型要比我们当前可区分的层更丰富的基元之上构建,这是我们将如何进行推理和抽象的方法,也是当前模型的基本弱点 ”

1.png

Figure 2: Deep Symbolic Reinforcement Learning, the neural back end learns to map raw sensor data into a symbolic representation, which is used by the symbolic front end to learn an effective policy (source)

这表明,“纯粹主义”和“混合主义”这两种方法之间的界限非常模糊。因此我认为,在观点上的分歧更多程度上是重点不同产生的分歧,而不是根本的分歧。


原文链接:https://towardsdatascience.com/innate-knowledge-and-deep-learning-8e9405741ee2


共0条评论