在过去的 10 年里，性能最好的人工智能系统——比如智能手机上的语音识别器或谷歌最新的自动翻译器——都是由一种称为「深度学习」的技术产生的。

深度学习实际上是一种称为神经网络的人工智能方法的新名称，70 多年来一直时兴时衰。神经网络最初是由 Warren McCullough 和 Walter Pitts 于 1944 年提出的，这两位芝加哥大学的研究人员于 1952 年搬到麻省理工学院，他们有时被称为第一个认知科学系的创始成员。

神经网络是神经科学和计算机科学的一个主要研究领域，直到 1969 年，根据计算机科学的传说，他们被麻省理工学院的数学家 Marvin Minsky 和 Seymour Papert 「扼杀」了。一年后，Marvin Minsky 和 Seymour Papert 成为麻省理工学院新的人工智能实验室的联合主任。

该技术随后在 20 世纪 80 年代复兴，在新世纪的第一个十年再次陷入衰退，并在第二个十年如火如荼地回归，主要是由于图形芯片处理能力的提高。

麻省理工学院麦戈文脑科学研究所研究员、麻省理工学院大脑、思想和机器中心、麻省理工学院脑与认知科学教授 Tomaso Poggio 说：「有一种观点认为科学中的想法有点像病毒的流行。 显然有五六种基本的流感病毒株，而且显然每一种都会在大约 25 年的时间内回归。人们被感染后会产生免疫反应，因此在接下来的 25 年内不会被感染。然后新的一代，将被同一株病毒感染。在科学中，人们会爱上一个想法，为之兴奋，将其锤死，然后免疫——他们厌倦了它。所以思想应该有同样的周期性！」

重大事项

神经网络是进行机器学习的一种手段，计算机通过分析训练示例来学习执行某些任务。通常，这些示例已经预先进行了手工标记。例如，对象识别系统可能会收到数千张带有汽车、房屋、咖啡杯等标签的图像，它会在图像中找到与特定标签一致相关的视觉模式。

神经网络以人脑为模型，由数千甚至数百万个紧密互连的简单处理节点组成。今天的大多数神经网络都被组织成节点层，它们是「前馈」的，这意味着数据只能在一个方向上通过它们。一个单独的节点可以连接到它下面一层的几个节点，从那里接收数据，并连接到它上面一层的几个节点，向那里发送数据。

对于每个传入的连接，节点将分配一个称为「权重」的数字。当网络处于活动状态时，节点在其每个连接上接收不同的数据项(不同的数字)，并将其乘以相关的权重。然后将结果乘积加在一起，产生一个数字。如果该数字低于阈值，则节点不会将数据传递到下一层。如果数量超过阈值，则节点「触发」，这在当今的神经网络中，通常意味着沿其所有输出连接发送数字——加权输入的总和。

在训练神经网络时，其所有权重和阈值最初都设置为随机值。训练数据被馈送到底层——输入层——它通过后续层，以复杂的方式相乘和相加，直到最终到达输出层，彻底改变。在训练期间，权重和阈值会不断调整，直到具有相同标签的训练数据始终产生相似的输出。

头脑和机器

McCullough 和 Pitts 在 1944 年描述的神经网络有阈值和权重，但没有分层，研究人员也没有指定任何训练机制。McCullough 和 Pitts 表明，原则上，神经网络可以计算数字计算机可以计算的任何函数。结果是神经科学而不是计算机科学：重点是表明人脑可以被认为是一种计算设备。

神经网络仍然是神经科学研究的宝贵工具。例如，用于调整权重和阈值的特定网络布局或规则，再现了观察到的人类神经解剖学和认知特征，这表明它们捕获了大脑如何处理信息的某些信息。

1957 年，康奈尔大学心理学家 Frank Rosenblatt 展示了第一个可训练的神经网络——感知器。感知器的设计与现代神经网络的设计非常相似，只是它只有一层，权重和阈值可调，夹在输入层和输出层之间。

在 1959 年之前，感知器一直是心理学和计算机科学新兴学科的活跃研究领域，当时 Minsky 和 Papert 出版了一本名为《感知器》的书，该书表明在感知器上执行某些相当常见的计算会非常耗时。

「当然，如果你采用稍微复杂一点的机器——比如两层，所有这些限制都会消失，」Poggio 说。但当时，这本书对神经网络研究产生了寒蝉效应。

「你必须把这些事情放在历史背景下，」Poggio 说。「他们在争论编程——像 Lisp 这样的语言。不久之前，人们还在使用模拟计算机。当时根本不清楚编程要走的路。我认为他们有点过火了，但像往常一样，这不是黑白分明的。如果你认为这是模拟计算和数字计算之间的竞争，他们在为当时正确的事情而战。」

周期性

然而，到 20 世纪 80 年代，研究人员已经开发出修改神经网络权重和阈值的算法，这些算法对于具有不止一层的网络来说足够有效，消除了 Minsky 和 Papert 确定的许多限制，该领域迎来了复兴。

但从理智上讲，神经网络有一些不令人满意的地方。足够的训练可能会将网络的设置修改为可以对数据进行有用的分类，但这些设置意味着什么？对象识别器正在查看哪些图像特征，它如何将它们拼凑成汽车、房屋和咖啡杯的独特视觉特征？查看单个连接的权重并不能回答这个问题。

近年来，计算机科学家开始想出巧妙的方法来推断神经网络采用的分析策略。但在 20 世纪 80 年代，网络的策略难以理解。所以在世纪之交，神经网络被支持向量机取代，支持向量机是一种基于一些非常简洁「优雅」的数学的机器学习替代方法。

最近神经网络的复兴——深度学习革命——得益于计算机游戏行业。当今视频游戏的复杂图像和快速节奏需要能够跟上的硬件，结果就是图形处理单元 (GPU)，它在单个芯片上封装了数千个相对简单的处理内核。研究人员很快就意识到 GPU 的架构与神经网络的架构非常相似。

现代 GPU 使 20 世纪 60 年代的单层网络和 20 世纪 80 年代的两到三层网络发展为今天的 10 层、15 层甚至 50 层网络。这就是「深度学习」中的「深度」所指的——网络层的深度。目前，深度学习几乎在人工智能研究的每个领域都为性能最佳的系统负责。

来源：ScienceAI