深度学习: 智能时代的核心驱动力量

1943年，沃伦·麦卡洛克（Warren McCulloch）和沃尔特·皮茨（Walter Pitts）证明了，用类似感知器的简单二进制阈值单元构建一台数字计算机是可行的，只要将感知器按照计算机的基本逻辑门那样连接起来就可以了。^[11] 我们现在知道，大脑有模拟和数字的混合特性，它们的神经回路通常不计算逻辑函数。但是麦卡洛克和皮茨于1943年发表的论文在当时受到了很多关注，特别是启发了冯·诺依曼对计算机的思考。他创建了第一批有存储程序的数字计算机，这对于当时的数学家来说是一个很不寻常的项目，尽管当冯·诺依曼于1957年去世时，高级研究所并没有继续他的研究，还销毁了他的计算机。^[12]

冯·诺依曼对大脑也非常感兴趣。1956年，作为耶鲁大学举办的西利曼（Silliman）讲座嘉宾，^[13] 他在讲座中思考了大脑如何用这种不可靠的组件进行可靠操作的问题。当数字计算机中的晶体管出现错误时，整个计算机可能就会崩溃，但是当大脑中的某个神经元失灵时，大脑的其他部分却会适应这种失灵，并照常工作。冯·诺依曼认为，冗余（redundancy）可能是大脑能够稳定运转的原因，因为每一个操作都有许多神经元参与。冗余在传统上是基于备份的，以防主系统出现故障。

但我们现在知道，大脑的冗余是基于多样性，而不是重复。冯·诺依曼对逻辑深度也表示了担忧：在累计误差破坏结果之前，大脑可以完成多少逻辑步骤？与可以完美地执行每个逻辑步骤的计算机不同，大脑具有许多噪声源。一个大脑可能达不到完美的程度，但是因为它有许多神经元并行工作，所以每一步能够完成的计算都比一台计算机进行一次计算所能完成的要多得多，因而逻辑深度也要浅一些。