深度学习: 智能时代的核心驱动力量

20世纪五六十年代，在诺伯特·维纳（Norbert Wiener）提出基于机器和生物中的通信和控制系统的控制论之后不久，^[3] 学界对自组织系统开始产生了浓厚的兴趣。而其中一个独创性产物便是由奥利弗·塞弗里奇（Oliver Selfridge）创造的Pandemonium（鬼域）^[4]。 这是一个图案识别设备，其中进行特征检测的“恶魔”通过互相竞争，来争取代表图像中对象的权利（深度学习的隐喻，见图3–3）。斯坦福大学的伯纳德·威德罗（Bernard Widrow）和他的学生泰德·霍夫（Ted Hoff）发明了LMS（最小均方）学习算法，^[5] 它与其后继算法一起被广泛用于自适应信号处理，例如噪声消除、财务预测等应用。在这里，我将重点关注一位先驱弗兰克·罗森布拉特（Frank Rosenblatt）（图3–4），他发明的感知器是深度学习的前身^[6]。