深度学习的起点
20世纪五六十年代,在诺伯特·维纳(Norbert Wiener)提出基于机器和生物中的通信和控制系统的控制论之后不久,[3] 学界对自组织系统开始产生了浓厚的兴趣。而其中一个独创性产物便是由奥利弗·塞弗里奇(Oliver Selfridge)创造的Pandemonium(鬼域)[4]。 这是一个图案识别设备,其中进行特征检测的“恶魔”通过互相竞争,来争取代表图像中对象的权利(深度学习的隐喻,见图3–3)。斯坦福大学的伯纳德·威德罗(Bernard Widrow)和他的学生泰德·霍夫(Ted Hoff)发明了LMS(最小均方)学习算法,[5] 它与其后继算法一起被广泛用于自适应信号处理,例如噪声消除、财务预测等应用。在这里,我将重点关注一位先驱弗兰克·罗森布拉特(Frank Rosenblatt)(图3–4),他发明的感知器是深度学习的前身[6]。
图片来源:Peter H. Lindsay and Donald A. Norman, Human Information Processing: An Introduction to Psychology,2nded. (New York: Academic Press, 1977), 图3-1。
图片来源:George Nagy。
本书评论