被低估的神经网络
但是有一个限制,使得感知器的研究存在问题。上面的假设“如果存在这样的权重集合”提出了一个这样的困惑,即什么样的问题可能或不可能被感知器解决。令人尴尬的是,在二维平面中,简单分布的点不能被感知器分开(见图3–5,非线性)。事实证明,坦克感知器不是坦克分类器,而是天气分类器。[14] 对图像中的坦克进行分类要困难得多,而事实上,它不能用感知器来完成。这也表明,即使感知器学到了一些东西,也可能不是你认为它应该学到的那些东西。压倒感知器的最后一根稻草是马文·明斯基和西摩尔·帕普特在1969年发表的数学专著《感知器》(Perceptrons )。[15] 他们明确的几何分析表明,感知器的能力是有限的:它们只能区分线性可分的类别(见图3–5)。这本书的封面展示了明斯基和帕普特证明的感知器无法解决的几何问题(见图3–7)。尽管在书的末尾,明斯基和帕普特考虑了将单层感知器进行泛化成为多层感知器的前景,但他们怀疑可能没有办法训练这些更强大的感知器。不幸的是,许多人对他们的论断坚信不疑,于是这个研究领域渐渐被人们遗忘,直到20世纪80年代,新一代神经网络研究人员开始重新审视这个问题。
在感知器中,每个输入都独立地向输出单元提供证据。但是,如果需要依靠多个输入的组合来做决定,那会怎样呢?这就是感知器无法区分螺旋结构是否相连的原因:单个像素并不能提供它是在内部还是外部的位置信息。尽管在多层前馈神经网络中,可以在输入和输出单元之间的中间层中形成多个输入的组合,但是在20世纪60年代,还没有人知道如何训练简单到中间只有一层“隐藏单元”(hiddenunits)的神经网络。
弗兰克·罗森布拉特和马文·明斯基曾是纽约市布朗克斯科技高中的同班同学。他们在科学会议上为各自迥异的人工智能研究方法展开了辩论,而与会者更倾向于明斯基的方法。尽管存在差异,但他们二人对我们理解感知器都有着重要贡献,而这正是深度学习的起点。
罗森布拉特在1971年死于一次驾船事故,年仅43岁,当时正值人们几乎一边倒地反对感知器的时期。有传言说他可能是自杀,但也可能只是一次不幸的出游。[16] 不可否认的是,一个发现了利用神经网络进行计算的新方式的英雄时代已经谢幕;又过了整整一代人的时间,罗森布拉特开创性努力的承诺才得以实现。
- 在空间上,人们发现细胞特性和连接性在皮层不同部分之间存在差异,这可能反映了不同感官系统的特异化和其结构的层次性。
- P. C. Wason, “Self-Contradictions,” in P. N. Johnson-Laird and P. C. Wason, eds., Thinking: Readings in Cognitive Science (Cambridge: Cambridge University Press,1977).
- Norbert Wiener, Cybernetics, or Control and Communication in the Animal and the Machine(Cambridge, MA: MIT Press, 1948).
- O. G. Selfridge, “Pandemonium: A Paradigm for Learning,” in D. V. Blake and A. M.Uttley, eds., Proceedings of the Symposium on Mechanisation of Thought Processes (1959): 511–529.
- 参阅Bernard Widrow and Samuel D. Stearns, Adaptive Signal Processing (Englewood Cliffs, NJ: Prentice-Hall, 1985)。
- 参阅Frank Rosenblatt, Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms (Washington, DC: Spartan Books, 1962)。
- 罗森布拉特虽然是位喜欢在康奈尔大学校园内开跑车的腼腆单身汉,但同时还是一位有着广泛兴趣的博学之人。他的兴趣之一,就是在凌日现象发生时,研究如何通过测量远处恒星表面亮度的略微下降,来寻找围绕其运转的行星。这种方法现在常用于检测银河系中绕着恒星运转的太阳系外行星。
- M. S. Gray, D. T. Lawrence, B. A. Golomb, and T. A. Sejnowski, “A Perceptron Reveals the Face of Sex,” Neural Computation 7, no. 6 (1995): 1160–1164.
- B. A. Golomb, D. T. Lawrence, and T. J. Sejnowski, “SEXNET: ANeural Network Identifies Sex from Human Faces,” in R. Lippmann, and D. S. Touretzky, eds.,Advances in Neural Information Processing Systems 3 (1991): 572–577.
- 波斯纳一语双关,暗示了一部流行的电视剧《法网》(Dragnet ),取材于20世纪50年代来自洛杉矶警察局的罪犯克星。
- M. Olazaran. “A Sociological Study of the Official History of the Perceptrons Controversy,” Social Studies of Science 26, no. 3 (1996): 611–659.
- Vladimir Vapnik, The Nature of Statistical Learning Theory (New York: Springer1995), 138.
- Weifeng Liu, José C. Principe, and Simon Haykin, Kernel Adaptive Filtering: A Comprehensive Introduction (Hoboken, NJ: Wiley, 2010).
- 根据尤德科夫斯基在“Artificial Intelligence as a positive and Negative Factor in Global Risk”中的记录,训练集中的坦克图片样本都是在阴天拍摄的,无坦克样本图片都是在晴天拍摄的。——译者注
- Marvin Minsky and Seymour Papert, Perceptrons (Cambridge, MA: MIT Press,1969). 也可参阅Marvin Lee Minsky and Seymour Papert, Perceptrons: An Introduction to Computational Geometry,expanded ed. (Cambridge, MA: MITPress, 1988)。
- 据加州大学圣迭戈分校的同事Harvey Karten称,罗森布拉特是一位经验丰富的水手。他曾带领一群学生驾船出游。船好像撞到了什么,他从船上落入水中,但当时没有一个学生能救得了他。(个人对话,2017年11月8日。)
本书评论