08 反向传播算法
加州大学圣迭戈分校成立于1960年，现已发展成为生物医学研究的主要中心。它在1986年成立了世界上第一个认知科学系[1]。 大卫·鲁姆哈特（见图8–1）在那时已经是一位杰出的数学家和认知心理学家，他曾在以符号学和规则为基础的传统人工智能领域工作过，这类研究在20世纪70年代的人工智能研究中占主导地位。1979年，我在加州大学圣迭戈分校由杰弗里·辛顿组织的研讨会上第一次见到了大卫，当时他开创了一种新的探索人类心理的方法，他和詹姆斯·麦克莱兰称之为“并行分布式处理”（以下简称PDP）。大卫总是能对问题进行深入思考，并经常提出富有洞察力的评论。
玻尔兹曼机学习算法可以学习如何解决需要隐藏单元的问题，这表明，训练多层网络并突破感知器的限制是可行的，而这种观点与马文·明斯基和西摩尔·帕普特以及该领域大多数人的观点相左。网络中的层数或任一给定层内的连接性都不存在任何限制。但是有一个问题：达到平衡和收集统计数据来进行模拟的速度变得越来越慢，大型网络需要花费更长的时间才能达到平衡。
图片来源：大卫·鲁姆哈特。
原则上，可以构建具有大规模并行体系结构的计算机，该计算机比具有每次只进行一次更新的传统冯·诺依曼体系结构的计算机快得多。
20世纪80年代的数字计算机每秒只能执行100万次操作。今天的计算机每秒能够执行数十亿次操作，并且通过将数千个内核连接在一起实现的高性能计算机，其速度比以前快上百万倍——技术性能得到了空前的提高。
“曼哈顿计划”是美国在无法保证原子弹能够研制成功的情况下做出的260亿美元的赌注（以2016年的美元价值计算），最大的秘密就是它的确有成功的苗头。当使用玻尔兹曼机可以训练多层网络的秘密被公开后，许多新的学习算法如雨后春笋般不断涌现。在杰弗里·辛顿和我研究玻尔兹曼机的同时，大卫·鲁姆哈特开发了另一种多层网络学习算法，而后来的实践证明，这种算法的效率更高[2]。
本章内容
本书评论