局部最小值与全局最小值
达纳·巴拉德（Dana Ballard）在1982年与克里斯托弗·布朗（Christopher Brown）一起撰写了一本关于计算机视觉的经典著作，[12] 他也参加了1983年的研讨会。辛顿和我当时正在与巴拉德一起为《自然》杂志撰写一篇关于图像分析新方法的综述。[13] 该文章的核心想法是，用网络模型中的节点表示图像中的特征，网络中的连接实现了特征间的约束条件；互相兼容的节点具有积极的相互作用，而不兼容的节点间具有消极的相互作用。在视觉中，必须找到满足所有约束条件的所有特征的和谐表达。
霍普菲尔德网络能够解决这种约束满足问题吗？能量函数可以用来衡量网络满足所有约束的程度（见方框7.1）。视觉问题需要一个最佳解决方案，一个全局能量最小值，但是霍普菲尔德网络的工作原理决定了它仅能提供局部最小值。《科学》杂志上的一篇文章让我深受启发，其作者斯科特·柯克帕特里克（Scott Kirkpatrick）当时在位于纽约约克敦海茨（Yorktown Heights）的IBM托马斯·沃森研究中心（Thomas J. Watson Research Center）工作。[14] 柯克帕特里克使用了一种叫作“模拟退火”（simulated annealing）的算法来解决局部最小值问题。假设你想把一堆电子元件装到两块电路板上，怎么放置这些元件可以使连接元件的接线数量最少呢？
较差的解决方案就是，先随机安放元件，然后每次移动一个元件，直到找到用线最少的排布方案。因为当移动任何一个元件都无法减少用线时，很容易陷入局部最小值的陷阱。逃出这个陷阱的一种方式就是，允许随机跳到一种用线更长的放置方式。这种跳跃的概率，开始时会很大，随后慢慢减小，直至变成零。如果这种概率减小的速度足够慢，元件的最终排布方式会达到接线的全局最小值。在冶金业，这种做法叫作退火。将金属加热并慢慢冷却，在这一过程中会形成缺陷最小的较大的晶体结构，这些缺陷会使金属过脆，或出现裂纹。
7.1 霍普菲尔德网络
在霍普菲尔德网络中，每个单元都能向网络中所有其他的单元传递输出。输入标记为xᵢ，输出标记为yj。连接的强度，或者说单元之间的权重是对称的：w ij =w ji 。在每个步骤中，其中一个单元被更新为输入值的总和，并和一个阈值进行比较：如果输入之和大于阈值，输出就是1，否则输出就是0。霍普菲尔德展示了这种网络存在一个能量函数，它不会随着网络中单个单元的逐次更新而增长：
E =∑ wij xᵢ xj
最终，霍普菲尔德网络会达到“吸引子状态”，即所有单元值不再变化，能量方程达到局部最小值。这种状态等同于存储好的记忆，可以通过部分存储好的状态来初始化网络，实现对完整记忆的恢复。这就是霍普菲尔德网络实现内容取址记忆的方法。所存储向量的权重可通过赫布突触可塑性（Hebbian synaptic plasticity）得到：
Δw ij =α xᵢ xj
Δw ij 表示权重的变化，α 表示学习速率，xi表示存储的向量。
该图由戴尔·希斯（Dale Heath）绘制。
本书评论