赫布理论
令人惊讶的是，玻尔兹曼机学习算法在神经科学领域有着悠久的历史，可以追溯到心理学家唐纳德·赫布（Donald O. Hebb）博士，他在《行为的组织》一书中假定，若两个神经元同时被激发，它们之间的突触连接应该会增强：
7.2 玻尔兹曼机
和在霍普菲尔德网络中一样，玻尔兹曼机中所有的连接都是对称的，并且其中的二进制单元i 的状态值si，会按照上图中的Sigmoid函数（sigmoid function）提供的一个概率，逐个被更新成1或0。Sigmoid函数的输入值∆E 通过温度T来进行比例缩放。输入层和输出层都是“可见的”，也就是说它们会与外界进行交互。“隐藏单元”代表了能够影响可见层单元的带有内部自由度的特征。玻尔兹曼机学习算法有两个阶段：在“清醒”阶段，输入和输出会被钳制（clamped）[19]，当网络达到平衡状态后，每对单元状态值之间的相关系数会被计算出来；在“睡眠”阶段，输入和输出钳制被解除，每对单元状态值之间的相关性会被重新计算，其中的权重会被逐步更新：
Δw ij =ε (<sisj >ʷᵃᵏᵉ- < sisj >sleep)
让我们假设反射活动（或“追踪痕迹”）的持续或重复，趋向于引起持续的细胞变化来增加其稳定性。当细胞A的轴突接近细胞B，并且反复或持续地参与激发细胞B时，其中一个或者两个细胞中都会发生某种生长过程或代谢变化，A（作为激发B的细胞之一）的效率会增加。[20]
这可能是整个神经科学领域中最有名的预言。后来在海马体中发现了赫布突触可塑性（Hebbian Synaptic Plasticity），海马体是大脑中控制长期记忆的重要组成部分。当一个海马锥体细胞接收强输入信号，同时该神经元也发生了放电反应时，突触的连接强度就会增加。随后的实验表明，这种强化是基于突触的发射器释放与受体神经元中电压升高的结合。此外，这种结合的发生被一种特殊的受体，即NMDA（N–甲基–D–天冬氨酸）谷氨酸受体所识别。它触发了长时程增强（long-term potentiation，简称LTP），其起效迅速而且持续时间长，是一种很好的长期记忆基质。与玻尔兹曼机学习算法（见方框7.2）十分相似，突触上的赫布可塑性是由输入和输出之间的一致性决定的。
更令人惊讶的是，玻尔兹曼机需要一定的“睡眠”才能学习。它的学习算法有两个阶段。在第一阶段，即“清醒”阶段，随着输入和输出模式被钳制到期望的映射，网络中的单元被多次更新以达到平衡，每对单元都为1的次数所占的百分比会被记录下来。在第二阶段，即“睡眠”阶段，输入和输出单元被释放，每对单元在自由运行状态中都为1的次数百分比也被记录下来。然后，每个连接强度按照清醒和睡眠阶段一致率之间的差异，按比例进行更新（见方框7.2）。睡眠阶段的计算是为了确定钳制的相关性中哪个部分是由外部原因造成的。在不去除内部产生的相关性的情况下，该网络会加强内部活动模式，并学习忽略外部的影响，这是二联性精神病（folieàdeux）[21] 的网络版本。有趣的是，极度的睡眠剥夺会导致人体处于妄想的状态，在没有窗户和恒定照明的医院重症监护病房中，这样的问题并不罕见。精神分裂症患者通常患有睡眠障碍，可能导致他们患上妄想症。这使我们确信，我们正沿着正确的方向理解大脑的工作原理。
本书评论