深度学习: 智能时代的核心驱动力量

2011年，我在挪威的特罗姆瑟组织举办了由Kavli基金会赞助的“绿色环境中高性能计算的发展”（Growing High Performance Computing in a Green Environment）研讨会^[1]。 我们估计，使用当前的微处理器技术，百亿亿次级（exascale）计算[比千万亿次级（petascale）计算强大1000倍]需要50兆瓦的功率，比运行纽约市地铁所需的功率还多。因此，下一代超级计算机可能不得不使用像英国跨国半导体公司Arm Holdings（ARM）为手机开发和优化的那种低功耗芯片。很快，在大多数计算密集型应用中使用通用数字计算机将不再可行，专用芯片将占主导地位，因为它们已经被嵌入手机中了。

人类大脑中有大约1000亿个神经元，每个神经元都与其他数千个神经元相连接，总计达1000万亿个（10¹⁵ ）突触连接。大脑运转所需的功耗大约是20瓦，占整个身体运转所需功率的20%，尽管大脑仅占身体质量的3%。相比之下，一台远不如大脑强大的千万亿次级超级计算机，功耗却为5兆瓦，是大脑功耗的25万倍。大自然是怎么创造出这一高效奇迹的呢？首先，神经元接收和发送信号的部分被微缩至分子水平。另外，神经元是在三维空间上连接的（微芯片表面的晶体管仅在二维平面上相互连接），这样就可以使所需空间最小化。由于大自然很久以前就进化出了这些技术，想要追赶大脑的能力，我们还有很多工作要做。

深度学习是高度计算密集型的，该过程目前在中央服务器上完成，计算结果会被传送到手机等周边设备。最终，周边设备应该是自主运行的，这就需要完全不同的硬件——比云计算轻得多，耗电也更少。幸运的是，这样的硬件已经存在了，即受大脑启发设计出的神经形态芯片。