深度学习: 智能时代的核心驱动力量

正如摩尔定律预测的那样，自20世纪50年代数字计算机发明以来，计算机的能力增加了超过1万亿倍。从来没有技术能以如此高的数量级呈指数增长，计算机已经融入了几乎所有制造设备，从玩具到汽车。计算机可以自动调节现代望远镜的自适应光学系统，以最大限度地提高其分辨率；它们可以分析现代显微镜捕获的光子，以超分辨率定位分子。

当今的每一个科技领域都依赖于超大规模集成电路芯片。

卡弗·米德预测，这些芯片的升级是基于缩小元件间线宽的可能性，但是目前的宽度已经达到了物理极限：导线中的电子太少，可能会泄漏或被随机电压阻挡，甚至使数字电路都不再可靠。^[14] 摩尔定律要终结了吗？我们需要完全不同的体系结构来继续提高处理能力，这种结构能够不依赖于数字设计的完美精度。正如混合动力汽车将电动机的效率与汽油发动机的续航结合起来一样，混合数字和神经形态设计正在兴起，能够将神经形态芯片的计算低功耗与通信数字芯片的高带宽相结合。

摩尔定律的表述仅仅是基于芯片的处理能力。随着并行架构在随后50年内的不断发展，摩尔定律应该被考虑了能量和吞吐量的定律所取代。在俄勒冈州波特兰举办的英特尔2018 NICE大会上，来自美国和欧洲的研究人员展示了三款新的神经形态芯片：来自英特尔的Loihi研究芯片，以及由欧洲人类大脑项目支持的两款第二代芯片。随着大规模并行体系结构的发展，能够在这些体系结构上运行的新算法也陆续被创造出来。但是这些体系结构中的芯片需要交流信息，这也是第15章所要讨论的内容。

1. R. Blandford, M. Roukes, L. Abbott, and T. Sejnowski, “Report on the Third Kavli Futures Symposium: Growing High Performance Computing in a Green Environment,” September 9–11, 2010, Tromsø, Norway, http://cnl.salk.edu/Media/Kavli-Futures.Final-Report.11.pdf.
2. Carver A. Mead and George Lewicki, “Silicon compilers and foundries will usher in user-designed VLSI,” Electronics August 11, 55, no. 16 (1982): 107–111. ISSN 0883- 4989.
3. Carver Mead, Analog VLSI and Neural Systems (Boston: Addison-Wesley, 1989).
4. M. A. Mahowald and C. Mead, “The Silicon Retina,” Scientific American 264, no.5(1991):76–82: Tribute from Rodney Douglas: https://www.quora.com/Whatwas-the-cause-of-Michelle-Misha-Mahowald-death/: Misha Mahowald, “Silicon Vision” (video),http://www.dailymotion.com/video/x28ktma_silicon-vision-mishamahowald_tech/.
5. M. Mahowald and R. Douglas, “A Silicon Neuron,” Nature 354, no. 6354 (1991):515–518.
6. 参阅Carver Mead, Collective Electrodynamics: Quantum Foundations of Electromagnetism(Cambridge, MA: MIT Press, 2002)。
7. 托比的父亲马克斯·德尔布吕克（Max Delbrück）是 20世纪50年代的物理学家，也是分子生物学的创始人，他（与Alfred Hershey和Salvador Luna一起）于 1969年获得了诺贝尔生理学或医学奖（揭示了微电子学与分子生物学的另一层关系，将在第18章探讨）。
8. C. Posch, T. Serrano-Gotarredona, B. Linares-Barranco, and T. Delbruck,“Retinomorphic Event-Based Vision Sensors: Bioinspired Cameras with Spiking Output,” Proceedings of the IEEE 102, no. 10 (2014): 1470–1484: T. J. Sejnowski and T. Delbruck, “The Language of the Brain,” Scientific American 307 (2012):54–59. https://www.youtube.com/watch?v=FQYroCcwkS0.
9. H. Markram, J. Lübke., M. Frotscher, and B. Sakmann., “Regulation of Synaptic Efficacy by Coincidence of Postsynaptic APs and EPSPs,” Science 275, no. 5297(1997): 213–215.
10. 参阅T. J. Sejnowski, “The Book of Hebb,” Neuron 24. no. 4 (1999): 773–776.
11. Heb b, The Organization of Behavior (New York: Wiley & Sons), 62。
12. 参阅R. F. Service, “The Brain Chip,” Science 345, no. 6197 (2014): 614–

    616.http://science.sciencemag.org/content/345/6197/614.full。

13. D. Huh and T. J. Sejnowski, “Gradient Descent for Spiking Neural Networks,”2017.

    https://arxiv.org/pdf/1706.04698.pdf.

14. K. A. Boahen, “Neuromorph’s Prospectus,” IEEE Xplore: Computing in Science and Engineering 19, no. 2 (2017): 14–28.