尝试所有可能的策略
想象一下充满了所有可能算法的空间。这个空间中的每一点都是一个算法,可以做某件事,而且其中一些算法是非常有用且高效的。过去,这些算法是由数学家和计算机科学家们手工创造的,就像行会里的工匠那样。斯蒂芬·沃尔夫勒姆通过穷举搜索(exhaustive search)对搜寻细胞自动机算法的过程进行了自动化,从最简单的自动机开始,其中一些产生了高度复杂的模式。沃尔夫勒姆定律(Wolfram’slaw)是对这种见解的一个总结。该定律指出,你不必在算法空间中搜索很长一段路径,就可以找到一种能解决一类有趣问题的算法。这就像使用机器人程序在互联网上玩类似《星际争霸》的游戏一样,尝试所有可能的策略。
根据沃尔夫勒姆定律,算法空间中应该有大量算法可以赢得游戏。
沃尔夫勒姆专注于细胞自动机的空间,这是所有可能算法空间中一个小的子空间。但是,如果细胞自动机是非典型算法,比其他类算法更具有普遍性呢?我们现在已经在神经网络空间中确认了沃尔夫勒姆定律。每个深度学习网络都是通过学习算法找到的,该算法是一种发现新算法的元算法。对于大型网络和大量数据,从不同的起始状态学习可以产生如星系般庞大的网络数量,它们在解决问题上都能达到相同效果。
这就产生了一个问题,即是否存在一种比梯度下降更快的方法能够找到算法空间的区域。梯度下降这种方法速度慢,还需要使用大量的数据。
有一个暗示揭示了这种可能性,即每个生物种类,都是由生命算法空间中的一个点附近的变体DNA序列创建的个体云。自然界通过自然选择设法从一个“个体云”跳跃到另一个云,这种跳跃式过程被称为“间断性平衡”(punctuated equilibria)[14],同时每个物种也经历着随机突变的局部搜索。遗传算法被设计用来进行这样的跳跃,大致是基于自然界如何演化出新的有机体[15] 。我们需要用数学来描述这些算法云。可谁知道算法的空间是什么样子呢?还有很多我们尚未发现的算法“星系”,但我们可以通过自动探索的方式来找到这些星系——终极边境。
我实验室的博士后研究员克劳斯·施蒂费尔(Klaus Stiefel)跟进了这一过程中的一个简单例子。他在2007年使用了一种算法,在计算机中生成了具有复杂的树突树(dendritic trees)的模型神经元。[16] 树突就像天线一样从其他神经元收集输入。可能的树突树的空间是巨大的,而施蒂费尔的目标是指定所需的功能,并在树突树的空间中搜索能够计算出该功能的模型神经元。一个有效的功能是决定输入放电尖峰的到达顺序:当一个特定的输入在另一个输入之前到达时,神经元应该输出一个放电尖峰,但是如果该输入随后到达,神经元应该保持沉默。这种模型神经元是通过使用遗传算法搜索所有可能的树突树发现的,且该解决方案看起来就像皮层锥体神经元,一个突触位于底部的薄树突(基底树突),另一个突触位于神经元顶部的厚树突(顶树突;见图14–6)。这也许解释了为什么锥体细胞有顶端和基底的树突。如果没有对所有可能突触的空间进行深入搜索,我们可能就无法将这种结构和上述功能联系起来。通过从其他功能开始重复此搜索,可以自动编译以树突形状列出相应功能的目录,并且当发现新的神经元时,可以在目录中通过其树突形状查找其潜在的功能。
斯蒂芬·沃尔夫勒姆离开学术界后创立了沃尔夫勒姆研究所,后者开发了Mathematica程序,该程序支持大量的数学结构,并被广泛应用于实际。Mathematica是用沃尔夫勒姆语言编写的,这是一种通用的融合多种范式的编程语言。该语言也为沃尔夫勒姆阿尔法(Wolfram Alpha)提供支持,它是第一个实用的、基于符号方法的关于大千世界的问答系统。[17] 学术领域的货币,是发表的文章。如果你是一个自立的绅士派科学家,你就有能力绕过简短的文章,出版有足够空间来彻底探索新领域的书籍。这是多个世纪以来的常态,只有富人或富人赞助的学者,才有条件成为科学家。
沃尔夫勒姆在2002年写了《一种新的科学》(A New Kind of Science)一书。[18] 该书重5.6磅,长达1280页,其中有348页记录了相当于100份新科学论文的附录。这本书被媒体大肆宣传,但引发了复杂系统界褒贬不一的评论,其中一些人认为其中并没有完整地引用他们的工作。这种反对意见并没有抓住此书的要点,即把以前的工作置于新的语境下。卡尔·林奈(Carolus Linnaeus)开发了一种现代化的植物和动物分类法,即“二名法”(Binomial Nomenclature),如大肠杆菌(Escherichia coli)。该命名法是达尔文进化论的重要先导,为早期的分类学做了铺垫。沃尔夫勒姆开辟的这一研究方向在新一代研究人员中已经有了一批追随者。
在20世纪80年代,沃尔夫勒姆对神经网络可能对现实世界产生的影响表示怀疑,而且事实上,这些神经网络在之后30年的确没有产生太大的影响。然而,过去5年的进步已经改变了这一点:沃尔夫勒姆和其他许多研究人员承认他们低估了网络的成就。[19] 但是谁能预测神经网络的性能会扩展到什么程度呢?支持Mathematica的沃尔夫勒姆语言现在也支持深度学习应用,其中一个应用,是最早对图像中的对象提供在线识别技术的应用程序。[20]
是斯蒂芬把我介绍给了比阿特丽斯·哥伦布。1987年我去圣迭戈时,比阿特丽斯正在加州大学圣迭戈分校攻读博士学位。他打电话说,他的朋友比阿特丽斯会参加我的PDP讲座(之后又分别给我们打电话询问事情的进展)。几年后,我搬到圣迭戈,后来又和比阿特丽斯订了婚。1990年我们在加州理工学院举行完婚礼后,去了贝克曼礼堂参加了一个婚礼研讨会,比阿特丽斯身着婚纱,发表了一个演讲——《婚姻:理论与实践》(Marriage: Theory and Practice)。斯蒂芬自信满满,不无骄傲地介绍了他当时是如何介绍我们认识的。不过比阿特丽斯提出,如果他想邀功,也必须承担相应的责任,对此,他谨慎地表示了反对。
- “21世纪科学挑战大会”上讨论者的演讲视频可以在这里找到:https://www.youtube.com/results?search_query=Grand+Challenges++for+Science+in+the+21st+Centur.。
- 参阅W. Brian Arthur, The Nature of Technology: What It Is and How It Evolves (New York: Free Press, 2009)。
- George A. Cowan, Manhattan Project to the Santa Fe Institute: The Memoirs of George A. Cowan (Albuquerque: University of New Mexico Press, 2010).
- 谷歌的PageRank算法是谷歌创始人拉里·佩奇(Larry Page)和谢尔盖·布林(Sergey Brin)发明的,它使用连接到网页的链接数目,依据其在互联网上的重要性来对网页进行排序。该算法已经被演化成了许多算法层来应对搜索偏见。
- A. D. I. Kramer, J. E. Guillory, and J. T. Hancock, “Experimental Evidence of Massive-Scale Emotional Contagion through Social Networks,” Proceedings of the National Academy of Sciences of the United States of America 111, no. 24 (2014):8788–8790.
- Stuart Kauffman, The Origins of Order: Self Organization and Selection in Evolution (New York: Oxford University Press, 1993).
- Christopher G. Langton, ed., Artificial Life: An Overview (Cambridge, MA: MIT Press, 1995).
- Stephen Wolfram, A New Kind of Science (Champaign, IL: Wolfram Media, 2002).
- National Research Council, The Limits of Organic Life in Planetary Systems (Washington, DC: National Academies Press, 2007), chap. 5, “Origin of Life,”53–68.
- Von Neumann, J. and A. W. Burks, Theory of Self-Reproducing Automata . (Urbana,IL: University of Illinois Press, 1966). 也可参阅维基百科:Von “Neumann universal constructor.”
- W. S. McCulloch, and W. H. Pitts, “A Logical Calculus of the Ideas Immanent in Nervous Activity,” Bulletin of Mathematical Biophysics 5 (1943): 115–133.
- 这台电脑被命名为“JOHNNIAC”,以呼应另一台名叫“ENIAC”的早期数字计算机。
- 他为这些讲座准备的材料后来催生了冯·诺依曼的著作《计算机与大脑》(The Computer and the Brain ) (New Haven: Yale University Press, 1958).
- Stephen Jay Gould and Niles Eldredge, “Punctuated Equilibria: The Tempo And Mode Of Evolution Reconsidered.” Paleobiology 3, no. 2 (1977): 115–151, 145;John Lyne and Henry Howe,“Punctuated Equilibria’: Rhetorical Dynamics of a Scientific Controversy,” Quarterly Journal of Speech , 72, no. 2 (1986): 132–147.doi: 10.1080/00335638609383764.
- John H. Holland, Adaptation in Natural and Artificial Systems: An Introductory Analysis with Applications to Biology, Control, and Artificial Intelligence (Cambridge, MA: MIT Press, 1992).
- K. M. Stiefel and T. J. Sejnowski, “Mapping Function onto Neuronal Morphology,”Journal of Neurophysiology 98, no. 1 (2007): 513–526.
- 参阅Wolfram Alpha computational knowledge engine website,https://www.wolframalpha.com.。
- Stephen Wolfram, A New Kind of Science (Champaign, IL: Wolfram Media, 2002).
- 有一篇关于沃尔夫勒姆思想演变的文章很有趣,可以参阅Stephen Wolfram,“A New Kind of Science: A 15-Year View,” Stephen Wolfram Blog , posted May 16, 2017.
http://blog.stephenwolfram.com/2017/05/a-new-kind-of-science-a-15year-view/。
- 参阅Stephen Wolfram, “Wolfram Language Artificial Intelligence: The Image Identification Project,” Stephen Wolfram Blog, posted May 13, 2015.
http://blog.stephenwolfram.com/2015/05/wolfram-language-artificial-intelligence-theimage-identification-project/。
本书评论