第三章 越来越复杂
1999年12月6日，一架“全球鹰”无人侦察机在成功降落之后，在滑行过程中突然加速到155节（每小时178英里），在拐弯处滑离了跑道。它的前起落架撞到了附近的沙漠，造成了530万美元的损失。
事故发生时，操作无人机的操作员在控制室里完全不知为什么会发生事故。空军调查结果认为，突然加速是因为软件问题以及“监督不力”等复杂因素。
“全球鹰”制造商诺斯洛普·格鲁曼（Northrop Grumman）公司发言人将超速完全归罪于操作员。操作员确实在认清无人机意外行为上有所延误。即使是他们发现了一些异常，也不明白飞行器遵循的是哪项程序。飞行器对于他们发出的补偿性指令要么没能接收到，要么是不匹配。操作员无法理解这个半自动的设备打算做什么，从而提供合理的有效指令。
已有案例中有迹象表明无人机能够明白自己在做什么，或是飞行员打算让其做什么，这说明它具有一定形式的“意识”。当然，在上述的例子中并非如此。无人机只是根据软件编程的子程序进行运作。
“全球鹰”无人机只是依赖复杂计算机系统运行的无数新技术中的一个。现在已经部署和正在开发的大多数系统并非全自动，但也不是完全依靠人运行。无人机，就像有飞行员驾驶的飞机或是外科大夫用来做精细手术的机械手，是非常复杂且部分智能的装置，它是作为团队的一部分开展工作。这种团队会展示出人类与非人类行为者的复杂互动，以及相互学习对方的聪明才智。在正确操作下，无人机能够独立开展任务，也能够执行由人类操作员发出的指令。
复杂系统的成功运行取决于协调计算机和人所做的决定，一般认为，人应当在其中发挥作用，使系统适应预料之外的情况。像“全球鹰”滑离跑道这样的问题刚开始大家判断是人的因素造成的，其中一个解决办法是让智能系统有更高的自主性。但是，这并不能解决问题。
对智能系统的行为做出预测对于人类操作者来说越来越困难，因为智能系统以及它所运行的环境日益复杂。要让操作人员了解复杂的计算机在想什么，以及预测计算机的行为以协调人机团队的行动，实际上是增加了操作人员的责任。设计出具有高度适应性，独立于人控制的计算机和机械零件是工程师的长远目标。但是，这个目标是否能完全实现仍是个问题，因此也不清楚人类是否会被大型复杂系统运行排除在外。同时，当意外情况出现时，仍需要人类帮助机器做出响应。
复杂系统本质上说是不可预测的，一旦碰到意外情况容易出现各种问题。即使是设计精妙的复杂系统也会出现未曾预料到的问题。概率很低的事件一般为人所忽视，且没有做过计划，但是这种事件的确会发生。
设计一个能够协调人和机器行为的复杂系统是一个很困难的工程问题。同样棘手的问题是如何确保复杂系统在出现问题的情况下具有足够的韧性，从而恢复正常。计算机系统的行为是十分脆弱的，想想Windows计算机只要出现一点信息错位就会死机，所以它们几乎不能适应新的意外情况。意外情况，不管是纯粹的机械故障，还是计算机自身的问题、人的错误，或是突如其来的风暴，都会破坏那些真正复杂系统的运行，比如机场。
我的结论是没有人真正了解复杂系统。
麻省理工学院教授、畅销书作者谢利·托克（Sherry Turkle）提到管理复杂系统时这样说：“也许我们人类就是不善此道。”我们是否可以获得必要的知识以了解如何管理复杂系统呢？某种程度上，答案是肯定的。但是对于如何控制好复杂系统，却存在着内在的限制。
这并不是一个新问题。过去半个世纪以来，人们一直在争辩政府和能源公司到底能否很好地管理核电站。当危险已为人所知，我们通常会花费更多的精力和注意力去管理风险。但是尽管如此，大部分（当然并非全部）的核泄漏事故的发生都是由于缺乏足够的认真，或是出于愚蠢，或是二者都有。少数核泄漏事故是由于意料之外的或无法解决的情况造成的。日本福岛核电站泄漏事故就是因为千年不遇的海啸引起的。
“复杂”一词的基本意思很容易掌握，但很难理解为什么“复杂性”竟然起到决定成败的作用。本章将介绍复杂性，包括目前已经显而易见的复杂系统、正在开发的复杂系统，以及认识哪些形式的复杂性带来风险。在澄清监督和管理复杂系统的难点过程中，也将阐明相应的C开头词语：“混沌”（Chaos）。
从我们的目的出发，弄清楚“复杂性”和“混沌”对于了解其中可能被忽视的挑战、难点以及危险是非常重要的。如果我们要安全地采用和监管新技术，复杂性不应被视作障碍，而应给予重视。
现在已经有一些科学研究领域专门研究“复杂性”和“混沌”是如何工作的。“二战”以后，对系统以及系统内各个组成部分如何表现的跨学科研究，变得日益重要，最终发展成一个领域，即系统理论。自我管理的系统是天然存在的，比如人的身体；社会系统，比如政府或一种文化；或是技术创新系统，比如汽车或者合成生物等。
在日常语言中，“复杂性”“混沌”这些词的用法比较宽泛。但在系统理论中，这些词的用法更加精确，以便为两个相关领域——复杂性科学和混沌科学，奠定基础。但是这些新兴的科学研究领域对于应对不可预测性以及控制突发灾难方面到底有没有用呢？
气象模型很复杂，经济市场的行为也很复杂，迄今在预测二者行为方面并没取得多少成功。复杂系统科学在建立模型方面取得了一些进展，多方数据输入相互作用形成了一些模型。大部分的进展依靠计算机模拟。但是未预料到的因素使得对市场和天气的预测兼具可能性和运气。对我们所创造的很多技术的行为进行预测也是如此。这令人十分困扰，因为当今社会日益依赖计算机网络和能源网络等复杂技术系统。
要了解这个问题的广度，很重要的一点是要认识到技术系统不仅仅是由技术的部件组成。以无人机为例，复杂的系统包括了制造、维护、改善、运行以及与技术进行互动的人类。总体来说，技术部件、人、机制、环境、社会价值观以及支撑系统运行的社会实践共同构成了所谓的“社会技术系统”。水净化设施、化工厂、意愿和政府都是社会技术系统。
换句话说，一项具体的技术——不论是计算机、药品，还是合成生物等，都是更大的社会技术系统的零部件。问题在于整个系统是否运转良好，并不完全取决于其中的技术零部件。本书将聚焦技术零部件或流程，因为问题往往源自社会系统中零部件的相互作用。
我们是否能够充分了解或完全驯服复杂系统？工程师努力使他们开发的工具具有可预测性，从而能够安全使用。如果我们开发的工具不可预测，有时候用起来并不安全，那我们还依靠这些工具管理关键的基础设施则是愚蠢鲁莽的。
目前迫在眉睫的是投入必要的资源（时间、人力和金钱）制定控制复杂技术的新战略，并了解这些战略的边界。如果规划者和工程师不能限制危害，那我们所在的社会不应再依赖日益复杂的技术系统。本章选取的例子旨在阐明复杂适应性系统哪些方面更容易为我们所理解。
本章内容
本书评论