科技失控：用科技思维重新看懂未来

孟山都公司当初打算销售具有自杀基因的转基因作物时，这个想法是有价值的。无法繁殖的植物就不必要担心它们可能会污染原生态田地里的类似作物的基因组。但是，正如第六章所讨论的，孟山都的商业策略被认为是迫使农民在每个种植季节都得购买新种子以获取利润的一种手段。

阻止转基因作物具备繁殖的能力证明了在一个装置运行过程中对其进行干预是危险的。枪配有保险栓，熔断器和传感器可以自动关闭精密的电子设备。优秀的工程师为设计安全的产品感到自豪。迄今为止，安全意味着创建有特色的可靠和可预测的组件和系统，能适应已知的和潜在的危险事件。碰撞时安全气囊自动打开。飞机客舱里的氧气水平下降时，呼吸面罩从头顶自动掉下来。

随着技术变得更加复杂及其自主性提高，安全的意义也在改变。安全已经超出了技术部件正常运作的范畴，还包括社会技术系统的正常运作以及采用这种技术的社会影响。工程师接受的教育越来越多地包含提高其对设计和制造的工具产生的潜在影响的敏感度。

过去，城市规划师或其他社会工程领域的专家可能会考虑社会关切。在新的模式下，工程师们开发技术的各个阶段都需要思考该技术将如何应用。考虑到某些人的缺陷，工程人员设计了大按键的电话，以及为腿脚不便的人设计了能够上楼的轮椅。合成生物的设计必须考虑到对环境的影响，因为这种生物可能会迁移并在不同的生态系统中找到一席之地。

科幻小说已经将自主的智能计算机和危险的纳米机器变成了现代版的失控列车。太阳微系统公司（Sun Microsystems）的共同创始人和首席科学家比尔·乔伊（Bill Joy）2000年4月在Wired杂志发表了一篇著名的题为“为什么未来不需要我们”的文章，激起了人们对于自我复制的未来技术的恐惧。乔伊在文章中采用了想象的场景，其中自我复制的纳米机器人消耗地球上所有的有机物质，从书呆子幻想到引起恐惧的广泛传播的愿景。定制病原体自我复制以及智能机器人制造自己的军队引起公众辩论因为这些潜在危险的存在，是否值得放弃基因学、人工智能、纳米技术等领域的进一步研究。那些如乔伊一样倡导放弃有潜在危险的研究输掉了辩论。

如何阻止超级智能机器人自我克隆自己组成一个百万士兵的军队？

控制它们的供应链，阻止其获得基本材料和部件是否足够？未来的智能系统会具备突破内置保障措施的能力吗？有必要发明新的方法确保未来比人类更聪明的机器人是友好的，这也启发一些计算机科学家和数学家成立了人工智能奇点研究所，后更名为机器智能研究所。到目前为止，他们已经取得了一些进展，先阐明一些问题，然后制定具体的减轻危害的战略。

生物学家和纳米技术学家也开始反思并采取手段，以确保他们未来的发明创造不会胡作非为。导致疾病的病原体或合成生物传播已经带来了挑战。在实验室里将合成基因引入花的脱氧核糖核酸（DNA）是一个有趣的可控实验。将这种植物释放到实验室外可能有意想不到的后果，比如占据一个更重要植物的生态位置，并导致该植物的灭绝。尽管如此，合成的细菌、单细胞有机体和多细胞有机体将被推广开来，因为它们可以满足某些有价值的需要，如消除污染物。那么如何将合成生物安全地引入到实验室外的环境呢？

哈佛大学生物学家乔治·切齐（George Church）提出了一些新的建议，以阻止或逆转合成生物的潜在有害影响。作为合成生物学的顶尖科学家，切齐展示了对这一新兴研究领域所带来危险的敏感性。他有一个建议是，生物学家开发一种新形式的合成DNA，通过新的代谢（化学）过程运行。

此外，通过这种新的DNA形式创造的合成生物学装置或生物也应该通过改变的代谢过程发挥作用。以这种方式，合成染色体的基因如果转移到DNA的天然或混合形式将不会起作用。最后生成的合成生物体不能与现有的生物杂交产生新的突变。通过这一方法，遗传学家可以使用合成生物体带来的好处，同时使得这种生物体无法直接改变现有的有机材料。但是，由合成DNA创造的有机体仍然可能占据某种更重要植物在生态环境中的位置。

发明一个高科技的关闭开关，可能能够幸运地阻止任何设备的活动。例如，引入能够将纳米机器去功能化的基本成分，这种成分由通过化学反应能够溶解的材料组成。溶解液在一般用途下是无害的，但是在纳米装置运行的环境中不容易获得。

研究纳米机器等技术的关闭开关需要大量的资金。但在开发的早期阶段，引入这样的机制可以使设备或有机体更加安全，虽然我们仍然不知道它最终的用途，以及带来的危险。以故意破坏为目的的技术设计不会考虑设置这些机制。恐怖分子在生物或计算机装置中不会考虑关闭开关。幸运的是，恐怖分子代表是例外，而不是常态。大多数的危险源于意外事故和意外后果。