科技失控：用科技思维重新看懂未来

千百年来，机器一直是人类意志和意图的衍生。不好的设计和有缺陷的编程已经成为迄今为止计算机化的工具所构成的主要危险，由于具有一定程度人工智能的计算机系统变得日益自主和复杂，导致这种变化速度日益加快。

投资行业是计算机决策者最早征服的领域。可以说，金融市场已经被他们不熟的计算技术所绑架。华尔街的赢家依靠的算法交易超过任何人的决策能力。当电脑发生故障或不正常的行为，投资者就会赔钱，企业倒闭。将错误归罪于计算机或程序员不会保住任何人的饭碗、重获失去的财富或平息诉讼。

计算机决策者甚至开始入侵体育世界，可以肯定的是这一方面的风险相对较小，但对于体育爱好者和运动员而言仍是可怕的。棒球队对于统计数据十分痴迷，新的数据分析方法对于他们来说充满吸引力完全不奇怪。奥克兰运动家棒球队（Oakland Athletics）的总经理比利·比恩（Billy Beane）决定采用统计数据来挑选球员，而不是依靠球探和经理人的慧眼。如果他的球队在2002年的比赛打得不好，那他得为自己的决定承担所有责任。但事实上，他的战略大获成功，以至拍成了电影《点球成金》，其中布拉德·皮特扮演比恩。之后，许多俱乐部也纷纷效仿他的做法。对球员过去的表现进行算法分析正在影响有关篮球、足球等运动行业的决策，也就是说在体育界，数字开始决定谁能上场打比赛。

一项任务接一项任务和一个行业接一个行业，计算机正在逐步接管决策权并取代人类工作人员。大数据驱动成功的销售策略。信息学促进医学研究，并有助于降低医疗费用。仓库走来走去的机器人将物品从货架挑出来完成互联网的订单。亚马逊正在测试在10英里的范围内使用配有GPS坐标的自主无人机从配送中心将包裹送达客户，这意味着下单后30分钟就收到货了。从理论上讲，从网上购买新衬衫、书、球或平板电脑，这一过程不需要人的参与都能实现。

对日益自主化系统的依赖为计算机技术的发展提供了方向。随着时间的推移，这必将冲淡人类对于复杂且有时不可预测的系统行为承担责任。另一种更好的方式就是，明确保证人类对于技术带来的好处和危害负责。后者则需要对目前技术的运用方式进行改变。

在阐明人工智能进步所带来的危险时，四位著名的科学家：史蒂芬·霍金（Stephen Hawking）、麦克斯·泰格马克（Max Tegmark）、斯图尔特·拉塞尔（Stuart Russell）和弗兰克·维尔切克（Frank Wilczek）在2014年2月一篇专栏中简练地指出：“那么，面临未来可能出现的难以估量的好处和风险，专家们肯定会尽一切可能确保最好的结果，对吧？错！”我们正在梦游，将未来的控制权拱手让给智能计算机等新兴技术。认识到这一问题的人要么不把它们当作挑战，或对此无能为力。

《科技失控》一书目前为止突出强调的一些案例研究说明，依赖复杂系统的风险是不可预测的，因此很容易完全失控。发展的绝对速度和新技术的大量涌现意味着有好处和有风险的工具和技术部署远远超过了建立有效监督机制的速度。一个简单的事实是，正在开发的每一个技术既可以是好处和风险并存，这就要求加倍关注，权衡取舍，找到方法来限制危害。

最后两个章节，我们对问题的叙述方式有所变化。对推动我们前进的错误假设提出考验和挑战，可以化解驱动加速发展的不可抗拒力量。本章提供了在发展危险自主机器人过程中可能出现转折点的例子。对致命自主机器人设置禁令将大大放缓甚至停滞其发展进程。对于想象中的武器系统，我们没有必要每一个都去开发。如果将用于制造高风险武器系统的十分之一的精力投入到军备控制协定制定和磋商中，我们生活的世界将更加安全。

通过修订预算和坚守核心价值理念减缓技术发展的步伐，可以扩大识别和判断转折点的机会。有很多精明的批评家停留在学术的藩篱中，为非政府组织（NGO）工作，或是写博客努力引起人们的注意。但是，变化日新月异，媒体对于各种危机也是一掠而过，到底哪些警告值得认真考虑都没有机会进行分析。

化解错误的假设，对转折点采取行动是不够的，还需要更加积极。

以下三个章节概述了确保技术不脱离人类控制的一些关键因素：建立负责任的工程设计文化，打造有效灵活的监督机制，培育可以质疑、制衡专家的知情公民等。在一个民主社会，每个人，不只是专家或那些有利可图的人，在人类航向危险的未来过程中都应当发出声音。