科技失控：用科技思维重新看懂未来

《终结者》显然是科幻小说，但它反映了一种不可阻挡的趋势，战争的机器人化如同一个大陡坡，其终点既无法预测也无法完全掌控。能引发致命力量的机器和技术奇点的到来是面向未来的主题，但对于目前而言相当于占位符。计算机行业已经开始研制具有一定程度的自主性和学习能力的机器。工程师们也不知道他们是否可以完全控制自主机器人的选择和行动。

战争机器人化的长期后果既不能低估也不能轻视。但是鉴于一些武器制造商和国家只关注到杀人机器人的短期价值优势，未来机器人军备竞赛的势头很可能会飞速发展，无法控制。现在对致命的机器人设置一个可以接受的参数，作为约束机器人军备竞赛的工具之一，如同冷战时期对核武器设置的约束机制一样。与核武器不同的是，机器人武器的投送系统更容易制造。

2012年11月的同一周，人权观察组织发表文章呼吁对杀人机器人设置禁令；美国国防部（DoD）发表了一份题为“武器系统自主性”的指令。这两个文件的发布时间可能是巧合。尽管如此，该指令读来似乎是为了努力平息由半自主性和自主武器系统所造成的危险引起的公众担忧。和国防部以前的指令不同，这份文件后面没有详细的议定书或导则，以说明文件中所提到的如何测试以及安全机制如何开展。美国国防部希望扩大自主武器的使用，并在指令中明确解释希望公众不要担心自主机器人武器，指出国防部将建立设置充分的监督机制。军事规划者不希望他们的选择受到一些平民左右，尤其是这些人只是出于某些猜测的可能性而担心而已。

不管是军事领导人还是一般的人都不希望战争脱离人的控制。该指令重复强调了8次，指出国防部将尽一切努力使得可能导致无人看管或系统失控的问题最小化。不幸的是，这个承诺忽略了两个核心问题。在对藏匿于阿富汗和巴基斯坦的基地组织进行打击的战斗中，是出于军事和政治的需要，才使国防部长盖茨批准使用尚未进行充分试验的第二代无人机。为了履行其主要使命，国防部将不顾及其他方面的考虑。其次，即使美国公众和美国的盟国相信国防部将对部署自主化武器建立严格的监管和控制，但是绝对没有理由相信其他国家和非国家行为者也会如此信任美国国防部。其他国家，或是一些流氓政府肯定会采用机器人武器和使用它们的方式完全超出了我们的控制。

目前还没有办法确保其他国家，不管是朋友还是敌人，将在使用自主武器之前制定工程质量标准和测试程序。有些国家可能会部署粗制滥造的无人机或具备致命力量的陆基机器人，那将证明美国，北约和其他大国努力在建立这类武器优势的合理性，而这会导致进一步技术升级，加快自主性武器研制走向成熟的步伐。

目前看来，未来战争很有可能是一个国家的自主武器瞄准另一个国家的自主武器，唯一可能减缓并有希望阻止这一趋势的办法是制定一项原则或国际条约对部署这种武器的任何一方施加约束。我们不应当只是仰仗于少数的军事规划者对自主武器的可行性做出决策，我们有必要在国际社会展开公开的讨论，是否现有的国际人道主义法隐含了对于自主攻击性武器的禁令。禁止能够决定生死的机器应当在新的国际条约中予以明确。

在没有一项国际禁令存在的情况下，制定高等级的原则也可以，这项原则将明确机器不应做出有害于人类的决定。这一原则将设置可以接受及不能接受的参数。一旦红线划定，外交官和军事规划者可以继续开展更具体的讨论，比如机器人武器在什么情况下确实是人的意志和意图的延伸，以及机器人武器行为超出人力控制的一些实例。高等级的原则并不是绝对禁止杀人机器人，但它可以设置一定的限制。

无法保证这样的原则将永远得到遵守，任何的道德规定在一定情况下都可能被违反。此外，拥有一件或两件核武器的非国家行为者可能使用机器人发射系统，对它们而言本来就无所谓失去什么。每一代人都需要努力对创新武器的使用和未来战争的战斗方式施加人道主义的限制。

我提出的对此设置总统行政命令的建议基本上被忽视了，但也许有一天它可能会脱颖而出受到关注，尤其是，如果关于禁止致命自主武器的活动在国际舞台上取得新的进展。美国立法者对于支持国际条约一直不太关心。发起国内的创意对于美国加入全球性的禁令是必要的。然而，在采取任何行动之前，是否设置禁令将成为总统或总统候选人不得不表明立场的一个重大课题。

在这种情况下，美国总统奥巴马或他的继任者可能会签署一项行政命令，宣布使用致命或非致命的完全自主武器进行蓄意攻击违反了《武装冲突法》。该行政命令将确定美国持有这样的原则立场，而且该立场已隐含在现有国际法中。一个负责任的人必须始终清楚哪些是危害人类的进攻性打击。对自主武器实施限制的行政命令将再次强调一点，即美国将人道主义关注作为其履行防务职责的重中之重。北约将很快跟进，从而加快在这方面制定国际协议的前景出现，所有国家都将认同计算机和机器人就是机器，不应该让其成为人类生存或死亡的决定者。

对于计算机在战争中所能做的决定设置红线，强化了人应当为是否发起战争或伤害对方负责这一基本原则。决定人类生死的责任不应该是因为某些错误或机器进行计算后对人的生命做出选择的结果。对于军用计算机做出生死决定予以限制，其中更为广泛的意义在于一份承诺，即人类必须为所有机器——不管是智能的还是愚蠢的行为负责。