大多数关于自动化的公共讨论都与就业有关，这就是为什么我们花了这么多时间来研究它。第二个发生实质性讨论的领域是机器人在战争中的应用。在过去的几千年里，技术已经几十次改变了战争的面貌。冶金、马、战车、火药、马镫、大炮、飞机、原子武器和计算机都对我们互相残杀的方式产生了重大影响。机器人和AI将再次改变它。

我们是否应该制造能够根据编程设定的要素做出自主杀戮决定的机器人武器？支持者坚持认为，机器人可以减少平民死亡人数，因为机器人将精准地遵守协议，不会滥杀无辜。在一瞬间，一个士兵，由于遭受疲劳或恐惧，可能会犯一个致命的错误。然而，对于机器人来说，它所需的刹那间就能完成任务，没有疲劳、恐惧，更没有致命错误。

这很可能是真的，但这并不是世界各国军队采用AI机器人的主要动机。这些武器之所以吸引他们，有三个原因。首先，它们在执行任务时比人类士兵更有效；其次，军队担心潜在的对手正在开发这些技术，所以想先发制人；最后，他们将通过部署机器人来减少军队的人员伤亡。最后一个原因有一个令人不寒而栗的副作用：它可以降低战争的政治成本，从而使战争变得更加普遍。

目前的核心问题是，是否应该允许机器独立决定杀死谁和放过谁。当我说眼前的决定是我们是否应该建造杀手机器人时，并没有过于夸张。这里没有“我们是否有能力建造”的疑问，没有人怀疑我们能做到。问题是：我们应该吗？

许多从事人工智能研究但不与军方合作的人认为我们不应该这样做。1000多名科学家签署了一封公开信，敦促禁止完全自主的武器系统。史蒂芬·霍金在2014年撰写的一篇社论中表示，这些武器最终可能会通过AI军备竞赛的形式毁灭整个人类。

尽管关于是否建立这些系统看似存在着激烈的争论，但似乎又有些言不由衷。机器人应该被允许做出杀戮决定吗？从某种意义上说，它们的杀戮行为已经存在了一个多世纪了。人类很乐意埋下数百万颗地雷，以无差别的方式炸掉一名士兵或一名儿童的腿。这些武器有AI的基本形式：如果某物的重量超过50磅，它们就会引爆。假设一家公司在市场上推出了一种地雷，它可以区分儿童和士兵，也许是通过重量或步幅来判断的吧。那么这种地雷就会被投入实战，因为它们提高了杀伤效力。这样会更好，对吧？出于同样的原因，如果一种新的地雷模型能在爆炸前嗅出火药的气味，它也会被广泛使用。以市场为导向，很快你就能以这种方式让机器人在没有人类参与的情况下做出杀戮决定。诚然，目前地雷是被条约禁止的，但它们在如此长时间内的广泛使用表明，我们默许了武器系统中相当多的附带损害。无人机战争、导弹和炸弹都同样不精确。它们都是一种类型的杀手机器人。我们不太可能拒绝更有鉴别能力的杀人机器。然而，我渴望在这一点上被证明是错误的。北卡罗来纳大学(University of North Carolina)的物理学家，和平、战争与国防课程副教授马克·古布鲁德(Mark Gubrud)教授表示：对于自主武器，美国有一个“假装谨慎和负责的政策，但实际上该政策为自主武器的蓬勃发展和早期使用扫清了道路”。

然而，建造这些武器系统对抗威胁是真实存在的。2014年，联合国就其所称的“致命自主武器系统”举行了一次会议。该会议发表的报告称，恐怖分子也在寻求这些武器，他们很可能会得到这些武器。此外，目前世界各地不乏正在开发的武器系统，都在不同程度上利用了AI。俄罗斯正在开发一种机器人，它可以利用雷达、热成像和摄像机的组合，在四英里之外探测并射杀人类。一家韩国公司已经在出售价值4000万美元的自动炮塔，根据国际法，该炮塔会向两英里内的任何潜在目标发出“请转身离开，否则我们就开枪”的信号。它需要一个人来下达杀戮的决定，但这只是一个因客户需求而添加的功能。事实上，地球上每个拥有庞大军事预算的国家，大概总共有二十多个国家，都在致力于开发AI驱动的武器。

即使人们达成了共识，又该如何禁止这种武器？核武器之所以能够得到控制，有一部分原因是它们很明了。爆炸要么是由核装置引起的，要么不是。没有灰色地带。另一方面，带有AI的机器人是灰色的。一件武器需要存在多少人工智能才会被认为是非法的？地雷和终结者之间的区别只是其AI化的程度多少的问题。

GPS技术设计有内置限制。对于速度超过每小时1200英里或高于60 000英尺的物体来说，它将失效。这是为了防止它被用来引导导弹。但是软件几乎是不包含内置限制的。因此，为武器系统提供动力的AI可能会得到广泛应用。这些系统的硬件与传统的恐怖主义武器相比是昂贵的，但与更大的常规武器系统相比则是相当廉价。

考虑到这一切，我怀疑禁止这些武器的努力不会奏效。即使机器人的程序是识别一个目标，即使机器人被编程来识别目标，然后需要人类批准才能摧毁它——很明显，只要按下开关，批准步骤就可以被关闭。这一幕最终无疑会发生。

AI机器人可能会被视为一个对国家安全迫在眉睫的威胁，以至于让一些国家觉得他们必须冒险拥有它们，以抵抗威胁。在冷战期间，美国经常担心与潜在敌对国家的军事力量存在明显或可能的差距。我想起了20世纪50年代的轰炸机缺口和20世纪60年代的导弹缺口。一些人的工作职责就是警惕来自意图伤害世界的人所制订的计划，对于他们来说，人工智能的差距甚至更可怕。

[1] MacGyver是美国20世纪80年代电视剧《百战天龙》中的主角，他具有解决复杂问题的能力，并可运用手边的日常生活用品逃离困境。

[2]青铜塔罗斯(bronze Talos)，希腊神话中的机械巨人，属于青铜一代(the bronze generation)，历劫不灭，直到半神时代(Age of the Demigods)尚在人间。

[3]塞缪尔·巴特勒(Samuel Butler， 1835-1902)，著有《众生之路》。戏剧大师萧伯纳赞誉巴特勒是“十九世纪后半期英国最伟大的作家”。

[4]礼仪机器人C-3PO是影片《星球大战》中的机器人角色。

[5]康加舞是一种古巴舞蹈，由众多舞蹈者列队进行，在街头、野外可以随时起舞。

[6]《危险边缘》是美国哥伦比亚广播公司益智问答游戏节目。2011年2月14日至16日肯·詹宁斯与布拉德·鲁特日一起在节目中对战IBM计算机沃森。

[7]《阴阳魔界》(Twilight Zone)是美国1959年推出的一部实验性电视剧集，自1959年至1964年期间在美国播出，由罗德·瑟林编剧，黑白摄制，内容以怪诞、神秘主义和警世为主，每集均为互无关联的独立单元小故事，全五季共156集。

[8]布鲁金斯学会(the Brookings Institution)创建于1916年，美国著名智库之一，是华盛顿特区学界的主流思想库之一。

[9] 1969年7月20日的美国官方公布阿波罗登月行动，是人类对地球以外天体的首次造访行动。

[10]史高治·麦克老鸭(Scrooge McDuck)，迪士尼所创的经典动画角色之一，唐老鸭的叔叔。1930年史高治被塑造成全世界最富有的鸭，然而他仍不断去扩充自己的财富。

[11]波兰尼悖论(Polanyi paradox)， 1966年，科学哲学家迈克尔·波兰尼提出波兰尼悖论，即“我们知道的可能比我们能说出来的更多”。

[12]福利国家(welfare state)是国家通过创办并资助社会公共事业，实行和完善的一套社会福利政策和制度，对社会经济生活进行干预，保证社会秩序和经济生活正常运行的一种方法。

[13]边际激励：是指随着消费数量的增加，单位商品给人们带来的满足程度。一般会逐步下降。

[14]西塞罗(Cicero，前106年1月3日-前43年12月7日)，古罗马著名政治家、演说家、雄辩家、法学家和哲学家。

[15]普布利厄斯·塞斯蒂乌斯(Publius Sestius)，公元前1世纪的罗马参议员。他是公元前53年的一名执政官，也是西塞罗的朋友和盟友，西塞罗在公元前56年为他辩护。

[16]盖乌斯·格拉古(Gaius Gracchus，前154年-前121年)，公元前二世纪的一位罗马政治家。

[17]巴克敏斯特·富勒(Buckminster Fuller， 1895年7月12日-1983年7月1日)：美国建筑师，人称无害的怪物。

[18]埃比尼泽·斯克鲁奇(Ebenezer Scrooge)是美国电影《圣诞颂歌》的角色，是一个守财奴。