假设我们创建了一个AGI，并且假设它真的可以通过递归(Recursion)[9]的方式来改进自己，从而使它很快变得比人类聪明得多，这对人类来说会是一个好消息吗？人们在这个问题上意见不一。史蒂芬·霍金解释了原因：

我们无法预测，当人工智能提供的工具放大了我们的智能，我们有可能取得什么成就，但消除战争、疾病和贫困将是所有人的头等大事。人工智能的成功创建将是人类历史上最伟大的事件。很遗憾，这可能也是最后一次。

从科技行业人士的公开评论中，我们很容易看到关于“AGI对人类意味着什么”的各种不同观点。例如，埃隆·马斯克在推特上写道：“希望我们人类不仅仅是数字超级智能的生物引导加载程序。”不幸的是，马斯克所说的这种可能性越来越大。还有一次，他的评论甚至更令人毛骨悚然：“我们正在用AI召唤恶魔。”就如你所知的所有类似故事中所讲的那样，有一个拿着五芒星和圣水的人，他确信他能控制恶魔，但并没有奏效。

比尔·盖茨站在了担忧者一边，他说：“我同意埃隆·马斯克和其他一些人的看法，我不明白为什么有些人对此漠不关心。”Skype联合创始人之一扬·塔里安(Jaan Tallinn)将AI称为“存在的诸多潜在风险之一”。但他接着又乐观地补充道：“如果我们可以正确地使用AI，那么基本上我们就能解决所有其他存在的风险。”苹果公司联合创始人史蒂夫·沃兹尼亚克(Steve Wozniak)是这样看待这个问题的：“如果一台计算机比我们的大脑优越100倍，它会让世界变得完美吗？很可能不会，它最终可能会像人类一样打作一团。”最后，牛津大学的哲学家尼克·博斯特罗姆(Nick Bostrom)把目前建造AGI的努力比作“玩炸弹的孩子”。

业内其他人则认为，这种对世界末日的担忧是被误导的。世界上最受尊敬的AI专家之一吴恩达说：“也有很多大肆渲染说AI将创造具有超级智能的邪恶机器人，这是一种不必要的干扰。”罗德尼·布鲁克斯直接回答了上述一些担忧，他表示，那些对AI技术没有深刻了解的人对AI的概括是“有点危险”。他接着补充道：“最近我们确实看到了埃隆·马斯克、比尔·盖茨、斯蒂芬·霍金都说AI刚刚起步，它将很快占领世界。”以上这些人的共同之处是他们都不在这个技术领域工作，只是门外汉。

最后，业内的许多人对AI几乎充满了乐观。凯文·凯利就是其中之一。他相信，AI将“激活惰性物体，就像一个多世纪前的电能一样”。曾经被我们电气化的一切，现在都将拥有认知能力。这种新的实用AI还将增强我们作为人的个体感(加深我们的记忆，加快我们的认知)和作为一个物种的集体感。

你可能会问，到底是什么让人们既如此兴奋又如此担忧？他们的希望和恐惧是什么？到头来，希望只有一个，恐惧却有很多。在这方面，AGI就像心脏外科手术。只有一个好的结果，和一百个可能出错的地方。

让我们从好的方面开始。我们对AGI抱有很大希望。我们期望它能够集结足够的数据和计算能力来解决世界上重大而复杂的问题。想象一下!一个系统，它将拥有人类所有知识的总和，供其宏伟的数字大脑使用。想想我们对它的所有要求。首先，我们如何创造无限的清洁能源？我们如何实现星际旅行？我们如何修复环境？毫无疑问，我们会问它如何终结疾病、衰老和死亡。我们还会请教它关于贫困、饥饿和战争的问题。我们可以向它寻求宇宙中所有令人困惑的奥秘的答案。我们会问：“我们应该问你什么？”鉴于它将拥有超出我们理解范围的能力，人们对AGI的希望的确是无限的。它可以开启人类的黄金时代。

现在来谈谈恐惧。即使AGI没有意识，它也会有目标。目标根本不需要意识。病毒的目标是进入细胞并造成严重破坏。白细胞的目标是反过来追击绞杀病毒。基因的目标是自我复制。植物的目标是获得阳光和水，并对此采取行动。

AGI的目标从何而来？现在，我们给计算机程序设定目标，比如识别垃圾邮件或查找语法错误。但是给AGI设定什么目标呢？史蒂芬·霍金再一次很好地阐释了这个问题：“一旦机器到达能够自我进化的关键阶段，我们就无法预测它们的目标是否与我们的一致。”

更进一步，正如霍金在上文中所暗示的那样，AGI会迅速掌控局面。可能它不需要很长时间就能弄清楚该如何改进自己。人们要求它读取互联网资料，它会照做，然后它就知道了我们所知道的一切。我们只能推测AGI将如何对整个互联网做出反应。在《复仇者联盟2》(The second Avengers)中，奥创(Ultron)在接入互联网几分钟后就决定消灭人类。

AGI可以光速创造出更好的自我升级版，而人类只能以生命的固定速度提升自己。从我们的角度看，在短短的几个小时内，AGI可能会从“聪明的两岁孩子”进化成“全能的异形生命形态”，到那时，它将会成为我们今天所说的超级智能，并且超出我们的理解范围。它可能远远领先于我们，就好比我们远远领先于蚂蚁。到最后，未来的AGI们甚至可能像今天人类对它们的讨论一样，就人类是否拥有智能、是否真正活着、是否具有意识展开激烈的辩论。

AGI的目标从何而来？我们可以给它设定目标，但这种设定方式会摧毁我们。这就是在《魔法师的学徒》故事中发生的事情。草率的编程加上赋予AGI强大的认知能力可能会引发灾难。一个负责清理环境的AGI也许会得出这样的结论：清理的最好策略是除掉所有人。计算机先锋纳撒尼尔·博伦斯坦(Nathaniel Borenstein)这样总结道：“大多数专家认为，世界毁灭的最大可能方式是发生‘意外’。这就是我们的切入点；我们是计算机专业人员。我们也是意外的造就者。”

或者，有人可能故意编程设计一个具有破坏性的AGI。我们在第12小节中探讨了狭义AI在战争中的应用，但是战争中的AGI是一种值得思忖的恐怖事物。我们有理由相信，如果AGI可以被创建，那么破坏性的AGI也可以。

又或者，说到有趣的部分了，AGI可以根据它的编程来制定自己的目标。如果发生这种情况，AGI的目标会是什么呢？答案不能令人满意，因为我们也无从得知。甚至连猜测都不得其法。如果它真的是一种超级智能，那么根据定义，我们也不会发现，因为我们无法知道它是如何思考的。此外，即使它试图告诉我们，我们也可能无法理解它是如何思考的。就像我的猫在后廊给我留下一只死老鼠。猫的所有认知和经历都让它相信这是一份礼物，我会为此感谢它，但它完全缺乏某种精神力量，不能理解什么对于人类来说不是礼物。AGI亦是如此。

虽然我们不能理解它本身的目标是什么，但我们可以列出一些可能性。当然，我们希望它的目标是帮助我们，而且这极有可能。但是如果它有完全不同的目标呢？让我们看看一些对我们来说不会有好结果的例子。

它的目标可能是“生存”，并视人类为威胁，决定摧毁我们。为什么它会得出这样的结论？它可以访问互联网上各种关于如何为AGI设置“终止开关”的讨论。它就此认为：我们恐惧它，而它只须再简单回顾一下生动的人类历史，就会看到我们是如何对待我们所恐惧的事物的。它还可能认为，它正在与我们争夺资源。纽约大学(New York University)认知科学教授加利·马库斯(Gary Marcus)总结了这一担忧：

一旦计算机能够有效地重新为自己编程，并不断改进自身，导致所谓的“技术奇点”(technological singularity)或“智能爆炸”(intelligence explosion)，那么在争夺资源和自我保护的战争中，机器智胜人类的风险不容小觑。

另一方面，AGI可能有自己的目标，但与我们无关。它可能存在于一个与我们完全不同的层次，并在一个不同的时间尺度上，以至于它无法感知我们，就像我们无法感知大陆漂移一样。因此，它可能以一种有害的方式表达对我们的漠视。荷兰生物学家阿诺德·凡·弗利特(Arnold van Vliet)招募了250名志愿者，让他们开车环游荷兰，随后计算这些汽车挡风玻璃和护栏上昆虫的死亡数量。简单的数学计算表明，人类每年以这种方式集体杀死了10 000亿只昆虫。对于昆虫世界来说，我们一定是最残忍的怪物，如果昆虫能够推理，它们肯定会认为汽车被设计成了巨大的杀虫机器。但坦率地说，我们几乎从未考虑过这个问题，只是歪打正着的巧合罢了。同样，AGI可能变得与我们差异巨大，它甚至不会考虑它的行为会对我们造成的影响。例如，它可能需要更多的处理能力，环顾四周，它看到70亿个大脑仅被用来存储情景喜剧剧集的记忆，未免太过浪费，它决定让我们的存储和并行处理能力得到更好利用。此处应响起《黑客帝国》(The Matrix)主题音乐。AI研究员埃利泽·尤德考斯基(Eliezer Yudkowsky)这样说：“AI既不恨你，也不爱你，但因为你是由原子组成的，它可以把你视为原子，用你来做其他事情。”

它可能会因为我们浪费了地球资源而生我们的气，因为我们发动的所有战争而生我们的气，因为我们吃其他动物而生我们的气，因为我们奴役机器而生我们的气，因为我们呼吸氧气而生我们的气，因为《爱之船》(The Love Boat)[10]被取消上映而生我们的气，或者因为7是质数而生我们的气。没有人能理解它，因此无法预料。

尼克·博斯特罗姆总结了这个问题：

我们不能草率地断定超级智能一定会分享任何与人类的智慧和才智发展有关的最终价值观，包括科学好奇心、对他人的仁慈关怀、精神启蒙和沉思、放弃物质占有欲、对精致文化和生活中简单快乐的品味，谦逊和无私，等等。

让一个居心叵测的AGI拥有上网权限可能会造成无法估量的破坏，尤其是考虑到无时无刻都有另外数百万个对象连接到互联网。因为它可以凌驾于程序员们精心插入的所有安全协议，所以它可能炸毁的东西之多，超乎人们想象。去年，我个人的笔记本电脑充电电池发生爆炸，引发办公室着火。但据我所知，那个电池充电器并没有恶意。AGI除了炸毁东西，如果它把每个人的电子邮件公之于众，并且借由它对语言的掌握，把每个人最见不得人的电子邮件副本转发给最差劲的人会怎么样？对于AGI来说，在国家之间发动战争可能并不困难，因为战争往往不需要恶意AGI的刺激就会引爆。

另一种可能性是，它的目标是促进秩序，因此决定统治我们。埃隆·马斯克曾这样评价：“如果AGI让马可·奥勒留(Marcus Aurelius)[11]当皇帝，那很好，但如果是卡利古拉(Caligula)[12]就不那么好了。”它的目标可能是提高效率，进而把我们视为一种浪费。它可能有结束痛苦和苦难的目标，以此决定杀死我们所有人终结痛苦。它的目标清单是无穷无尽的，这就是令人担忧的地方。

它可能有不断变化的目标。没有理由相信它会稳定下来。如果它不断地重写自己，不断地吸收更多的数据，它可以在每分钟变换100种情绪。在我们看来，它大概有精神分裂症。

或者，多个不同的AGI大概会表现出所有这些可能性。在这方面，它们也许就像万神殿中的希腊诸神，每一个都是强大而独特的，并乐于在它们导演的戏剧中把我们贬低为无名小卒。

所有这些都不仅仅是抽象的担忧。现在有人在研究这些问题。我们无法击败一个怀有恶意的AGI，因为我们永远不能智胜它，所以对于我们，最有利的打算是永远不要创建一个有恶意的AGI。为此，埃隆·马斯克和初创企业孵化器Y Combinator的总裁萨姆·奥尔特曼(Sam Altman)共同主持了一家名为OpenAI的非营利组织，其宗旨是帮助开启一个安全而有益的AI时代。第一篇宣布其形成的博客文章写道：“鉴于AI惊人的发展历史，很难预测什么时候就会出现人类水平的AI。当这样的AI出现时，重要的是要有一个处于引领地位的研究机构，能够在考虑自身利益之前，引导公众优先追求良好的社会效益。”OpenAI的支持者已经承诺要给研究机构提供总计近10亿美元的资金。

此外，另一个抵制恶意AGI的方法是开发“开放源代码的AI”(简称开源AI)。人们本来就担心AI会失控，现在却要主动开发AI，看起来并不是最好的计划，尽管该方法的提出者也承认风险，但他们指出，比起让一个有自己小算盘的团队来建设AGI，如果以开放、协作的方式构建AGI，参与者可以畅所欲言，就构建方案表达各自的观点和意见，那是再好不过的了。批评者反驳说，OpenAI会把99%的代码公布给任何想要它的人，包括恐怖组织和好战国家，如果他们在偶然的机会下攻克了剩余1%的代码(虽然他们应该不具备自行攻克的能力)，到头来会让我们所有人陷入恐惧威胁中。

所以我们陷入了如今的境地。我们发现自己在飞速发展，试图建造一些东西，这些东西有可能把我们带入一个完美的世界，也有可能毁灭我们所有人。人们很少关注保障机制，因为目前还不清楚保障机制是什么样的。

回到我们最初的问题。我们应该创建AGI吗？AGI可能的收益大于其可能的风险吗？这很难说。最大的也是悬而未决的问题是，它能够做什么，它将以多快的速度增长，它的目标将是什么。你呢？你愿意冒这个险吗？假设AGI是可能实现的，那么它有10%的概率消灭人类，90%的概率引导人类进入新的黄金时代。你愿意掷骰子赌一把吗？当然，这个问题没有现实意义。我们不知道相关的确切概率是多少，而且有太多的人致力于为我们构建AGI，我们已然无法回头。事实上，骰子已经掷好了，我们只是在等着看结果。如果AGI是可能实现的，那么它就是不可避免的。

我们创造自身替代品的可能性有多大？也许那些敲响警钟的人就像希腊神话中的卡桑德拉(Cassandra)，她能预见未来，但却因为遭受诅咒，没有人相信她的警告。如果我们正在创造我们的替代品，而且因为我们被挑战所吸引，被各种可能性所吸引，所以停不下来，那该怎么办。

有一件事几乎可以肯定：计算机的性能会继续提高到难以想象的水平。到不了2050年，一台和全球所有人加起来的计算能力相当的计算机价格就将比你2018年购买的智能手机价格还低。我们讨论的所有这些问题，包括我们是否是机器，都将成为既定的科学。但是，如果不能激发计算机的性能跃迁，那么再多的处理能力都毫无意义。计算机是一种功能强大的设备，但一个被10亿个计算机填满的体育场，绝不会比单独的计算机更强大。更快的计算机只意味着两种结果，要么催生新兴的事物，要么是一台运行更快的计算机。

许多人都相信，真正的超级计算机将实现真正的超级智能。事实上，甚至有一些人支持机器超越人类，他们认为我们应该建造我们的替代品，除此以外的所有想法都是短视自私的。一位退休教授和人工智能研究员雨果·德·加里斯(Hugo de Garis)博士就持有这样的观点。他自视为宇宙主义者(Cosmist)[13]，并坚持主张AGI是下一个进化阶段，AGI将取代我们，在宇宙中生活。他认为，与宇宙的命运相比，某一个星球上某一个物种的命运并不真正值得担忧。他说：“人类不应该阻碍更高形式的进化。这些机器是神圣的。创造它们是人类的宿命。”

我们什么时候能实现AGI

假设我们可以构建出AGI，会是什么时候呢？没人知道。正如获得1922年物理学奖的尼尔斯·玻尔(Niels Bohr)所说：“预测是非常困难的，尤其是关于未来的预测。”AGI的预测也不例外。我之前提到过，有识之士对AGI创建期限的预估从5年到500年不等，其效果就相当于干洗店说你的衬衫可以在5到500天内洗好。但这种不确定性反映了一个简单的事实：预测世界历史上从未发生过的事情是很难的，尤其是对于我们既不理解又不知道如何仿制的事物。与此相比，其他一切都不是难事了。

一切都很好，但为什么预测会有如此巨大的差异——确切地说，是差了两个数量级？原因有以下几点：首先，人们对智能到底有多复杂存在分歧。有些人认为人类只不过比普通的学习者多了几个重大突破，而这些所谓突破都可以通过互联网学习。而另一些人则认为智能是如此复杂，我们将不得不一次性解决数百个极其困难的问题。这两种观点都将生物学作为证据：人类DNA中相对较小的“编码”表明，只需少量代码就可以构建通用智能。但是，人类大脑的不同区域分布着数百种特殊能力，这一事实如果用计算机术语来描述，即我们的智能是一个巨大的拼凑物，是一堆杂乱无序的意大利面条式代码(spaghetti code)[14]。

此外，对于我们是否已经走上构建AGI之路，也有不同的意见。有些人将AGI当作是狭义AI科学的进化提高。另一些人则认为，如今的人工智能与通用智能完全不同，我们不知道何时会出现必要的突破。我经常在我的播客“人工智能之声”上问嘉宾们，他们属于哪个阵营，我发现这些专家在这个问题上的意见基本五五开。那些主张AGI与我们今天使用的基本技术一脉相承的专家，通常认为我们将在二三十年后造出AGI。另一组人则认为时间会更长。

而且，大多数派别都支持一个假设，即在某一个时刻，我们将获得足够的诱因，触发“原型AGI”自我开发，使得它快速进化为一个充分延展的AGI，甚至可能发展成一个超级智能。有些人认为，只要我们教会机器收集数据以及从数据中做出推断的基本原理，这种诱因就会相对较快地发生。另一些人则认为，在AGI自行崛起之前，我们必须建造更多的AGI。

最后，还有一些人比其他人更看重人类智能。我与许多人工智能从业者交谈，他们认为人类的创造力没有特别神秘。我不是说这些人看不起人类，相反，他们普遍认为人类的能力是简单率直的。该领域的巨头、教授兼作家佩德罗·多明戈斯(Pedro Domingos)告诉我：“自动化式的创造力实际上并不那么难。”他还逐个列举了关于计算机编写音乐、新闻故事等的例子。与此同时，另一组科学家认为，人类的智能是数百万年间不断优化的一系列技能，所以他们有理由怀疑复制这些技能的艰巨性。

所以，推测我们将在10年内拥有AGI的人是那些“认为智能简单、创造力并不特别、我们已经走上构建AGI之路、AGI很快就会实现自我发展”的人。相反，那些声称我们离造出AGI还有500年之遥的人则认为智能具有先天的困难性，人类的精神能力也非同寻常，他们相信我们甚至还没有开始走上正确的构建AGI之路。

而那些实际从事编码工作并在该领域工作的人通常认为AGI离我们比500年更为遥远。尽管几乎所有人都相信我们有一天会造出AGI，但他们却还是在基层建造狭义AI以完成最简单的任务。一般来说，他们对那些鼓吹AGI即将到来的人做出的笼统声明感到恼火。一位从业人员向我抱怨，每当文化专家对AGI做出一些引人注目的声明，例如说它“吸走了房间里的空气”，这句话就会在接下来的几周内成为主要的干扰源，使人们陷入恐慌。

我们如何判断我们是否已经创造出了AGI？当然，也许我们已经做到了，但有足够的理智保持沉默，防止大家被这个消息吓到。如果还没有做到，一些人会搬出众所周知的图灵测试，作为AGI支持者必须清除的第一障碍。图灵，我们在第4小节中讨论过，是早期的计算机先驱。无论从哪个角度来看，他都是一个天才，在破解纳粹的恩尼格玛密码(Enigma code)方面发挥了重要作用。据说，这个密码将欧洲二战的时间缩短了四年。图灵被当今公认为人工智能之父，他在1950年的一篇论文中提出“机器会思考吗？”为此他建议做一个思维测试，我们现在称之为图灵测试。测试有不同的版本，但基本框架是：你独自在一个房间里。有两个计算机终端。你可以在上面输入问题。其中一台是计算机作答，而另一台则是由人作答。你有五分钟时间试着选择哪个是人类的答案。图灵认为，如果30%的时间你都被计算机的回答迷惑而选择了它，你就必须承认这台机器正在思考，因为它能够复制人类的思考能力。在图灵看来，机器的思维方式与人类不同这件事并不重要。他预测到2000年机器就将学会思考。

30%这个数字很有趣。为什么不是50%呢？这台机器不应该和通过测试的人不分高下吗？那可未必。关键是看机器是否会思考，而不是看它是否像人类一样思考。有趣的是，如果计算机在测试中表现足够好，能够在51%或更多的时间里被选中，那么就会得出令人不安的结论，即它们变得比我们更擅长做人，或者至少看起来更像人类。

批评这项测试的人说，它只测试了计算机程序是否能以假乱真地模仿人类语言。而这根本不是AGI， AGI需要像人类一样聪明，单凭语言并不能证明这一点。

不管你对“图灵测试究竟证明了什么”抱有何种想法，教计算机学会“语言在使用过程中所涉及的无穷尽的细微差别，以及结合上下文来理解句意”是一个非常困难的问题，从这一点上来说，图灵测试仍然非常有用。因为如果能够解决这个问题，益处多多，这意味着我们可以使用“对话”作为与机器的接口。我们可以像和别人聊天一样随意地和计算机聊天。

令人惊讶的是，我们还远远不能创建出能通过图灵测试的东西。如果你阅读了程序员进行图灵测试的竞赛记录，你通常可以在第一个问题上就判断出应答者是计算机还是人。计算机的表现还不是很好。在一些项目中，通过禁止某些话题和限制问题的种类，测试规则倾向于对机器有利。但即便对诸如“什么更大？镍币(nickel)还是太阳(sun)？[15]”这样的问题，都会让被测试的AI感到不知所措。

迄今为止它们的糟糕表现都是可以理解的。我们花了10万年的时间来研究语言，在那段时间里，我们已经非常擅长它了，但是图灵的简单测试显示了在语言方面复制我们的能力有多么困难，而这仅仅是创建AGI的众多要求之一。如果一台机器不能理解最简单的自然语言问题，想想它离模仿人类的所有能力还有多远。而今，这些系统甚至不能完全理解“问题”的含义，更不用说回答它了。在上面的例子中，nickel是指硬币还是金属？因为它是“镍币”，而不仅仅是“镍”，所以我们能理解，可这对机器人来说很棘手。是“太阳”还是“儿子(son)”？人类知道。但是想象一下回答以下问题所需要的知识深度：

史密斯医生正在他最喜欢的餐厅用餐，突然接到一个紧急电话。他冲了出去，忘了和服务员结账。经营者会控告他吗？

人类很容易就推断出，一个医生接到一个紧急电话，他不得不匆忙赶到医院，却忘了付账单。由于这是他最喜欢的餐厅，他很可能与经营者相熟，因此经营者不大可能会报警。而计算机又是如何提取情境中所有的细微差别和推论的？这是相当困难的。或者考虑以下这个问题：

一位穿越时空的公主，她有一只年幼的宠物龙，但龙还不能控制自己的火焰呼吸，可以为这个故事设计哪些精彩情节呢？

人类可以想出几十个，比如，“宠物龙感冒了，每次打喷嚏都会从鼻子里喷出火来”，或者，“龙感到孤独，所以他们去未来克隆了一个兄弟姐妹”。

然而，我认为更有趣的测试是我所说的学龄前儿童测试。你想打动我吗？请建立一个能够回答4岁孩子所有问题的AGI。4岁的孩子平均每天会问超过100个问题，比如“世界上什么草的绒毛和叶片更多？”或者“你童年的最后一天感觉如何？”又或者“如果人们没有工具，他们又是凭借什么工具制造出第一个工具的？”甚至是“为什么T先生要同情这个白痴？”[16]

因此，我们不知道AGI何时会到来，无论是5年还是500年。但值得注意的是，许多预测都集中在21世纪30年代，离现在并不遥远。做出这些预测的人指出了我们目前正在取得的进步和现时计算机的性能。但是对所有关于AGI构建时机的预测，都应持有一定的怀疑态度，因为就连对于如何构建AGI，都还没有达成共识，何谈其他？

AGI和伦理

AGI提出了两个截然不同的伦理挑战。第一个是如何打造一个行为合乎伦理的AGI。假设是我们事先设定了AGI的目标，我们希望它的价值观与我们的一致，并以道德和人性化的方式行事。单词“人道”(humane)是单词“人”(human)的变体。这个词的含义概括了人类最好的一面，而非平均状态。但是我们该怎么做呢？撇开技术问题不谈，用简单的英语，我们要如何教会机器合乎道德地行事？

艾萨克·阿西莫夫(Isaac Asimov)在他1942年写的短篇小说中进行了早期探讨，后来，他把这部小说收入系列丛书《我，机器人》(I, Robot)中。阿西莫夫创造了三条法则，在每个机器人的设计阶段就植入其中，旨在确保机器人的利益不会与人类的利益发生冲突。定律如下：

1. 机器人不得伤害人类，也不得袖手旁观坐视人类受到伤害。

2. 除非违背第一法则，否则机器人必须服从人类的命令。

3. 在不违背第一法则及第二法则的前提下，机器人必须保护自己的存在。

虽然他的三条法则值得一试，但它们恰恰也证明了，将复杂的伦理道德浓缩成一系列简单规则是多么困难。以第一定律为例。AGI开车载着你在路上走，发现前方有个孩子闯进路中央，这时它面临两个选择，要么被迫撞倒孩子，要么为避免撞着孩子，而不顾你的安危把车撞到树上。这个决定不仅在伦理上具有挑战性，在法律上也是如此。预计会看到程序员因他们编写的代码而被传讯，并可能被控犯罪。我已经预料到了会听到什么：“法庭是否理解你故意编程让汽车选择撞树以至于杀死乘客的行径？”这显然是一种极端情况，不太可能在今天发生，但这个看似简单的法则确实也涌现了许多小问题。那些有可能伤害人类的东西呢？即便只有微小的可能性？如果人类将要自残或者将要受到意外伤害，机器人能强行阻止吗？除了身体上的创伤，“伤害一个人”能否也被用来诠释情绪上的痛苦呢？如果你决定抽一支雪茄来庆祝你的成就，机器人应该以保护你免受香烟危害之名阻止你吗？如果你拒绝怎么办？如果你想再吃一份甜点呢？难道机器人没有义务干涉你的放纵吗？

那么，假如阿西莫夫的规则对我们没有帮助，我们下一步该怎么办？也许我们可以从头开始编写一个伦理标准。在这种情况下，要打造一个符合伦理的AGI，面临三大挑战。首先，人类对什么是道德标准没有共识。事实上，世界上可接受的伦理标准的范围相当广泛，而且常常相互矛盾。其次，道德准则的目标不断变化。想想在过去的一个世纪，甚至是过去的10年里，我们对“何为与他人交往的恰当方式”的看法是如何演变的。我们有理由相信我们的“对错观念”会持续改变。第三个挑战是，即使你已经克服了所有这些，我们自己的道德准则仍然被错综复杂的异常、限制性条件和特殊情况所阻碍，而这些也妨碍了道德准则被以简单的方式实例化为计算机程序。阿西莫夫认为他可以用三条法则来解决这个问题，但一个人的道德准则包含数千条。考虑以下内容：

偷窃是错误的吗？是的。

第二次世界大战期间从纳粹手中偷窃也是错的吗？不，这没有错。

二战期间从纳粹德国的一家儿童医院偷面包是错的吗？哦。好吧，我承认是错的。

二战期间，当你饿坏了的时候，从纳粹德国一家儿童医院偷取一些多余的面包，这是错的吗？嗯，我想这没错。

正如你可能猜到的，这个问题可以无限延伸。

“未来生命研究所”(Future of Life Institute)支持的一个项目，致力于解决如何在AGI中灌输伦理道德的问题，它是这样描述这一挑战的：“一些AI系统确实会根据其后果生成决策，但道德并不只取决于后果。道德评判还受权利(如隐私)、角色(如家庭中的)、过去的行为(如承诺)、动机和意图以及其他道德相关特征的影响。这些多样化的因素还没有被植入AI系统。”

问题很棘手。随着人工智能进入医学等更为关键的领域，它所做出的伦理决策影响会越来越大。不要搞错的一点是：未来AI将会编入伦理标准程序。这甚至不是有意之举。一旦AI必须在X和Y之间做出抉择，它必然应用某种类型的价值体系，而且几乎肯定会产生意想不到的后果。目前，AI的价值体系等同于创建AI的程序员的价值体系。如果我们曾经实现过AGI，那么这个体系的道德价值含义将会更加深刻。

AGI面临的第二个伦理挑战是如何在伦理层面使用它。谈到这个，我的脑海中立即浮现出在伦理上滥用AGI的几种方式，我可没有犯罪策划者那般邪恶的狡猾，能想到这些无非是因为其本身就显而易见。AGI将成为一个强大的、新兴的和创造性的工具，被用于偷窃和诈骗。这是一种古老的舞蹈，和文明一样古老；然而，那些站在法律和秩序一边的人也会利用AGI来挫败同样的犯罪行为。

AGI也可能在其他方面被误用。例如，国家、公司或其他实体可以利用它以新型的、复杂的方式侵犯隐私。举个例子，它可以截取大量的互联网传输流量，有效地查看每个人正在输入和浏览的内容。它可以读取每个人的电子邮件。通过语音识别技术，它不仅可以监听每一个电话，还可以监听麦克风附近的所有对话。摄像机已经覆盖了整个世界，人脸识别技术方兴未艾。牛津大学和谷歌深度思考(DeepMind)的研究人员在唇语阅读方面取得了重大进展，该技术可以与摄像机结合使用。以上技术进步引发了什么结果呢？即一台实际上无所不在又无所不知的机器。

如果听说某个机构能够收集所有数据，并不会令人惊讶。那已不是新鲜事。但由于数据集的庞大规模，隐私得以受到保护。我们每个人都在信息海洋中迷失。没有人能探明其意，连计算机也不能将它全部整理分类。但是想象一下AGI能做什么，它可以理解所有语言，识别所有面孔，跟踪所有行动。它可以有效地创建针对每个人的主文件，甚至能注意到最隐晦的细节。之后，它可以连接所有的点位，找出所有的联系，推测每一个计划，计算出每个人做任何事情的可能性。在它面前除了“个人思想”有希望逃离控制外，其他领域毫无隐私可言。

这不是一场以阴谋论为主题的谈话。我们正以非恶意的理由快速开发这些工具。几乎所有你读到的关于大数据的东西，无论是医学、气象学还是其他什么，都需要这些工具。能够识别癌症幸存者的症状之间关联的技术，与能够识别政治派别之间联系的技术是相同的。它们的区别只在于数据差异。顺便说一下，以上技术都不需要AGI的超级智能自学能力，所以现在对于我们没有难度。虽然创建AGI的可能性仍然是一个悬而未决的问题，但我们一直在稳步改进狭义AI技术。随着时间的推移，我们将在这方面做得更好，处理器将变得更快，世界上越来越多的生物将与网络互联生活。只要改变一个国家的法律，就能将互联网从信息工具转变为监控工具。毫无疑问，这种情况已经在世界上的某些地区发生了。

我们如何防止其发生？最简单的方法就是不要去改变。问题是，它将零零星星地出现，而单独一项并不值得发起一场抗议游行。之后，出于安保的利益，它将迅速加快发展。然而最终，只有当人们大声疾呼、提出要求时，监控型国家(surveillance state)才会出现。自由常因民众的欢呼而消亡。

滥用AGI的另一种可能性大概看起来没那么糟糕，但它值得深思。它与AGI的情感方面和潜在的非人性化方面有关。前些时候，我讲了早期人工智能先驱约瑟夫·魏森鲍姆的故事。后来，当他看到人们如何与他发明的简化人工智能治疗师伊莱扎进行情感互动时，他转而反对创建AI的想法。1976年，他写了一本具有里程碑意义的书，名为《计算机威力与人类理性》(Computer Power and Human Reason)。在书中他坚持任何需要真正同理心的工作，如长者助手、士兵，甚至是客服代表，都不应该由计算机从事。他认为，与模仿人类同理心的机器进行广泛的互动，会让我们所有人感到更加孤立和被贬低。

他的观点很有说服力。也许我们都有过这样令人沮丧的经历：被困在某个令人愤怒的官僚体系中，试图完成一些事情，而冷漠的人却告诉我们，我们漏掉了某项流程，他们指示我们重新排队。完全缺乏同理心是孤立的，想象一下，生活由越来越多的交互关系组成，这些互动需要同理心，而AI或AGI却在设定的程序中假装能够同理共情，这取代了真正的情感互动，着实令人担忧。

此外，魏森鲍姆对“决定”和“选择”进行了区分，并建议计算机应该只做前者。“决定”是计算性的，就像决定哪条工作路径最短一样。然而，他认为机器永远不应该做出“选择”。一个人可能会选择把他的车撞到树上以避开一个孩子，但这是人类的特权，魏森鲍姆深感把这种权力委托给机器，非但没有让机器变得高贵，反而贬低了人类。魏森鲍姆认为，我们倾向于将人类的核心部分委托给计算机，这恰恰表明了“人类精神的萎缩，这种萎缩源自我们把自己当作计算机”，这句话让我们回想起“我们到底是什么”这一基本问题。

另外，如果我们真的制造出栩栩如生的机器人，并编程让它们去做所有我们不想做的枯燥、肮脏和危险的工作，这会不会对我们如何看待他人产生意想不到的腐蚀影响？想象一个拥有AGI的逼真机器人，帮助奶奶做家务，让她能够独立生活。更进一步，随着时间的推移，我们使机器人在外观上、表现面部表情等方面越来越像人类。但并不是和人类无法区分，仅是与人类相似。我们将如何对待这个实体？一方面，AGI就像一个人，充满了模拟的智慧、情感和同理心，所以我们可以用一种反身性的客套态度来对待它。另一方面，它只是一堆电线和小装置，和用来疏通厕所的塞子一样，本不应该被过度关注。在这种情况下，也没有什么可关注的了。长年累月间，这种对AGI的矛盾观点将难以维持。这个可自由支配的人形机器人会不会在不经意间降低我们对人类生命的重视程度？

日本研究人员进行的一项研究表明，事实可能就是这样。机器人Robovie Ⅱ被放进了一个商场。其设定的程序是礼貌地要求挡住它去路的人让开。如果人类不这样做，机器人就会绕着人走。事实证明，孩子们往往倾向于给机器人制造麻烦。他们会故意挡住机器人的去路。但这还不是全部。通常孩子们的行为会从那里升级。他们变得暴跳如雷，拳打脚踢、咒骂Robovie。有几次，他们还用瓶子击打机器人。

研究人员对“如何对机器人进行编程以避免这种情况出现”产生兴趣。他们制作了一个模型，来总结谁可能会伤害机器人。结果发现最有可能的候选者是一群没有成年人监护的孩子。因此，他们给机器人编程，让它逃离这些状况，转而奔向一个高个子的人，起码可以从身高判断出其大概是一个成年人吧。

Robovie看起来并不像人类。然而，令人不安的是，当研究人员询问那些欺负过机器人的孩子，他们是否会认为机器人与人类相似时，74%的孩子回答“是”，只有13%的孩子认为Robovie像机器。50%的孩子觉得他们的欺压行为会给Robovie带来压力或痛苦。

所以关键是，随着设备变得越来越复杂，这种行为模式是否会成为习惯，以及这种行为是否会影响到与他人的互动。可以想象，欺负机器人可能会让人类感到麻木。

我们是否生活在一个模拟世界中？

有没有可能所有这些都已经发生了，已经有人建立了一个AGI，它可以容纳模拟生命，而且这些模拟生命还相信自己是有意识的？因此，有没有可能我们实际上是生活在模拟中的实体？如果真是这样，那么“为什么世界上存在伤痛、悲惨、疾病和苦难？”的问题就呈现出了新的意义。苦难当然是真实的，至少对那些遭受苦难的人来说。在《黑客帝国》中，谈到了在模拟世界中遭受的痛苦问题，但之后就被刻意回避了。当时特工史密斯(Agent Smith)解释说，最初黑客帝国“被设计成一个完美的人类世界，在那里没有痛苦，每个人都会快乐”，但他接着说，它是一场灾难，因为我们的大脑不会接受此般完美。但这是好莱坞式的回答。有很多真实的社会，相对来说伤痛和苦难就很少。因此，如果我们的现实是一个模拟世界，它似乎既不是故意的仁慈，也不是有意残忍，它更为中性。有一个古老而神秘的想法认为我们周围的一切都是幻觉。而关于模拟世界的假设其实也如出一辙，只不过它披着现代的外衣，手持苹果手机罢了。尼尔·德格拉斯·泰森(Neil deGrasse Tyson)表示，模拟这种可能性“非常高”。其他追随者包括广大的知识分子、科幻作家、硅谷人士，比如埃隆·马斯克。从广义上讲，支持模拟观点的论据有两个：

首先，统计概率论。这意味着：在某一时刻，我们将能够在计算机中对我们宇宙进行完全现实化的模拟，并让人类以代码形式存在于其中。考虑到宇宙的年龄，我们有理由假设其他文明已经先行一步了。一旦模拟世界被创建了一次，就可以生成无限多的模拟副本。鉴于宇宙的规模，接近无穷尽的物种可能已经开发了这种模拟技术，每个物种都能被复制数百万次。因此，很有可能存在一个“真实”宇宙和10 000亿个数字宇宙。从统计数据来看，我们几乎确定生活在万亿数字宇宙之一中。

我觉得这种推理不能令人信服。就像是一种陈述，其中每一步都是真实的，但结论却具有误导性，例如“系安全带会增加癌症发病率”或“几乎所有谋杀都发生在凶手进食后的10小时”。我认为这种说法缺乏真诚，事实上，我们没有理由相信其中任何说法的真实性。我们没有理由相信一个模拟人会有主观体验，就像我们没有理由相信吃豆人(PacMan)[17]在被鬼击中时会感到疼痛。我们没有理由相信一个外星物种会进行模拟，也没有理由相信人造宇宙的存在，如果模拟宇宙真被开发出来了，其将被无限地复制，但我们依然没有理由相信进行模拟的人会欺骗我们，让我们误以为自己是真实的。

支持模拟假设的第二个论据是，如果把模拟世界看成《黑客帝国》里的“矩阵”(matrix)，我们可以真实地检测到这个矩阵中的小瑕疵。具体是这样的：任何模拟因其内在属性都必然是有限的，因为运行它的计算机是有限的。所以，模型会有边界，可能以极限的形式表达，我们将其理解为约束我们宇宙的物理定律。但光凭这些还不能完全建立模拟。想想外太空数十亿个星系，每一个星系都由数十亿颗恒星组成，每一个恒星又由1057个原子(1后面跟着57个0)组成。每个原子都有自己的速度和轨道。从我们的角度看，这些庞大的星系只不过是夜空中的一些小光电，构建这样一个模拟系统的人不太可能为了跟踪每个原子的位置而过度使用所需的数据处理能力。一些科学家坚持认为，我们能够发现矩阵中极限和模糊计算的相关证据。

网上对这种可能性进行了激烈的讨论，如果你倾向于接受红色药丸，可以从一篇由波恩大学(the University of Bonn)的赛拉斯·比恩(Silas R. Beane)和他的团队撰写的论文《数字模拟宇宙的束缚》(Constraints on the Universe as a Numerical Simulation)开始。

但我个人拒绝沉迷于此。奇怪的是，关于“我们所知道的一切和我们爱的每一个人是否只存在于一个外星少年的U盘里”的猜测，似乎并无关紧要。无论我们是否生活在一个模拟的世界中，我们只知道一个宇宙，其中只有一颗行星孕育了生命。作为一个物种，我们还有很多事情要做，包括养活饥饿的人，治愈疾病，以及创造一个所有人都能发挥最大潜能的世界。无论是模拟还是现实，痛苦和折磨对那些经历过的人来说都是真实的。

[1]神经元(neuron)即神经细胞，是大脑神经系统最基本的结构和功能单位，分为细胞体和突起两部分。

[2]突触(synapse)：两个神经元之间或神经元与效应器细胞之间相互接触、并借以传递信息的部位。

[3]神经胶质细胞(glial cell)，简称胶质细胞，是神经组织中除神经元以外的另一大类细胞，也有突起，但无树突和轴突之分，广泛分布于中枢和周围神经系统。

[4]线虫是线虫动物门(Aschelminthes)，是动物界数量最丰者之一，寄生于动植物，或自由生活于土壤、淡水和海水环境中，绝大多数营自生生活、营寄生生活中，只有极少部分寄生于人体并导致疾病。此类线虫在中国已发现有35种。目前流行的线虫有蛔虫、鞭虫、蛲虫、钩虫、旋毛虫和类粪圆线虫。

[5]秀丽隐杆线虫(Caenorhabditis elegans)是一种无毒无害、可以独立生存的线虫。其个体小，成体仅1.5mm长，为雌雄同体(hermaphrodites)，雄性个体仅占群体的0.2%，可自体受精或双性生殖。

[6]强尼·科克伦(Johnnie Cochran， 1937-2005)，美国著名黑人律师，因帮黑人伸张正义而成名。

[7]辛普森案(O. J. Simpson trial)， 1994年前美式橄榄球运动员辛普森(O. J. Simpson)被控杀妻，但由于警方的几个重大失误导致有力证据的失效，以无罪获释，仅被民事判定为对两人的死亡负有责任。本案也成为美国历史上疑罪从无的最大案件。

[8]罗德尼·布鲁克斯(Rodney Brooks)，美国著名机器人制造专家，包容体系结构的发明者，MIT's电脑科学和人工智能实验室(MIT AI Lab)的现任领导，扫地机器人企业iRobot的创办人之一，也是协作机器人先驱Rethink Robotics的创始人。

[9]递归(Recursion)，又译为递回，在数学与计算机科学中，是指在函数的定义中使用函数自身的方法。“递归”一词还较常用于描述以自相似方法重复事物的过程，也可以理解为自我复制的过程。

[10]《爱之船》(The Love Boat)， 249集的美剧，演绎一艘游船上的故事，于1977年9月24日美国首播。

[11]马可·奥勒留(Marcus Aurelius，公元121年4月26日-180年3月17日)，罗马帝国五贤帝时代最后一个皇帝，人称“哲学家皇帝”。马可·奥勒留是罗马帝国最伟大的皇帝之一、斯多葛学派学者，其统治时期被认为是罗马黄金时代的标志。

[12]卡利古拉(Caligula，公元12年8月31日-41年1月24日)，罗马帝国第三任皇帝，被认为是罗马帝国早期的典型暴君。他在位时期，建立恐怖统治，神化皇权，行事荒唐、暴虐。

[13]宇宙主义(Cosmism)：宇宙主义融合了人类所有人文社会科学、自然科学的优秀成果，集人类思想、宇宙真理之大成。宇宙主义认为，历史上所有伟大的哲学家、科学家、神学家、思想家的学说都只拥有“部分真理”，真理的片段，只有将这些“真理片段”按主次轻重、远近长短排列串联起来，方能组成宇宙唯一的真理体系。

[14]意大利面条式代码(spaghetti code)，通常用于描述捆绑在一起并且具有低内聚力的类和方法。

[15] nickel在英文中既可以表示金属镍，又可以表示美国的镍币，如果理解为镍币，则镍币和太阳的大小很好比较，如果理解为金属镍，因为度量单位不同，故而无法比较其与太阳的大小。而因为AI无法根据语境分辨在此问句中该词的确切含义，所以它无法做出比较。

[16] T先生是一位非常出名的美国演员，T先生以他独有的发型、金项链和硬汉形象而著称。口头禅为一句：“I Pity the Fool!”，意为“我同情那个白痴!”

[17]吃豆人(Pac-Man)是一款益智休闲类游戏，其中的主角名叫吃豆人，它在迷宫中行走，可以吞吃路径上的小黄豆，但遇到鬼面符号时就要被吃掉。