中国广东广州，2045年3月30日

位于中国广州的国家超级计算中心内，超级计算机“天河十四号”的最新人脑模拟系统已经连续运行了37天。在这37天中，处理需求一直保持稳定，像教科书那样明确又稳定，电量需求也是一样。但奇怪的是，对系统用深度学习算法运行认知度测试包时，多组分析模块的输出结果都低于最优值。

突然，在没有任何征兆的情况下，系统的耗电量开始急剧攀升。整个中心内的照明开始忽明忽暗。备用发动机启动了，可面对出乎意料的电量需求，也只能做到勉强支撑。几分钟的混乱后，值班的研究人员最终决定启动标准的系统关机程序。巨大的监视器屏墙上，显示出关机程序进行到的每一步，但与此同时，其他系统的电力需求仍然在继续增大。灯光越发昏暗了。系统真在关闭了吗？还是并没有关闭？到底怎么回事？

一连串的报告，通过政府的加密手机网络，发到了当班人员的智能手机上。上交所、深交所和香港股票交易所，因为交易频率过高，系统刚刚全部崩溃了。其他各地的系统也一个个相继瘫痪。情报显示，这场灾难并不仅限于中国国内。这是一场全球范围的大灾难。

随着这台巨型超级计算机不断消耗着一切它能攫取到的能量，计算中心的照明越来越昏暗。研究人员意识到，自己最担心的问题终于变成了现实，他们正亲历一场智能爆炸。这台超级计算机正迅速地完善自身，修改固件，一遍遍地改写代码，它的智能水平开始超过任何个人。超过这个国家的任何人。超过这个星球上的所有人。然后就再也没有人有办法阻止它了。

占地庞大、戒备森严的计算中心陷入黑暗。

计算机能强大到何种地步？它们最终真的可能超越我们，甚至获得超级智能吗？它们真的能有意识？这些都是巨大的问号，涉及之广之深、回答之难，应该不亚于解答计算机最终是否能真正体验情感这个问题。事实上，这两者很可能密切相关。

最近有不少知名学者、科学家和企业家，都表达了对人工智能和超级计算机失控的担忧。物理学家斯蒂芬·霍金、工程师兼发明家伊隆·马斯克，还有哲学家尼克·伯斯特洛姆，都针对计算机思考和推理能力越来越强，越来越接近甚至超过人类后，可能造成的后果提出了严正警告。

同时，也有很多计算机专家、心理学家和其他一些研究人员认为，从研制有思考能力的机器过程中面对的种种挑战来看，我们实在没有什么好担心的。具体地讲，很多从事人工智能研究的人认为，计算机程序产生意识的可能性几乎为零——不管是自主产生意识，还是通过设计产生。因此，他们得出的结论是，我们完全没有必要去担心什么天网、终结者、奇点，还有机器人带来的末日劫难[38]。

虽然智能水平逐渐增高的机器自主产生意识的可能性很低，甚至也许简直不可能，但我们还是要意识到，有没有自主意识并不是它们对我们造成严重威胁，乃至威胁到人类存活的必要条件。鉴于这一点，我们还是对这个问题慎重考虑为妙。

人工智能目前面对的一大问题，就是机器到底可不可能最终拥有意识。正如本书在前面提到的，与情感问题一样，有多少位理论家，就有多少种意识理论。对意识是否可重复的争论，就和我们体验的其他现象一样，纷纷扰扰。虽然本书在这一章中不可能彻底回答这个问题，但至少可以稍加讨论。

首先，是当我们说意识时，我们所指何意的问题。意识的概念，人们讨论或者说争论了数个世纪。鉴于“意识”固有的模糊性，对这个概念的厘清显然起不到什么帮助的效果。意识可能被细分为两种，或者五种，甚至八种不同类别，具体多少种，全看你读的是谁的作品、问的对象是谁[39]。我们权且选择其中对意识的定义比较直接的[40]，我认为纽约大学哲学、心理学兼神经科学教授内德·布洛克(Ned Block)，给出的A意识和P意识，与机器智能和意识的问题有非常强的相关性：

1. 可存取意识，也就是A意识，是头脑中允许我们将与自身内在状态相关的记忆和信息进行分离和联系的层面。换言之，就是我们存取有关自己内在生活与状态的信息能力——不管这个信息是真实的还是幻想出来的，还是关于过去的、现在的还是对未来的预期。

2. 现象意识，也就是P意识，是具有主观性、有意识体验的断续性初始体验，哲学上的传统提法叫“感质”。这个可以理解为，我们不断从周遭环境中得到的未经处理的知觉信息单元，不过想证明一个人对现象的体验，与另外一个人完全相同，仍然是不可能的。

针对这两个定义，我想提出第三类意识，或者说第三组意识。也就是内省意识，或者称I意识。它产生于可存取意识和现象意识间的持续互动。

3. 内省意识，也就是I意识，包括了自我意识，它是一种内在的、间断性的，以自我为参照的观察，包括元认知并延伸到元认知(“认知的认知”)。这是对我们自身个人内在状态近乎实时的观察和反省能力。可能有些人认为这属于可存取意识的一部分，我个人还是坚持认为，两者存在巨大差异，足以让内省意识单独作为一个种类存在。

可存取意识(A意识)，或者至少是可存取意识的一个细分种类，是这些意识中相对容易解释的。一部分人认为，我们最终能够理解这部分意识的工作机制。能够存取头脑中诸如语言以及记忆等信息，并记述出来，这种能力基本上被定义为人类特征，不过布洛克认为，黑猩猩和其他不少“低等很多”的动物也具有可存取意识。

从多种角度讲，不存在任何明显的结构或者功能上的理由，让我们认为机器就不可能获得哪怕最基本的这一类意识。不论这些系统是否有其他的智能表现，识别并对自己内部功能运转状态进行报告，对它们来说已属常态。对于历史信息，它们同样能进行处理，尤其是对其过去的记忆的提取。到目前为止，这部分信息还属于客观信息，是他人也能够提取到的。但是我们可以推断，机器的这种能力只会越来越强，随着未来的发展，变得越来越精细。也许，有一天机器的这些能力能逐渐靠近人类可存取意识的主观性功能，甚至可能会超越人类。而且，随着脑部扫描和神经信号解码等技术的发展，关于可存取意识的秘密被一步步揭开，也许我们会发现，它的主观性并不像我们所想的那么强。

现象意识(P意识)，因为多种不同原因，成为心理学和认知科学领域一个难度要大很多的问题。一种知觉的体验——不管是玫瑰的红艳、笑声的轻快，还是海的味道——的性质和基础，既难以解释，也难以证明。哲学家及认知科学家大卫·查默斯(David Chalmers)称之为“知觉难题(the hard problem of consciousness)”，试图要解释现象意识到底是什么，又为什么会出现，甚至想要确定哪种动物物种体验到了某种知觉，体验的程度深浅如何的难题，但全看你对知觉的定义如何。虽然可能是自欺，但是我个人以为，知觉是一种神经—感觉现象，其体验可能发生在大脑的中间预处理阶段[41]。因为这样，在心智包括可存取意识在内的更为抽象的功能介入之前，大脑的一部分就能先实现这个感质/现象。相信在很久以前，这种现象意识让某些动物头脑在进化上得以占据有利地位，使它们能与周边环境中的各种不同层面进行更有效的互动，加大了存活的机会。于是它便得以发展，并随着时间推移，不断精细化，尤其是对同样在进化的可存取意识的开放度越来越高，存取也越来越便利，甚至最终与社交互动和文化也形成了紧密关联。这绝不是说意识的进化是带有目的性的。换言之，它的发生并没有任何引导。就像内分泌系统或者阑尾一样，我认为意识是经历了无数世代发展，为了能让一部分个体更好地应对环境条件和生存压力，鉴于这种进化优势才通过自然选择慢慢形成的。

按照布洛克的理论，“我们熟悉的计算机和机器人，能思考却没有感觉，它们是科幻片里和哲学家所说的现象僵尸。它们的状态是有可存取意识，却没有现象意识”。正是现象意识的缺乏，让它们成了僵尸。换言之，可存取意识让它们可以推理，但是现象意识的缺乏却让它们无法去感受。

现象意识这一概念带来的一个特别问题，就是人们所说的“他心问题”[42]。这就是那个认识论上的观点，即我们虽然能观察到他人的行为，但是我们无法真正体验到他们的心境。因此除了能证明自己是有意识的，人们永远无法证明其他人是否真的有意识。虽然从哲学角度看，这种唯我主义本身就有问题，但是我认为绝大多数正阅读本书的读者，也会视这种意识是天赋才能。但是，它确实也引发了一些关于未来机器智能的有趣问题。如果某个人工智能的反馈或者行动，表明它对这个世界产生了体验，我们怎样才能确知这件事真的发生了？反过来说，就算一个足够复杂的系统没有报告任何属于形象意识的状态，按照这个定义，我们怎样才能确定它没有体验到感质呢？这个问题就像小鼠的迷宫，如果机器真有一天有这种能力——假定真有可能的话——也许在机器早已具备这一能力很久以后，我们仍会对这个问题争论不休。

最后，我们来看看我所说的内省意识或者I意识。这个应该也可以被定义为可存取意识和现象意识共同形成的一种新生特质。某种意义上讲，它也可以被视为这两种意识的子类，但我还是坚持认为，缺失了可存取意识和现象意识这两个更为基本的意识过程，内省意识就不会出现，因此我在这里还是要将它单列出来。

对很多人而言，在谈到人工智能或者机器人是不是最终有可能拥有意识时，他们所指的是自我意识，也就是能对自己的内在心理状态进行自我检视和反思的能力。从人工智能科学家的角度看，这可能是个很难回答的问题，但是由于机器测试方法的限制，要建立现象意识只会比这个更难。虽然机器可能是“游戏”式[43]误打误撞通过给定的智力测试，我们有能力对人工智能所处的条件加以严格的随机处理和控制，然后让人工智能报告出这些条件下其自身的内部状态。在这样的测试环境中，要识别是否发生内省，可能不会像证明现象意识这类真正的主观状态那么难。

要开发出一种能体验到内省意识的机器人，我觉得我们上面谈到的所有这些，倒是给我们必须做什么指出了一个方向。不妨想想，部分动物表现出了一定程度的可存取意识，至于可能体验到现象意识的动物就更多了。考虑到这一点，似乎内省意识是可存取意识的非必要分支；内省以自身为参照的本质，正是从能提取和思考自身内在状态的能力脱胎而来。如果真是这样，那么没有可存取意识，自我意识又怎么可能存在？

但是一个主体，在现象意识完全缺失的情况下，又能否获得自我意识呢？看上去不太可能。正如布洛克写到的那样：“假设现象意识是通往活跃的可存取意识之门，那么没有了现象意识，也就没有了可存取意识。”如果真的如此，那么在没有任何深入体验世界，包括体验自己内在状态的手段时，又如何能实现内省意识？按照这个逻辑，我们似乎便可以得出，要获得内省意识，可存取意识和现象意识二者缺一不可。

那么人类婴儿在多大时有了自我意识呢？针对与开始有意识思考相关的慢波(slow waves)的多项研究表明，人类婴儿在五到六个月时，就可能表现出早期的自我意识。镜子测试，确切地说是口红测试，让研究人员得以将这一年龄段确定下来。在口红测试中，研究人员在婴儿的鼻子上点了一个红点，然后将婴儿放在镜子前。正常情况下，18个月左右的婴儿，看到这个红点时会摸自己的脸，说明他们认出镜子里的是自己。这些时间段，与纺锤体神经元的出现和连接网络的建立紧密呼应。这一皮层结构，将大脑中相距位置较远的各区连接了起来，尤其是将前扣带皮层和其他与情绪、自我意识密切相关的脑区连接了起来。纺锤体神经元大约在婴儿四个月左右时出现，到了孩子一岁半左右时，神经连接已经能达到相当程度，而从口红测试来看，这也正是孩子开始具有自我意识的时候。那么如果可存储意识或者现象意识缺失，这种反应在孩子正发育的头脑中有可能出现吗？

如迈克尔·加扎尼加(Michael Gazzaniga)和约瑟夫·雷道克斯(Joseph LeDoux)那样的心理学家、哲学家和神经科学家们提出一种观点，认为心智过程是相对模块化的。同样，人工智能巨擘马文·闵斯基在《心智社会》一书中也提出，心智是由各种子流程组合而成的。很可能这些子流程(各个脑区、皮层)作为独立的单元和功能，在上百万年中各自进化。理论上讲，这些流程中有很多最终会发展出同时观察其他流程所处状态的能力，并通过现象意识产生体会，随后又让不断重复回环自身的相关知识(可存取意识)能够随时调用，从而产生不同程度的自我意识、自我监督和内省。

虽然有些人将意识视为一种神秘且相对单一的状态，而不是各种相互作用的流程所形成的生态系统，但认为有一天机器可能拥有意识的想法，真的就这么离谱吗？它们肯定不会和人完全一样，甚至可能根本没有一丁点相似之处，但是依照这些标准，它们却可能被列入有意识之列。

事实上，即便同是人类，每个人的智力和意识水平都不尽相同。虽然我们会觉得所有人或者说大部分人都有自我意识，但有一点我们也要记得，那就是像智力、情感意识和性格有众多层面一样，也许自我意识同样存在着一个谱系。以自闭症为例，运用功能性核磁共振进行的脑部扫描显示，在自我意识测试中，非自闭症患者的腹内侧前额叶皮质会出现活动增强，而确诊的自闭症患者却不会出现这种增强。研究结果显示：“那些腹内侧前额叶皮质对自身和他人在心智上区分得越开的人，越不存在幼儿期的社交障碍，而腹内侧前额叶皮质对自身和他人在心智上区分越小，甚至毫无区分的人，幼儿期的社交障碍问题越严重。”基于这一结论，我们可以假定，自我意识是以我们对他人心智状态的建模能力为基础的。这也解释了为什么很多自闭症患者存在识别他人面部表情的问题。

这些周而复始的自我观察过程，其效率因人而异，同样可能存在巨大差别。一些心智和冥想练习，甚至可能调整或者强化这种效率。另一方面，也不要本末倒置，尽管那些非常善于冥想的人，可能本来在意识的谱系中层次就比较高。

在分析了现象意识后，我们就要问一个问题：感质到底是如何实现的？假设我感知到某个颜色或者声音或者气味，那么我身体中的一系列化学级联和神经级联便开始激活，就和已成为人类远祖的那些物种一样。从进化角度讲，这些级联反应应该发生了演变并且得到了强化，因为它们的存在有利于这些动物的生存，让它们更有可能将基因传递给包括你我在内的后来世代[44]。随着这些化学网络和神经系统的发展，最终更为复杂的内分泌系统诞生了。我们体验的所谓知觉，正是这套内分泌系统，至少部分如此。一旦我们拥有了一定水平的意识，让我们能识别这些知觉，并将这些身体上的知觉归因于我们的体验，我们便开始具有表现情绪的能力[45]。虽然情绪并不是感质不可或缺的构成，但是没有了情绪，感质就不会有如此的体验深度，首先是身体上的，然后有更多认知层面的。而这种深度，又继而成为心智理论和自我意识建立的基础。现象意识的缺失(甚至是深度抑制)，就会形成哲学僵尸[46]。

在我看来，感质甚至现象意识，在任何动物身上都一定程度地存在着，只要这个动物对世界的体验，超出了进退、饮食、睡眠和性这几种与生存相关的最基本的神经化学反应。以狗为例，它们可能感受不到玫瑰的红艳[47]，但是它们在听到主人声音、嗅另一只狗的屁屁，或者看到松鼠的那一刻，会有情绪性极强的多种反应。在我的理解中，这就叫感质。

这一连串的推想虽然有点儿“先有鸡还是先有蛋”的感觉，但它确实提出了一个问题。如果人工智能真能获得自我意识，情绪是其中的一个必要条件吗？在情绪缺失的情况下，能实现真正的内省吗？我认为，在情绪完全缺失的条件下，现象意识的体验过程不可能充分实现，很可能根本就无法实现。

回头想想艾略特的悲剧故事，在第三章中我们讲到过他得了脑膜瘤，后来通过手术切除的故事。曾经的艾略特、他的情感部分和内在的自己，因为这个肿瘤而缺失了一部分。因为切除肿瘤的那台手术，损坏了对这些功能的执行至为关键的那个脑区。本质上讲，我们完全有理由说，他的可存取意识是完好的，因为那些在他得病和做手术之前就拥有的知识和专业技能，如今他仍然可以调取。但是经历了手术之后的艾略特，他丧失了很大部分的现象意识。可能他还能识别出落日的红色，但是这种红色再不会激发出情绪反应、相关联想和价值分配。虽然他可能还有部分自我反省的能力[48]，但是从达马西奥的研究结果来看，艾略特已经永远丧失了大部分自我反省的功能。

因为发生在艾略特和同类病人身上的情况，无法在控制条件下测试(那简直就是极不道德的试验)，所以很难对具体发生了什么给出明确的因果解释。他的性格发生如此惊人的变化，是因为他丧失了体验情绪的能力，还是因为正好处于同一脑区的其他一些流程被损坏了？从另一方面说，存不存在这样的病例，就是一个能进行理性思考的人，在彻底没有情绪体验能力的情况下，反而活得更好的？

对意识和自我意识的漫长发展之路，诠释的方式很多。关于意识的理论更是多得不胜枚举。笛卡尔认为，松果体是意识(和灵魂)的驻所，而且只有人类的松果体能产生意识。斯蒂芬·古尔德(Stephen Jay Gould)则坚持认为，只有人类才拥有自我意识。朱利安·杰恩斯(Julian Jaynes)则提出，意识是文明无意间生成的副产品，是晚近才出现的。他甚至提出，希腊史前文明时期的人都还不具备意识。丹尼尔·丹尼特在他的多重草稿模型中，则视意识为不断重述和解释事件过程中产生的副产品[49]。

为了保证只有我们才能体验自我意识，人类不惜如此投入赌注，真是有点儿奇怪。不论是神意造就，还是经由其他什么隐秘或者形而上的非凡渠道传达，我们当中有很多人似乎是下定了决定，要保证具有自我反思的真正意识是人类所独有的，任何其他造物别想染指。

前文我们提到，人工智能要对我们的安全构成极大威胁，似乎并不需要拥有人类水平的意识。那我们就先撇开自我意识不谈，来审视一下这样一个观点：内省意识是意志形成的必要条件。要我说，这种观点简直错得离谱。动物世界中的物种，鲜有真正具有自我意识的，从这个意义上讲，就等于这些物种中绝大多数都不具有自省意识。但是，智能水平不一的很多动物都具有意志，甚至具有一定程度的自我决定力，哪怕水平各有高下。它们的行为毫无确定性可言，完全可说是率性而为。由此推彼，就机器智能而言，自我意识就不应该被视为上面那些能力的必要条件。一个主体，不论是动物还是机器，都拥有一套内在固有的行为指令，影响着它们的行动，甚至要求它们采取某项行动。这套行为指令越复杂，尤其是黑盒子里的那些东西越复杂，它们对我们构成的威胁就越大。

我所指的黑盒子里的东西是什么呢？简单地说，如果一套足够复杂的系统，已经发展到它所做的决定或最终输出，无法根据输入信息加以客观判断的时候，这套系统就已经成了黑盒子里的东西。显然，意识现在就符合这个定义，很多不具备自我意识的动物的头脑也同样符合。各种人工神经网络也符合。很多神经网络成为实质上的黑盒子，缘由就在它们怎样把输入信息变成可用的输出信息的过程不明。虽然如果下大工夫，也许可以从这些系统里推定、推断出一些规则，至少是一定程度上推断，但实际上它们还是黑盒子。最近包括DRAPA在内的一些机构，在尝试让人工智能将它们的推理过程“解释”出来，但是这种方法能否成功，现在还很难说。

还有观点认为研制拥有类人类智能的人工智能难度太大，甚至毫无可能。这种观点很普遍，同时也是一种很常见的错误。很多人把人类智能、类人类智能的人工智能和人类水平的机器智能相互混用，而其实这几个概念的定义是存在明确区分的。

如果能通过人工手段生成真正的人类智能，也许永远也不可以脱离生物基质存在。就算能脱离，也不能长时间脱离。类人类智能的人工智能也是一样。想造出与人类思维模式一模一样的人工智能，难度会非常非常大，因此花费的时间会很久很久。

但是，要创造智能机器，为什么一定要模仿人类呢？打个比方说，如果当年莱特兄弟造飞机的时候，一定要让飞机的飞行原理和鸟的一模一样，那会是什么情况？可能我们现在还等着动力飞行器发明，商业航空飞行肯定就更不可能存在了[50]。

真正飞起来的飞机，不是模仿鸟类去克服地球引力，而是利用人工材料，去操控鸟类天生就知道如何操控的那些力的作用规则，推力、升力、阻力等。最终发明出来的这种飞行工具，不断在速度、高度和持久度上超越长着翅膀的鸟类。诚然，鸟类在提速和空气动力学某些方面能达到的水平，这些机器无法望其项背，但这正是我们要说的重点。人类飞行和鸟类不一样，甚至连类鸟的水平都达不到。但是，从多重意义上讲，通过科技手段实现的飞行，不仅达到了“鸟类水平”，甚至远远超过那些带给我们灵感的自然造物。

从天然结构和系统中寻找设计灵感的方法，在今天被称为仿生学，这种方法有时候非常有效。尼龙搭扣、符合空气动力学的汽车、会自我修复的塑性材料，是自然界赋予我们灵感，催生出各种各样的发明创造。然而，这种做法自有限度。过于贴近自然原型，尤其是在你所用的各种材料、结构部件和自然原型迥异的时候，就不可能复制出和原来系统一模一样的东西，甚至连外貌也大相径庭。灵感的落实过于天马行空，做出来的模型太流于表面，会造成系统稳定性过低，甚至不具备该有的功用。真正的成功，需要在可能范围内选择，既借鉴自然界中物竞天择的结构特征，也要意识到手中可用工具和材料的限制程度。

说到这里，我们再来讨论人类水平的人工智能。从上面鸟和飞机的类比延伸到智能机器上，我们便不必要求机器完全按照人脑的工作机理来完成任务、解决问题。事实上，自然进化而来的各种结构和方式，是随机选择的结果，脱离不了其生物基础。非要抱着这些不放，恐怕只会成为严重阻碍。通过专门设计的、更适于硅基系统而不是生物性“湿件(wetware)”的方法，计算机已经通过一系列算法，成功完成了数字运算、图像强化和语音合成等任务，而它们所用的算法与人类的几乎没有相似之处。这种对人类能力的复制，正出现在越来越多的领域：图像识别、下围棋、测谎、产品推介。以我们的角度看，具备这些能力的设计成果“人”的色彩多强，机器完成这些所用的手段方法与人所用的截然不同。

我们也并不希望它们一样。让我们来进一步分析一下：人类智能是以生物基质为基础的，依靠的是细胞内和细胞间的通信。这些细胞高度分化、分工合作，它们所执行的更高级功能，是任何单个细胞都不可能完成的。简单地说，从功能角度讲，这种更高级的细胞功能和系统，是从其各组成部分的较低级功能中提取出来，这样这个细胞集合就不必再操心那些更为基本的操作。这种关系和独立性在自然过程中一遍遍重复，层层上推，最终产生了各种流程、器官和神经结构，它们又进一步合并、彼此关联，最终带来了不断进化的、有意识进行内省思考的生命体的诞生。

再来对比导体和硅基半导体。这些导体、硅基半导体组装构成了基本电子元件。我们再把这些元件组织起来，让它们能接收基本指令，这就是我们所说的机器语言。这些基本指令会经过提取到达越来越高的层级，即按照设计对人类来说可读性、可写性和可释性越来越高的层级。而且到了这个层级，往往就不需要再去做那些最基本的“家务管理”了。指令被合并为子程序，子程序负责指导较低级指令完成给定任务、调用和返回。子程序进而构成了模块，模块构成了程序，程序成了应用。

从上面这两个例子，我们可以看出，具体方法都是由它下面的较低级结构和流程决定的。我们在设计智能机器的时候，从生物系统中寻找灵感不是不可以，但我们要做好思想准备，因为机器系统是一个本质完全不同的系统。任何想照搬灵感的做法，必然会造成精力、运算和资源上的浪费。这还是最好的情况。如果说最坏的，那就是彻彻底底的失败。

有鉴于此，我们要认识到，任何人工发明的智能，不论所用的方法如何，这种智能都应该异于人类智能。不是好莱坞那种老生常谈的相异，而是真正的、不可想象的、无可解释的相异。这才是我们真正该害怕的地方。不是人工智能比人类聪明多少，甚至人工智能比人类全部智能的总和还要聪明多少(当然这个我们也要关注)，也不是这种制造出来的智能会不会和人类有一样的核心价值观，因为它根本做不到。我们该关心的是，我们根本没有办法像对待另一个人那样，让我们的思维方式与这种异形智能真正保持一致。结果就是，一旦人工智能真的有了动机，我们永远也不可能充分理解，甚至连明白都做不到。借句老话，就是根本不可能设身处地。

反过来说也是一样。从多个层面上看，不论机器的智能水平多高，它永远也不可能真正理解我们，正如我们理解不了它一样。这也是我们为什么要特别小心的原因之一。不是因为机器可能会具有意识，而是因为我们造它们出来，是为了要控制各个系统，对我们人类非常重要，对我们这个世界和我们的生活至关重要的系统。随着我们建造的机器越来越智能，功能越来越强大，我们不可避免地会交给它们更多任务，赋予它们更多职责，否则造它们出来干什么用？机器的复杂程度在不断提高，却又没有意识和自我意志，这意味着我们对它们这种智能背后具体的流程和逻辑一无所知。那么结果就是，什么事都可能发生，最终会出大麻烦。

另外还有一个因素要考虑，就是最终可能存留的人工智能是哪些。我们已经有了各式各样的机器，这些机器的能力各有不同。有些机器，比如各种深度学习系统，它们的能力非常强，并且明显表现出一定水平的智能——虽然还远不能与人类相比。还有些机器比较傻，可是就连它们也都显示有一点点智能水平。因为只要给定输入，它们就能给出自我决定的、而非随机的输出。

随着技术的不断进步，机器智能间的区别会仅止于此吗？我们早就知道，人类智能是多方面多层次的。智商测试中的个体差异，有40%～60%在于通用智能(general intelligence)，也称g。但这仍然只是我们总体智力的一个方面。智能还有其他一些也许更为独特的方面，包括创造力、艺术能力、直觉力、记忆力、策划力、视觉空间能力、身体—动觉能力等，当然还有其他多种能力。除了这些，还有我们个体性格特质的方方面面，都是让我们表现独特的因素：自信、内向/外向、同理心、疑心、敌意、韧性等。所有这些，都参与塑造了我们的精神世界。此外还有情商，也就是情感智能，近几十年来也开始受到越来越多的关注，因为很多人能有成功的人生，情商在其中发挥了重大作用。这个我们后面会谈到。

如果用同样生物材质创造出来的人类，一样的DNA指令创造出来的人类，彼此间都有如此巨大差异，又怎么能期望机器智能一定就没有差异呢？尤其是如果机器智能的创造过程中，设计、配置还有最终的复制方法都不相同，那么我们创造出来的就不仅是独特的实体，而且是真正的独特物种。从这个角度看，智能又可能会有多少变种？几百种？上千种？上百万种？我们这里说的不是个体特性的差异，而是更类似于物种间的差异：黑猩猩和蚊子的心理距离、扁虫和鸭嘴兽之间的差异。

想对机器智能的生态系统有更直观的认识，不妨看看这个星球上繁盛的生物物种多样性。植物、动物、细菌和病毒，构成了一个彼此依赖的巨网。其中每一个都处在进化之中，在巨大的生态圈中偏占一隅，拥有一个机会空间。它们也因此得以在能量消耗最少的同时，最大限度地获取资源，这是物种能成功生存的主要因素。而机器，不论是过去由人类创造出来的，还是未来自我复制出来的，在这方面就真的能截然不同？

自然选择需要变异来推动。自然世界中，变异发生的速度相对稳定，但是技术性的智能却未必如此。进化计算，是以基于进化论的算法进行计算。进化算法通过再生、变异、重组和优胜劣汰的应用，寻找问题的解决方法并不断优化。这些方法已经进入应用，它所产生的解决方案是人类工程师永远也不可能想到的，比如美国国家航空航天局埃姆斯研究中心为太空技术-5(ST5)计划和其他项目设计的高度优化的演化天线，还有新药发明、神经网络训练和消费产品设计等一些应用。这只是简单举几个例子而已。假如处理资源充足，那么这种快速研究指定问题空间以找出最佳解决方案的方法，可能成为产生新型机器智能的强大助力。

那么，超级智能为什么要创造其他智能来与自己竞争呢？姑且先不考虑超级智能异于我们，因此它这样做的出发点也许不为人知。它们这样做的原因，很可能是在生产代理。这些代理也许会被用来完成任务、采集能量或者探索空间，就像我们现在制造数字助理来为我们做越来越多的事情一样。不管到底是出于什么理由，由可能出现的各型智能构成的生态体系很可能会迅速发展起来，这才是问题的关键。

在人工情绪智能的创造过程中，如何对它进行培养也是需要我们考虑的问题。环境条件对人类和其他动物的成长至为关键，对于人工智能应该也是一样，尤其是这个人工智能也许能理解，甚至有可能体验情绪，那就更是如此。

朱利安·杰恩斯以大量的文字、流畅的文笔，阐述了他的意识观点。他主张，我们所说的意识是直到很晚近才产生的，意识是正常的认知结构、恰当的文化条件和适宜的环境压力综合作用的结果。尽管很难进行确切的证明，但杰恩斯通过大量文学、艺术作品及旁证，提出了非常有力的论点，尽管也激起了很多争议。另一方面，布洛克则与杰恩斯认为自我意识/意识是一种文化建构的观点意见相左。布洛克反驳说，既然我们的先祖拥有与今天人类相同的认知结构来产生可存取意识和现象意识，怎么会没有自我意识？

布洛克说的也不是没有道理，但只要看看有多少研究成果证明不同环境对心理发展的影响，我们就会发现杰恩斯的理论也有合理的地方，即便是从布洛克的模型角度去看，也是这样。因为环境塑造意识。

想想野孩子的故事，比如德国野孩卡斯帕·豪泽尔[51]和法国的阿韦龙野孩[52]。他们都是邪恶抑或严酷环境悲剧性的受害者，在完全缺失正常人类社会影响的环境中长大。这些孩子的成长受到了严重阻碍，以至于他们再也没能完全恢复，或者说融入社会。可是话又说回来，谁会质疑这些孩子是有现象意识的，是能通过他们的感官体验和理解这个世界的？也许因为文化语境缺失，他们的理解缺少了某种深度和细腻，但是我们却不能剥夺他们体验到玫瑰之红艳的能力。不仅如此，他们也同样具有可存取意识。否则，他们怎么可能生存下来？

如果这些野孩子曾经真的完全与世隔绝呢？假设是极端状况，他们完全接触不到任何感官、世界和任何形式的他者，他们会变成什么模样？他们还能成长起来吗？还是会直接失去活力继而死掉[53]？抚养他们长大的世界虽然很不理想，但不论怎样还是一个世界，还有他们可以与之互动的东西。从这个角度讲，他们的意识(或者意识缺失)发生严重改变，就是他们所处环境造成的直接后果。

如果把一个真实的、智能足够高的精密机器、人工智能或者机器人完全彻底地隔绝起来，不让它接触任何人、任何事，不受任何感官的影响，会是什么结果？它会怎么发展？反过来说，接触广泛而丰富的早期经验，会不会影响它以后与世界的交互方式？对后面这个问题，我敢打赌答案是“会”。

现象意识从定义上就必须是双向的。为了体验到现象，现象必须首先能够被心智捕捉。没有现象意识，没有情绪或者体验和解释世界，一个世界或者任何世界的能力，人、动物或者任何智能又会置身何地？还能有比这更隔绝孤立的吗？

人工智能科学家本·格泽尔(Ben Goertzel)在《心智—世界对应原理》(The Mind-World Correspondence Principle)一文中，提出了通用智能的理论，(用最通俗的话说)就是将世界——状态的序列，在智能发展的过程中绘制到心理——状态的序列中。从多种意义上讲，这也正是我们出生后心智慢慢成熟所走过的道路。世界的所有构成因素，包括实体的、心智的、情感的、社会的以及文化因素，都被绘制到了我们不断成长的头脑中，生成了丰富的内在现实，并随我们的外在现实发生调整。从对地球重力直觉的理解，到何种情绪和社会行为可以被接受，再到深植于心的宗教信仰，都是通过学习和体验接受下来，是根据我们具体所处的文化和世界环境，对我们的智能进行优化的过程。

正因如此，即使一种环境和另外一种环境之间重叠部分可能很大，但差异仍是不可避免的。如果一个人当下所处的环境与他成长的环境存在巨大差异，那么这些差异可能导致严重的误解和混乱。

假设我们想让不断变得更加智能的机器，尽可能地与我们的思维方式接近[鉴于机器智能所用的基质(substrate)完全不同，所以只能尽力而为]，那么在类似我们自己所处环境中“抚养”并教育它们就应该说得通了。显然，其中会涉及多种不同因素，但是最为基本也最重要的一条，应该就是在我们的成长岁月中，呵护我们，帮助我们社会化的情感环境。虽然希望这种方法对非生物的智能形式有所帮助可能是期望过高了，但也许值得一试。

在提高机器和我们的兼容度上，情感将起到非常重要的作用。在迈向我们希望能拥有的共同未来的过程中，兼容对于人机之间更为健康的互动必不可少。之所以说“希望”能有的，是因为人类没有技术就不能发展，可是很快技术也许就可以抛下人类，独自前行。而避免这种情况的发生，目前最符合我们的利益。这一点我们将在下一章亦即最后一部分进行讨论。