东京银座,2027年5月17日

新潮的商业区。一个穿着时尚的年轻女子正沿街浏览着店铺橱窗里的商品,想买一只新包。她的路易威登眼镜,在她看到的街景上,加了一个数据框。随着她的视线扫过橱窗,这种采用了增强现实技术的眼镜,会给出橱窗里各种商品的价格及用户评论。

女子走近一家店铺,店铺的临街摄像头将女子的影像录了下来,并将信息传输给了店铺的主电脑系统。从那儿信息又被转往多个数据分析服务系统。这些系统几乎即时给出了该女子的身份及可能的购买习惯等信息。在分析了女子的着装后,计算机得出结果,如果给她一些折扣,她有73.6%的概率会买店里的一条裙子。于是一个服务软件迅速生成了一个该女子穿着这条裙子的三维可旋转高清影像,还配上了别的一些物品和配饰。因为这个年轻女性订制了当地的一些优惠券服务,店铺可以把这条个性化广告直接发到她的墨镜上。

女子扫了一眼发来的广告,不怎么感兴趣。计算机通过对她表情、动作和步态所做的实时分析,得出她很可能已经有一条类似的裙子了。如果不是这个女子之前选择不允许商户卖家分享她社交媒体账户内的信息,计算机早就知道她有类似裙子了。不过,店铺的计算机系统也就只需要这点信息就够了。几毫秒之后,它就从大数据分析服务系统收到一条最新信息,这位潜在卖家有92.7%的概率购买店里刚到货的新款皮衣。很快,第二条广告信息被发送到了女子的墨镜上,那是她穿着那件皮衣的效果图,附带三十分钟内购买有折扣的优惠券闪烁不停。整个信息交换过程在数步的空间内就完成了。尽管女子尽量想做到不动声色,但她的表情已经透露出她对那件皮衣非常感兴趣。没一会儿,她就走进店里,很快交易成功。

传感器在我们周边日常环境中的应用越来越广,这就产生了我们常说的物联网,再加上大数据分析的预测能力,我们与世界的关系已不同往日。然而这种改变并不是都经得起推敲。隐私、自主甚至自我决定等问题,在探讨这些侵入性技术时屡被提及。光是这些听起来就已经让人不安了,如果再加上对情绪反应快速读取、解释并做出相应回应的能力,侵入性技术只怕是变本加厉地侵入生活了。

就以上面的场景为例。能读懂购物者非语言反应的能力,让店铺的计算机系统可以完成一个实时的交流反馈环。据此,基于规则的软件就可以马上改变策略,诱导她进入店铺,实现出售商品的目的。如果店铺的第二次尝试没有成功,那么它还会继续生成其他的后续步骤。驱动店铺决策的,是购物者自己都可能没有意识到的感受和心理动机。而以时间衡量所有这些处理过程,速度比人类的思维过程何止高过一个数量级。

的确,购物者经常受到游说买下本来不想买,甚至根本有违自身利益的商品。但是这种能时时与我们基本感受互动的能力,会让这场游戏朝着操纵与被操纵的方向发展。双方也从某种相对平衡的关系,变得更像捕猎者与猎物的关系。

如我们早前提到的,广告界和营销界已经开始将情感计算投入运用。随着这种技术越来越普及,应用越来越便利,它早晚会被用到所有与人类有互动的计算机上。我们可以希望这些应用能有一套职业道德规范,希望人人都遵守,但是不能想当然地认为这一定能实现。事实上,不管这种规范是正式,还是非正式,要求每个人都同样严格地遵守也不太可能。

还有更麻烦的,上面提到的这些技术还会继续发展,让应对变得越发困难。目前就算是全球最大的实体店想达到假想场景那样的技术水平也还缺乏相关技术实力。不过这是立足今日看到的有利局势。虽然情感计算目前尚处于应用早期,但已经开始被用作一种市场调查工具。今后,随着计算机的计算功能、网络带宽和算法的不断改进,能感知情绪的计算机系统也许终会出现,让销售方运用起这些技术更加毫不费力。

假定买卖中有利可图(而且肯定会这样),那么最终这些能力就会演变成一套服务体系,就是现在我们常常谈到的“软件即服务”。只需支付一笔很合理的费用,公司企业就可通过这种集成服务完成多种任务,而不必自己去开发软件建立数据库。面部识别、3D扫描、情感计算还有增强现实等技术中很多较为复杂的部分,都可以通过这种服务来进行提取和自动化处理,继而让商家能实时与匆匆路过的客户实现交流,容易得就像你我发送邮件,或者检查文档拼写那样。

这个很令我们担心,因为这种情绪操纵可能发展到极其严重的地步,造成商家—消费者的关系严重失衡。你可以设想一下,你正在汽车专卖店的展厅,接待你的销售人员能力颇不一般。你想买车,车本身是笔不小的投资,你自然想要最优惠的价格,不愿多花一分钱。你们两个谈来谈去,彼此都在揣摩对方心思。你在想能把价格压多低,销售在想我在价格上让多少,既能做成生意,还能卖个最高价。最后,双方都感觉价格合适了,就会在价格上达成一致,然后车就是你的了。

我们再来想象一下,如果你的谈判对手既能读懂你的非语言线索并又能做出回应,甚至反应速度还是光速,正确率又爆表,这会怎么样?你真觉得等你走出展厅的时候,你的钱包还能和现在一样鼓?我猜不会。

又或者你在一家公司已经干了不少年,早该加薪了。你安排好要和人事谈一谈你的加薪问题,结果人事不是派一个人来和你谈,而是让你坐下来和薪资谈判软件谈。你把应该给自己加薪的理由一条条摆了出来,包括你的诸多优点、给公司带来的价值等。但是,那套薪资谈判软件不仅能马上调出你的日常表现,把你当时的不足一个个指出来,更能迅速而正确地读取你此时的自信度、不确定、尴尬和沮丧等多种情绪体验,这还只是简单举了几个而已。你觉得最终结果是你得到了应有的加薪呢,还是证明了每年花钱续费那套谈判系统的使用许可确实挺值呢?

还有社会上那些弱势群体又会怎样?经常有老年人上当受骗,而这些骗子所用的伎俩,让更年轻、更明白的人不禁摇头叹息。的确,有关衰老的神经科学研究表明,老年人对与信任相关的线索敏感度降低。另外还有一点我们同样不能忽视,那就是他们对自己所处的这个新世界缺乏了解。一般而言,使用者从小就接触那些技术,其熟悉度和熟练水平会高于其父母和祖父母。在如何应对这些技术上,那些使用者觉得是常识的,对他们的父辈和祖父辈未必是常识。对于像情感计算这类的技术,我们完全可以想见,老年人在面对互动或交易时,比他们的孩子不知要天真多少。有了能随时读取和解释老年人感受的能力,这些骗子就可以利用自动系统大骗特骗。骗退休老人买些不清不楚的投资,好飞快地把他们银行里的钱吸干,或者操控孤零零的老年人让他们把自己写进遗嘱变成受益人。这些可能不过是冰山一角。

要是你不相信,觉得这种事情不可能发生,那么不妨看看下面发生的这件事,权当提醒。2006年,有个叫罗伯特的中年离异男子,进了一个交友网站,想认识些女性。在和几位女性互发了几条信息和邮件之后,罗伯特决定与一个叫斯维特拉娜的女子交往。这名女子身材窈窕,一头金发,长得很漂亮。她的个人信息上说她就住在加利福尼亚,和他住的地方离得不远。虽然她的英语不是很好,但是她给罗伯特发来的邮件总是很暖心,显得深情款款。然而,没过多久,斯维特拉娜觉得不能不跟罗伯特说实话了。其实她不住在加利福尼亚。她是地道的俄国人,住在下诺夫哥罗德。罗伯特自己的爷爷奶奶、外公外婆都是从俄罗斯移民到美国的,所以这一点罗伯特根本不在乎。这只是他们之间又多了一层牵系而已。

在交往的几个月中,罗伯特和斯维特拉娜有很多封电子邮件往来。罗伯特对斯维特拉娜越来越喜欢,尽管每次他要求两个人通通电话,斯维特拉娜都不接茬。最后,在书信往来了将近四个月后,罗伯特决定要飞过去看她。但眼看着动身的日子越来越近,罗伯特却开始产生了疑虑。他总觉有什么不对劲,斯维特拉娜的邮件除了英语不好,似乎还有些古怪。于是罗伯特决定给她发一封测试邮件:

asdf;kj as;kj I;jkj;j ;kasdkljk ;klkj

‘klasdfk; asjdfkj. 爱你的,/罗伯特[24]

斯维特拉娜回了一封长长的邮件,一直在讲她妈妈,对前一封信的不知所云只字未提。看到这个,罗伯特才猛然意识到,原来这么长时间他一直都在和聊天机器人,即专门设计来与人交谈的机器人交谈。

你可能觉得,罗伯特这么容易上当也情有可原,毕竟谁都有被情绪化、一厢情愿、孤独、冲动等情绪蒙蔽的可能。然而这个罗伯特是罗伯特·艾普斯坦博士,曾担任心理学专业期刊《今日心理学》杂志的总编,出版过多部关于情感关系与爱的著作,还是人机互动领域尤其是聊天机器人领域的顶级专家之一。事实上,20世纪90年代,艾普斯坦博士还曾主导人工智能领域的罗布纳奖。这个一年才举办一次的比赛,就是让评审来区分对话是来自电脑软件,还是真人。

事情还没完。罗伯特承认,在第一次上当之后不久,他又上了一次当,被另外一个聊天机器人骗了。这次,连上当这件事都不是他自己发现的,而是设计那个聊天机器人的英国程序员直接联系了罗伯特。那个程序员给罗伯特写了一封邮件,说他知道罗伯特是谁,他要告诉罗伯特的是,这么长时间他一直保持交流的对方是一款程序软件。

没有人知道现在有多少聊天机器人渗透到了各个交友和社交网站,但专家们认为应该有几百万之多。近年来,这类软件无论是数量上,还是复杂程度上都进展可观。根据2014年的一次调查结果估计,现在通过机器人,也就是各种设计来从事高度重复性工作的程序所产生的流量,占互联网总流量的65%。调查指出,在这65%的流量中,良性的大约占一半,但是还有30%来自恶意僵尸程序:网页爬虫工具、黑客工具、垃圾邮件发送工具,还有就是伪装他人的诈骗工具。这份研究估计,互联网流量中超过两成是由各种拟人程序产生的,包括聊天机器人在内。在网络犯罪日益猖獗的今天,这种程序正被广泛用于各种用途。

那么,随着人工智能的设计越来越复杂,对情绪和非语言线索的解读和反应能力不断发展,它会使人处于何等弱势地位?

随着情感计算技术不断扩散,并在不同领域找到用武之地,我们很可能将一路不断遭遇成长的烦恼。情感计算技术如果被用作执法和情报采集工具应该会卓有成效,因为我们需要理解犯罪分子和嫌疑对象的行为,并对其行为做出预估。但是这些技术会不会改变或者增加政府服务部门侵害公民权利的潜在风险呢?这种侵害现在看起来已非耸人听闻了。

当然如果得到情感计算工具帮助的是保护大众的人,就会有不少益处了。警察、情报人员还有边检人员,他们在工作中经常要面对欺骗行为。说到底,欺骗是一切犯罪的基础。没有这个基础,绝大多数犯罪或者无法实施,或者很快就会被发现。所谓欺骗,是指以造成或延续错误观点及信念为目的的故意而为的信息传递。能看穿欺骗行为,准确地把握其在过去、现在和未来的意图,当前仍然是执法活动的基石。而能准确量度或者解读情绪的技术,在这方面无疑会是强大的助力。

物种内部的成功互动需要一套互惠的机制体系,也就是说社会单元内的任何个体都不能具有对其他个体不公平的竞争优势。有了这一假定,才可能产生交流和社会凝聚力。我们在与其他人互动的大多数时候,都秉承着一种信念,就是他们对我们讲的是真话。没有这种信念,交流就不只是无效,很可能还一无是处。正因如此,心理学家认为,大多数人的行为都依据信以为真的真实性偏见,那就是倾向于相信其他人正在据实以告。这种默认极大地提高了交流的效率。

同时另外一些研究者也指出,欺骗很可能(而且也将继续)在自然选择过程中扮演着一定角色。欺骗得手可能带来的好处,让人们觉得值得冒险去这么做。有时候,情况说不定确实如此。欺骗的手段和方法多有不同,但有一点是共通的,那就是有意打破权利关系(relational power)的平衡从而对犯罪者更有利。

基于206份文档和24483份法官记录的一次大规模综合分析研究结果表明,在评估人是否在说谎这方面,甚至包括警察和法官在内的所有人,判断正确率都不比随机瞎猜高。人们对真话假话的判断正确率平均仅为54%。有趣的是,尽管绝大多数人都依据真实性偏见行事,执法人员则是向相反方向倾斜,他们有点先入为主地依据谎言性偏见。但无论是哪种,其正确率都与另一种不相伯仲。在另一项研究中,509名受试者全部为执法人员,分别来自美国特勤局、中央情报局、联邦调查局、国家安全局和美国缉毒局等机构。结果在判定目标是否在撒谎时,只有特勤局的表现突出。即便是这样,特勤局人员的正确率也不过是64%而已。

这也就难怪很久以来人们一直在寻找可靠的测谎方法。浸刑椅和火焚巫师的办法略去不提,以科学手段来判定一个人是否在说谎到19世纪后期才开始出现。在那个时期,涌现出一批能检测人身体反应的发现和发明,最终结合成为现代测谎仪的一个早期版本。测谎仪,又名多种波动描记器,是约翰·拉森于1921年在美国加利福尼亚州伯克利发明的。它能同时记录并显示出测试对象的脉搏、血压及呼吸频率上的变化。

多年以来,测谎仪经过了多次改进,最主要的一项就是加上了对测试对象皮肤电反应的监测。到了20世纪晚期,各种算法和软件的出现,让人们可以更好地分析测谎仪输出的数据。今天,测谎仍然是核查事实、揭露骗局的最佳和常用的技术方法之一。

然而,测谎仪的效度仍然存在很大问题。由于测试结果不够稳定,导致人们对结果产生了许多争议。而且,有些人虽然说的是真话,但也会出现兴奋反应,而测谎仪无法将这种兴奋和说谎者区分开来。还有一个问题,就是有些人能够通过训练,控制自己的身体反应不自动出现波动泄露心机,从而蒙混过关。正因为存在以上种种可能,所以很多法庭和执法机构并不将测谎结果视为可采信的证据。

从犯罪预防的角度讲,还有一个问题,就是测谎仪无法远程应用在测试对象身上。要使用测谎仪,必须将设备直接连在测试对象身上。

随着情感计算技术的出现,这种局面可能很快会有改善。面部识别等支持技术已经在各大城市广泛应用。无论是实体店铺、广告牌、体育馆还是街道,到处都有闭路摄像头。在部分城市,数字广告牌已经可以根据观看者的性别、种族和年龄段推送个性化广告。像浸入实验室公司(Immersive Labs, 2015年该公司被专业从事面部识别的Kairos公司收购)生产的数字广告牌,在光线均匀的条件下,于25英尺外即可完成这些信息的提取,一次可分析的观众人数多达25人。智能电视、装有微软Kinect技术的系统或网络摄像头,都可以通过设置,测定出设备前或站或坐着的那个人的体貌特征及其他一些细节,继而启动个性化内容和广告的推送。在英国全境近600万闭路监视系统的图像调取上,面部识别技术的应用已趋于常规化。

这一切还只是开始。截至2015年,耗资10亿美元的联邦调查局数据库“新一代识别系统”中,已收入近三分之一美国人的面部识别信息,以及指纹、掌纹、虹膜等其他生物特征信息。同年,《华尔街日报》报道称,情绪检测公司Eyeris“将软件售予多家未指明名称的联邦执法机构用于审讯”。随着计算机的处理能力越来越强大,越来越无所不能,直接的面部识别会逐渐被实时的情绪识别所代替。与所有模式识别技术一样,这一技术也会在相对较短的时间内迅速发展起来。

显而易见,执法人员早就需要能帮助他们正确解读情绪、识破骗局的工具。如今,经过了这么多年的发展,这项技术终于做好了跳出这一步的准备,众人的期望不日也许成为现实。那么执法人员对这一步是会热情欢迎,还是会出于对隐私和公民权利的担心而拒绝使用呢?答案十之八九会是前者,至少刚开始的时候会是如此。但是美国公民自由联盟和电子前线基金会这类机构,必然会对隐私和公民权利问题表示忧虑。

说到个人安全问题,公众一次又一次地以行动表示,假如放弃部分公民权利确实能带来对自身更好的保护,公众还是愿意在权利上做出稍许让步的。从“9·11”恐怖袭击后,《爱国者法案》没有充分讨论就得以通过,还有2006年《恐怖分子监视法案》草案下无证监听的进一步广泛使用,都证明了这一点。但正如人所常见的,这些工具总是难以避免滥用的命运,而一旦被滥用,势必激起公众情感的强烈反响。

可远程解读情绪的工具,可以被用来操纵人的行为。对此我们必须给予重视。潜伏任务中所谓诱捕的概念是否会需要重新定义?审讯者为了让机器判定有罪的人供认不讳,又会使出怎样的手段?

还有虚假记忆的问题。研究表明,情绪夹杂于记忆的形成过程。负面情绪尤其会加大虚假记忆形成的可能。换言之,就是让人坚信他/她自己记得某件事,但其实这件事根本没有发生过。为了达成某种目标,如获取口供等所设计出的情绪读取系统,不论是有意还是无意,都有可能形成反馈环。没有充足的防护措施,紧随每个非语言反应而来的一连串讯问,无意间就可能促成虚假记忆的形成,最终变成了逼供。另外,还要考虑到计算机是不知疲倦的,而人类却不可能做到这一点。随着人变得疲劳,弱点也会显露得越来越多,最终让审讯者得偿所愿,拿到想要的供述。

尽管很多民主国家都有保护公民权利的一些防护机制,但是这种监视和审讯手段被滥用的风险仍然很高。而一旦出现滥用,最终就会形成反噬。公众情绪最终哗然的转变,可能导致该项技术在这些领域的全面禁用。但是,我们也多次看到了,对技术实施禁用,只会把它推进隐蔽的地下市场,而在地下市场根本不存在所谓规范,滥用的风险只会有过之而无不及。

在一些社会里,个人的基本人身安全和自由都无法得到保证,一个独裁者或专制君主会极力推行任何保全和巩固其权力的工具。基于此及其他一些原因,我们应对将情感计算用于战争有所忘掉。

还有信息收集的问题。情绪识别技术是否会改变所收集的信息的真实度?交流反馈环会让收集来的信息更可靠了,还是不再可靠了呢?

也许我们将面对一个新的战场。这类武器在道义上是否能站得住脚?审讯犯罪嫌疑犯不可使用情绪机器,基于同样的原因,利用情感技术来审问间谍和战犯,也无异于对他们实施了非人道的对待。我们的思想,是最私密、最宝贵的。篡改人的思想、植入虚假记忆、将一个人的关键特征进行有效改写,这几乎等同于彻底毁掉了这个人。想想这些为了保护我们的战士,会不会有一天真的需要和我们签订一个情感技术日内瓦公约?

或许还有一个问题是政权利用这类技术对付平民,甚至是本国公民。因为确实存在心理侵入的可能,那么宣传到什么程度就会越界变成了对人权的侵害?随着情感计算能做的事情越来越多,用途越来越广泛,我们是否有技术上的防范措施,来禁止或阻断此类侵害的发生?还是人们只能完全仰赖相关法律法规来约束这些问题?

最后,情感计算技术对选举的自由与公平又会造成什么影响?操纵情绪,在争夺政治权利的战场已经被视为公平合理的手段了,但是如果开始用上机器操纵我们的情绪,那又会怎样?这些机器还可以随时公然胁迫我们。等选民对自己的观点和感受到底是不是自己的都已经不确定时,还谈什么选举的自由和公平呢?

这些真的会全部或者部分成为现实吗?对于新兴技术,人们很容易因为这个技术不够精细、不够强大,或者一眼看不出有什么价值就把它抛到一边。但是,我们前边已经谈到了,技术发展的特征和其呈几何级增长的发展速度,决定了技术可能迅速成熟,并成为催生转变的动力中心。摩尔定律、克莱德定律、梅特卡夫定律等都指出,我们这个人造世界的很多方面都在以几何级数的速度发展。有鉴于此,我们很难眼见情感计算技术,觉得它就不会遵循这样的发展轨迹。

可以看出,这项崭露头角的技术,一旦被滥用,就有可能对我们的社会造成极大危害。产生的问题之严重、涉及之广,需要我们认真思考,多方沟通。虽然具体的解决方法远不是本书的探讨范围所能包揽,但审慎起见,我们从现在起就应该开始讨论——趁还有机会能决定情绪机器的发展空间。