看得见的算法才能信得过。

——唐纳德·克努斯(Donald Knuth)，计算机科学家

离神秘每近一步，就离理解越远一步……不可知性也许是具有自我意识、能够自我完善的软件的不可避免的结果。

——詹姆斯·巴拉特(James Barrat)，

《我们最后的发明：人工智能与人类时代的终结》

一个明媚的夏日早晨，按照约好的时间，你去一家评价很高的本地诊所做常规体检。你进门时感觉良好，然后抬起胳膊，说道：“医生，我做这个动作时这儿疼。”医生回答说：“那就别做这个动作了。”两人一起笑出声来。不过几个检测一做，你的情绪就变了。你的内科医生，和蔼可亲的老卡尔弗顿·史密斯(Culverton Smith)有些坏消息要告诉你。

“恐怕你得塔帕努利热(Tapanuli fever)的风险很高。”史密斯医生说道，“这病是致命的，好消息是有种药能预防这种病。我建议你立刻开始服药。这药会让你头晕、易怒、有时还会犯恶心。但和得这种病比起来都不值一提。”

你震惊了。“这种病我从没听说过。”他潦草书写处方时你抗议道，“你怎么知道我有得这种病的风险？”

史密斯医生给你看了一张电脑打印出来的报告，满纸都是费解的数字和术语。但他指着表格底部附近的一行文字：塔帕努利热：17.88。“风险系数太高了，”他解释，“我们要降到5以下，吃药能管用。”

“但这数字是哪儿来的？”你问道。

史密斯医生耸耸肩：“我们的新人工智能系统算出来的。这个系统最近太流行了，里面内置了1000名顶级诊断医师的知识。它的结果没什么好质疑的。我是说，如果你还想活下去，最好照它的建议来。”

你带着处方离开了。但在开车回家的路上，你无法决定是否要在药房门口停车。你相信技术，相信机器学习的奇迹，可是你真的想忍受头晕、易怒和恶心，只为了不患上史密斯医生的电脑软件说你会得的某种未知疾病吗？归根到底，你信任那个算法吗？

如果你的答案是不，那你也许要考虑下为什么。

很大程度上可能是因为医生含糊的解释。如果说，他回答你的问题“这数字是哪儿来的”时说：“下午你的验血报告说你的三种蛋白质水平过低，这些蛋白质有助于增强你对塔帕努利热的免疫力。而且去年秋天我们做的基因组分析显示你对一些和东南亚血统有关的症状高度脆弱。《新泽西医学杂志》的一份研究说这些特征组合在一起，会导致你患塔帕努利热的概率提高94%。软件把这些数据摆在一起，算出了你的风险系数，就是我给你看的报告上的数字。”听闻这些细节，就算你没有真的明白医生说的每一个字，你也会觉得药物治疗是令人信服的。

当然了，上面的故事是我编造的，塔帕努利热也是虚构的。[3]但正因为使用了人工智能的软件诊断疾病，按照各种各样的条件计算风险值，那么在疾病和健康这个话题上，病人和医生要如何才能信任一个算法，成为了真正的问题。研究显示，算法的透明性，是理解、接受和信任算法的关键。让人们瞧一眼算法黑盒的内部，思索一番，他们的不信任、敌意和恐惧就会逐渐烟消云散。

这个观点听上去很有逻辑性。但是否真的如此呢？透明性真是提高算法信任度的主要因素吗？这个领域的种种研究告诉你，答案很有趣……而且很复杂。

克利福德·纳斯(Clifford Nass)遇到麻烦了。他在斯坦福大学的热门课程“技术界面设计”班上的学生正在抱怨期中考试的分数。这种抱怨对教授来说不足为奇，但这次的抱怨很有针对性，而且有实质内容。上这门课的某个班的学生发现自己的成绩比另一个班的人要低得多，即使他们的文章内容都是类似的。

问题的原因不难找。两位不同的助教为这些文章打了分。因为对文章打分不可避免带有主观性，所以两位助教给的分数有区别也不稀奇。避免这个问题的方法之一，是指派一位助教为所有学生的某个问题打分。这个系统中，任意两名学生如果比较他们同一个问题的打分，会觉得评分公平，因为是同一位助教阅读了他们的答案。但纳斯没有选用这种方式，因为这个班有两百多名学生，但期中考试只有两道题，所以纳斯按照班级划分把评分的任务交给了不同助教。这个简单高效的决定带来了致命的偏差因素，引起了学生们无可厚非的异议。

纳斯本可以简简单单地让个步、道个歉，然后在将来的考试中按问题来划分评分任务。但作为人机交互领域的领头专家，他从中看到了一个用统计学来解决问题的机会。一名助教给他提了个建议，于是纳斯决定创建一个算法来修正这次的评分偏差。

纳斯和研究助理一起根据每一位助教对类似问题集的打分情况，衡量了他们各自的评分倾向，然后创建了一个简单的统计学模型，调整学生的分数，抵消个体评分的偏差——举个例子，如果知道了某个助教给的分数比平均数低5%，那么就给他打分的卷子都加上5%。

这次纳斯很有信心学生们一定会满意。他给学生发送了邮件，列明了他们原来的分数，和根据他的简单算法调整过的分数。本着公开的精神，他在邮件里还详细阐明了调整算法如何在最大限度上保证公平。

当学生们回以更多抱怨时，纳斯吓坏了，一些抱怨甚至比原来更为激烈。

肯定有哪里不对劲了。

这个难题的核心是纠缠不清的透明性和信任度。和算法交互时，我们知道正在和机器打交道。然而，不知为什么，机器的智能和它们模仿我们思维及沟通模式的能力，让我们把它们误当作人类。研究者们已经观察到，计算机用户在被询问如何和机器交互时，他们会使用拟人化的词语，例如“正直”“诚实”和“残酷”。这本书里我在提及算法的“行为”和它们“失常了”的时候也做过同样的事。至少我们用的语言，说明了我们期望计算机算法和我们打交道的人类一样，显得可靠、善意和公平。

这有助于解释为什么驾驭透明性的力量来促进对算法的信任，比我们以为的要难。总体而言，透明性的复杂程度，尤其是纳斯对评分透明性的失败尝试，在大型开放式网络课程(massive open online courses，即MOOC、或译慕课)中都不难见到。因为不受学生所在地和教室大小的限制，诸多大学、学院和诸如Coursera的教育平台都推出了在线课程，数以万计的学生都可参加。例如，已经有接近10万名学生参加了我在Coursera上开设的“企业家精神”课程。相比较而言，在传统的大学教室中，15年的时间只够我教授大约2500名学生。慕课的影响范围很广，但是也存在自己的问题，例如，如何积极地吸引众多和你没有互动的学生，或者如何为一个班超过万名学生提交的复杂作业(例如论文和设计稿)打分。大多数慕课课程都采用互相批改的方式，而不是让助教批改学生的文章，换句话说，要求学生为其他学生的作业打分。这种做法乍一听有点奇怪，但研究表明，互相批改的效率实际上不低于助教批改。匿名的互相批改机制通过降低偏袒性和类似的影响可以提高分数的准确性，也不需要为每一门课雇佣数百名评分者了。但这种方法并没有消除评分者偏差的问题——实际上，这个问题更严重了，因为引入了更多个性不同、倾向不同的评分者。

一名年轻的斯坦福博士生勒内·克孜尔切克(René Kizilcec)，想要解决这个评分者偏差问题。他对此感兴趣并非偶然，实际上纳斯给他提了这个建议，他也见证了纳斯班上的这场混乱。他考上纳斯的博士生时，本打算研究如何提高人们对半自动驾驶汽车的信任度。但在2013年11月，悲剧发生了，55岁的纳斯突发心脏病离世。失去了钦佩的导师后，克孜尔切克发现自己越来越想解决纳斯留下的评分难题。

克孜尔切克发现很多慕课课程都在使用某种评分调整算法的各种变体，而这个算法是克孜尔切克的一个同事创建的。有意思的是，没有一个慕课课程向他们的学生解释过这套评分策略，因为慕课的经理们不确定这么做是否明智。就算他们确定，他们也不知道是否能解释清楚。对于学生而言，赌注有点高，因为评分高低决定了他们是否能在完课后获得证书。

克孜尔切克着手开始创建一个纳斯评分调整算法原始实验的在线版本，用于测试对于影响了他们分数的算法，透明性最终如何改变学生的信任程度。他从提交了论文用于互相批改的103名学生开始实验。每一篇论文都由多位同学评分。克孜尔切克让学生们说明自己期望得到的分数。然后，每个学生都收到了一个合并分数——一组同学打分的简单平均值——和一个计算分数，即考虑到每位评分者的偏差而由算法调整过的分数。

为了测试透明性对于信任度的效果，克孜尔切克给每位学生分享的评分流程信息都不相同。其中一组学生只获得了最少的算法逻辑的透明性——仅仅被告知了计算分数。第二组学生收到了一大段文字，以解释这个简单的算法是如何调整分数的：“基于同学给你打的分数，并且针对他们的偏差和评分准确性进行过调整后，你的计算分数是X。准确性和偏差使用统计学过程进行估算，采用了让班级分数达到最优的期望最大化算法。你的分数是除了评分者打分的宽严程度以及他们熟练程度调整后的结果。”

在获取这些信息之后，受试的学生马上被询问了几个问题，评估他们对于互相批改系统的信任度。这些问题有关于对流程的了解程度(“你对互相评分系统如何计算分数有多深的了解”)，也有关于公平感、准确性，最终还有关于信任度。

根据他们最初的期望分数和最终得到的分数，克孜尔切克将这些学生分为两组：得到的分数和自己的期望值接近的一组、违背期望值即得到的分数比期望值低的一组。事实证明，这两组学生对于评分透明性的态度有天壤之别。

对于达到或者超过了自己期望值的学生，透明性的高低没有影响他们的信任程度。但是对那些收到一个不愉快的意外结果的学生而言，信任度和透明程度高度挂钩。那些失望，但是对评分流程有更深入了解(即透明性更高)的学生与那些只知道算法梗概的学生相比，对评分系统更为信任。

克孜尔切克为了解释这个结果，引入了两个理论。一个是人类在违背期望时，总是喜欢对信息进行更仔细的检查；另一个则是，只要人们相信一个系统背后的流程是公平的，即使面对负面或者失望的结果，也常常对这个系统表示满意。评分算法是针对偏差和不准确性调整的一种尝试。“我们都同意这是正确的做法，就算结果对我们而言是负面的……就算我们的分数被调低了。”克孜尔切克说。这意味着只要他们接收到的流程信息足以让他们相信系统已经竭尽全力保证分数是公平的，即便得到了较差的分数，那些学生也愿意信任这个系统。

那么，纳斯错在哪里了呢？为什么他对评分算法的深入解释没有赢得学生的信任、消除他们的抱怨呢？

答案其实在克孜尔切克实验的另一面中。实际上，克孜尔切克测试的不止两层透明性，而是三层。上面提到的两个等级被标为低级和中级。第三组学生收到的不仅仅是中级透明性的解释文字，还有同学之间打的原始分数，以及这些分数是如何被组合、被调整为最终分数的详细过程。这一组被标为高透明性。

实验结果中的惊喜之处就在这里。在所有未达到期望的学生中，中透明性和低透明性比较而言，信任度有所上升。但那些体验到最高等级透明性的学生，并没有像你期望的那样，感受到对算法更高的信任度。相反，他们报告的信任度甚至比低透明性那组还低!

这到底是怎么回事？

克孜尔切克认为，问题出在我们总喜欢将机器人格化，以及我们和人类互动时采取的社交法则和试探法上面。初次见面时，我们对要和他人建立密切的信任关系和友谊总是很犹豫，除非我们见到了证据证明他们是诚实、可靠、直率的。我们期望别人一定程度上对我们敞开心扉，不信任那些遮遮掩掩的人，所以我们倾向避开那些隐藏想法和企图的人。但同时，克孜尔切克还指出我们很多人不喜欢，也无法信任过于敞亮的人。如果有人花费大量时间解释辩护自己的动机，反而会引起我们的怀疑：“他到底想证明些什么？”

对人类而言，透明性有个“度”的问题，不能太少，也不能太多。克孜尔切克认为对于算法也是一样。信息太多和信息太少都会削弱用户的信任程度。克孜尔切克相信——他的理由经过了同行评审——在人类和算法的交互中，信任度也存在一个类似的“甜蜜点”。

克利福德·纳斯犯的错，现在我们有理论基础帮助解释了。纳斯向他的学生解释调整过的评分如何计算，原本是想通过将算法透明化来赢得他们的信任，但实际上过犹不及。在两封冗长的邮件中，他详细、精确地说明了用于计算评分的方法。举个例子，他写道：“使用手头这些数据，我们现在可以计算你的期中Q1调整分数。公式如下：期中Q1调整分数=〔(你的评分人的期中Q1错误中位数)÷(0.5×你的评分人的四分位间距)〕+4。”后面甚至使用假设的评分者和分数附上了更为详细的计算过程。

如果纳斯只给学生提供足够说明评分流程公平的信息，也许他们就被说服了，事情也不会继续发酵。而提供如此高度详细的解释，纳斯反而触发了信任反弹机制。也许这种让人头昏眼花的细节不经意间让学生们的注意力不再关注流程的公平性，而是回到了他们不满意的分数上，或是他们对真实流程的缺乏理解上，从而抵消了纳斯本想获得的信任。

用现在的流行语来说，这就叫TMI——信息量过大(too much information)。

你打算买台安卓手机，相机功能要棒，但选择太多让你犯了难：三星、LG、谷歌Pixel、HTC，还有很多其他品牌。你去了一家手机店，让店员推荐几款。她问了你一系列问题，然后向你推荐了一款三星手机，450美元。你怀疑店员是想忽悠你买个最贵的型号。她注意到你犹豫不决，于是向你解释她的推荐原因。

下面哪种解释能够缓和你对赚取佣金的店员的不信任感呢？

1.“根据您的回答，我觉得存储空间、CPU、相机、屏幕大小、分辨率、重量和电池容量是您所需要的。然后，我找到了满足这些要求的最便宜的手机。”

2.“我推荐这款是因为您在工作中需要拍摄很多照片，需要相机光学变焦能力强，低光下表现出色。您至少需要32GB存储空间。这款就是满足条件的手机里最好的。”

3.“要找到同时带有这些功能价格又在400美元以下的手机很难。根据您的需求，我决定优先考虑相机和存储空间。为了降低成本，我选的这款屏幕小一些、分辨率低一些，不过还是要450美元。”

每一句话都代表着一种不同的透明性，可能引起你不同的感受。

决策支持系统的研究会将这些解释分别标记为“怎么做”“为何做”和“权衡”类型。第一种解释描述了店员的推理过程和如何达成那个建议的一些细节。第二种则提供了建议的理由，或是背后的目的(“您在工作中需要拍摄很多照片”)。第三种则揭示了店员试图在形成建议时对多个条件进行权衡(拥有高级功能的欲望与手机价格间的博弈)。

透明性如何才能最好地加强信任感，相关的研究尚处初期阶段。但根据不列颠哥伦比亚大学(University of British Columbia)的王伟全(Weiquan Wang)和伊扎克·本巴萨特(Izak Benbasat)的研究，为了理解为什么解释的类型至关重要，你先得考虑下信任赤字的本质。

王和本巴萨特研究的是我们在第三章中谈到的那种推荐算法。具体来说，他们评估了一个代替导购员帮助人们选购商品的算法。“怎么做”解释能让顾客相信算法精通业务，这能缓解学术上所称的“能力信任缺失”。如果我们要购买专业性强的电子设备或机械设备(车、电脑、高级音乐系统或是手机)，这毫无疑问很有价值。要确认某个算法是真的拥有这些小玩意儿的专业知识还只是信口胡诌一些让人印象深刻的术语也许很困难。结果就是，我们也许会怀疑这个算法是否真能胜任自己的使命。

推荐算法也许决定要应对另一种信任赤字：被顾客怀疑自己的动机。顾客也许会怀疑算法并不是真的在为他们推荐最合适的摄像手机，而只是想拿到最多的佣金(学术上称为“善意信任缺失”)。一个“为何做”解释能够尽量减缓这种质疑。正如克孜尔切克所说：“我们信任某人的一种方法就是知道他是该领域的专家，他熟知那个领域的基本知识和原理。如果人工智能系统能分享自己的历史记录就能做到这一点。但还有个问题，我们只有当自己知道某人站在我们这一边时才会信任他，至少站在我们认为正确的那一边。”

第三个信任障碍则是“诚信信任缺失”。算法也会拥护诚信、公平和守信这些人们共同持有的价值观吗？

为了测试特定类型的透明性是否有助于克服这些障碍，研究者们设计了一个推荐引擎，要求参与者使用它为好友和家人各选择一台相机。参与者被随机分为三组，第一组使用的算法版本会对自己的选择给出“怎么做”的解释，第二组是“为何做”的解释，第三组则是“权衡”的解释。之后，每位参与者都被要求为自己选择的商品写出理由，然后完成一份调查问卷，用来评价他们对算法的信任度。

研究者们发现“怎么做”解释显著地提高了用户的“能力信任”，他们更愿意相信算法真的拥有所宣称的技能和知识。“怎么做”解释对用户的“善意信任”有轻微的正面影响，即他们相信算法是代表自己而不是别人的利益在做选择，但“怎么做”解释对于提升用户对机器的“诚信信任”作用不大。第二种，“为何做”解释显著提高了用户的“善意信任”，但对于用户对系统专业性的信任和“诚信信任”提升作用不大。最后，“权衡”解释则显著提高了他们的“诚信信任”，但对于用户对算法专业性的信任和“善意信任”几乎没有作用。

本次研究精确地识别了在给定的情境下哪种不信任占据了主要地位，然后设计匹配特定问题的解释，给处理用户不信任问题的界面设计师带来了启示。

纳斯发邮件给学生解释算法时，也许没想过解释类别的问题。他在邮件中提供了所有三种透明性。但如果能判断学生们质疑的是算法的“能力”“善意”还是“诚信”的话，他就能相应地定制自己的解释，也不会让学生们受到太多信息的困扰。

也许我也正在犯同样的错误，给你灌输太多信息了。在失去你的信任之前，让我做个总结。还需要进行很多研究和实验，我们才能斩钉截铁地说，一个经过检验的、强大的且透明化的算法协议被开发出来了。但这些早期的努力似乎给我们展示了透明性和信任度之间的联系远没有那么简单。软件工程师、界面设计师和其他有兴趣增强用户信任度的人士不能期望这个难题能轻易化解，仅仅通过在电脑屏幕上显示对于算法的解释，或是在自己的任务列表中勾选“透明性”这一项是不够的。相反，为了解决困扰着用户和算法间关系的某种特定信任问题，任何解释都需要精心设计和调整。

?????

精心调整的透明性还有另外一个好处：让算法决策更为透明的流程会逼迫程序员们更努力地思考这些决策背后的逻辑性。这是否有助于防止我们在本书第一部分中讨论的“意外后果”？虽然无甚紧要，但把透明性视作防止代码失常的潜在保障还是有危险的。一些研究者认为没有能力改变底层数据偏差和逻辑偏差的透明性只是空中楼阁而已。虽说如此，但透明性不只能用于增强信任，它也能被视作一种提高可说明性、对出问题的决策进行诊断的手段。

为了看明白这一点，我们需要区分使用算法的普通人和审计算法的专业人士，以及透明性在这两种人面前所起的作用。“两方面都很重要，如果只有一方面对了，那也没用。”克孜尔切如此克说，他强调了在如何塑造用户态度方面的研究中用户的作用。但克孜尔切克也承认这远比技术上的可接受性要复杂得多。为了管理算法决策众多不可预知的后果，我们也需要想想透明性如何辅助算法的审计。虽然非常高的透明度有可能会降低用户信任度，但对于技术人员审计系统来说却是至关重要的。

那我们如何才能达到足够高的透明性，让管理者可以有效地对算法进行审计呢？

一种提高算法透明度的显而易见的方案就是将算法的源代码——软件背后的实际文本——公布。这通常被称为“技术透明性”。这个方法听上去像是透明性的终极解决方案，然而现实中并没有如此简单。

2017年8月，詹姆斯·瓦卡(James Vacca)，一名纽约市议员，提出了一项关于政府机构使用自动化决策系统的议案。纽约市政府无法解释警员如何被分配到不同辖区，瓦卡对此甚为失望，因此提出了此议案。他很快得知算法不光做出了这些决策，还负责了其他众多市政管理决策，例如公立学校的学生排位、教师绩效的评估等。瓦卡的议案初稿遇上了阻挠。根据相关报道，最主要的障碍在于，提案要求政府机构在计划使用自动化系统来分配资源和服务时，必须公开系统的源代码。

在这个大多数算法都由营利性公司开发管理的世界中，技术透明性带来了严重的法律和经济问题。很多企业将自己的算法视作具有专利价值的知识产权，不愿公布，以免竞争对手复制。因此，强制软件公司提高透明度的一些尝试均规定，仅在问题严重的场合才对管理者或审计者公开源代码。(2012年华尔街“闪电崩盘”事件中我们就见到了实例，一个算法造成了股票市场中高达万亿美元的临时市值损失，美国商品期货交易委员会的管理者要求交易平台提供该算法的源代码。)如果由人类负责评估算法的源代码，交由管理者和审计者进行算法的研究，由他们担保算法的信誉，那么透明性的价值将依赖他们的专业技能和可靠程度。实际上，这种方法只是把对算法的信任负担转移到了评估、批准算法的专家身上。我对这种做法不抱太大希望。

技术透明性的另一个问题是，全面地对系统进行披露会使系统无法抵御攻击。举个例子，我把自己开发的用于期末考试打分的算法源代码透露给所有学生。不难想象，某个学生，假设是简吧，会仔细研究代码，找到我没有察觉到的漏洞。举个例子，也许算法会查找关键字“根据已公布的账目”作为学生做过调研的证据，于是简有意在自己论文每一段的开头都加上这句话，因此得到了全班最高分。

怀有恶意的人甚至能操纵透明系统造成更为严重的负面影响。举个例子，如果互联网公司掌握了谷歌的源代码，就可以欺骗搜索引擎，提高自己网站的排名，即使网站内容和用户的查询请求毫无关联。电子投票系统源代码的传播也许能提高公众对投票神圣性的信心，但也提供了大量可能暗地中破坏选举结果公正性的手段。

纽约市议会最终通过了瓦卡议案的一个较为温和的版本，仅仅要求建立一个事实调查小组对该事宜进行进一步研究，提出建议措施。

虽然技术透明性在经济和法律方面带来了正当的顾虑，但最重要的挑战在于，现在人工智能的本质使得技术透明性在解释算法行为方面变得越来越不相关。正如我们已经看到，现代算法很大部分的逻辑通过机器学习而创建。如今一些最复杂的系统只有寥寥数百行的代码，阅读这些代码几乎不能揭示算法做出选择的原因。

我相信克利福德·纳斯曾经尝试过的方法更好：对于算法决策背后的“怎么做”“为何做”和“权衡”提供详细的解释。考虑到预测性适应性悖论，我们又该如何做到这一点呢？程序员往往都无法理解深度学习算法背后的推理过程。在一个充斥着晦涩算法的世界，我们又有什么办法知道为什么算法批准了邻居的贷款申请却拒绝了我的申请呢？

华盛顿大学的研究人员已经开发出一种方法来帮助解释机器学习系统的各个决策。他们的方法强调了驱动各个决策的不同因素的相对重要性。例如，如果模型给学生打了73分，则研究者提出的方法将评估主要输入参数发生较小修改时，预测的成绩会如何相应变化(如果字数减少10％或减少文章引用的研究文献，会发生什么)。同样，卡内基·梅隆大学的研究人员开发了一种系统，以提高算法的透明度，并发现算法中可能包含的任何隐性偏差。该系统分析决策算法使用的各种输入参数，单独和成组地测量每个输入因素的影响，最后报告对最终决策影响最大的一组输入因素。当应用于论文评分算法时，它可以分析输入因子的变化(例如字数)如何影响最终成绩并提供解释，例如“蒂姆的考试成绩为73分。蒂姆的分数中，49％来自对评分关键字列表中所列的关键概念的内容匹配；18%来自文章超过了1000个单词的计数阈值；13%来自他的文章在适当的上下文中提到了相关的原始文献。分数的其余部分由其他几项次要因子解释”。这种分析将帮助设计人员在必要时修改程序，并为最终用户提供“怎么做”问题的答案，从而在一定程度上增强对系统的信任。

另一种方法由加利福尼亚大学伯克利分校和马克斯·普朗克信息学研究所的研究人员提出，他们一直在开发可以解释自身活动的图像识别算法。该算法分析图片后，不仅尝试对图片进行识别，还能提供文字说明。例如，如果算法识别出绘有棒球比赛的图片，它还将说明做出该决定是因为观察到了球员握住或挥舞球棒的动作。该算法提供的理由实质上是针对自己的行为向人类提供解释。

不幸的是，若要使现代算法完全透明化，还存在着许多障碍。障碍之一是，某些算法被故意设计为包括随机性元素。这种随机性(注入数据中的“噪声”)是系统公平性的来源之一。例如，考虑一下银行用于决定是否向申请人发放贷款的算法。如果少数群体成员由于算法上的偏差，而有贷款申请被拒的倾向，则在该过程中引入随机因素可以确保少数人也有机会获得贷款。然后，系统可以观察这些人中的拖欠比例，并相应纠正其偏差。随机性还使这些系统可以尝试新的决策，而不会陷入偏差循环，在这种循环中，有偏差的数据导致了有偏差的机器学习算法，从而使有偏差的决策得以长期存在。尽管决策过程中的随机噪声具有某些优点，但很难想象以下解释会让消费者满意：“即使您和您的邻居贷款申请同样良好，您的邻居贷款获得批准，但由于注入了审批程序以提高公平性的随机噪声，您的贷款被拒绝了。”

2016年，美国国防部的一个分支机构，开发军事用途新兴技术的国防高级研究计划局(DARPA)，宣布了一项有关XAI的新研究计划，XAI代表“可解释的人工智能(Explainable Artificial Intelligence)”。这个为期四年的项目将学者和行业专家聚集在一起，以创建可以解释其结果的算法和模型。项目希望创建一个新的机器学习过程，有助于生成基于解释的模型和界面，从而增加我们对算法行为的理解，包括对于算法失败行为的理解以及纠正它们的步骤。

对透明性和信任度这两个相互关联的问题的解决方案，可以使我们离那一天更近。到了那一天，不仅是提交论文等待评分的学生，或是寻求商品建议的购物者，还是无人驾驶汽车中的乘客、法庭上的诉讼当事人，甚至是寻求诊断的患者，各种情况下的人们都愿意甚至乐意接受看不见且带着点不确定性的算法的指导。