这一章中我们不关注概率在掷色子、赌场赌博和其他在自然科学中的种种应用。这一章中为了展示概率的普遍存在,我找出了它在法律、社会科学、体育运动和经济学中的应用。
法律事务
尽管20世纪最著名的英国法官之一——丹宁勋爵(Lord Denning)有一个数学学位,但是很少有律师对概率抱有好感。有关概率这门学科有关的措辞在法庭中被自由使用,这应该是令人震惊的。在民事案件(例如诽谤案件)中,陈述“概率是均衡的”就相当于明确地将分割线设在了50%。但是在刑事案件中,只有在陪审团“确认”有罪后他们才能定罪。在数字上没有共识。其中一些人在她们80%确定有罪时定罪,另一些人会在95%或者更高时确定。这些明显是主观概率。而且尽管无论在什么样的罪行判定中都使用相同的措辞,有些人会对相对较小的罪行采取较低的证明阈值。这也就是为什么比起逃票,恶性谋杀案更难以定罪。
假设一名专家证人做证说被告的DNA与在案发现场找到的DNA相符,而后者与随机选取的一个无辜者相符的概率是几百万分之一。陪审员们对这个证词的理解可能存在两个不同的问题。第一个是他们也许会认为证词等价于说在犯罪现场发现的DNA不属于被告的概率是几百万分之一。第二个是他们会将所有这些很小的数字等量齐观,即使一千万分之一与十亿分之一的一百倍是不同的。
第一个问题被称为“检察官谬误”(prosecutor’s fallacy)。很明显这个错误就相当于认为已知DNA相符的情况下无罪的概率,与已知无罪的情况下DNA相符的概率,是相等的。这是个逻辑上的无稽之谈。已知轮盘赌轮是公正的时候,转到0的概率与转出了0的情况下赌轮公正的概率并不相等。向陪审团提供与犯罪现场DNA相符的市民的数量会避开这个陷阱。在有大约6000万人口的情况下,如果相符的概率是两百万分之一,就会有30人左右相符;如果概率是两千万分之一,大约有3个人相符,不太可能超过半打。但是不要忽略了“随机选取”这句话:与罪犯亲缘越近的人,越可能相符,这个证据对被告不利的程度就越弱。
通过考虑到贝叶斯公式计算证据有效性的方法,可以避免第二个错误。在这个证据呈递之前,你对被告是否有罪有一定的看法。如果证据出现的可能性在有罪时是无罪时的10倍,那么有罪的赔率就会在证据出现之后乘以10;如果证据出现的可能性在无罪的时候是有罪的时候的3倍,那么有罪的赔率就会减少到原来的1/3,以此类推。在存在DNA证据的情况下,假设有罪时证据出现的概率经常是100%,这就让证据的影响变得清晰起来:有罪的赔率就应该乘以那个是“几百万”的具体数字。
随机化回答
一名班主任想要查明高年级学生吸食大麻的比例。直接询问无法得到可信的答案,但是一种称为随机化回答(randomized response)的技术是可用的。大意就是负责记录回答的老师并不知道实际上询问的问题是什么,所以大麻使用者就不会担心被认出而可以诚实地回答问题。
80张卡片每张都写着“我吸食大麻”,另外20张都写着“我不吸食大麻”。每张卡片都被装入完全相同的信封中,这100个信封在一个大袋子中被充分混合。学生们应该看到这些操作,所以他们明白袋子中装着两种不同版本的问题和它们的比例。
安吉拉随机选择了一个信封,打开了它并自己看了问题,然后仅仅回答“同意”和“不同意”中的一个。然后她将卡片放入信封,将信封返还到袋子中,并摇晃袋子为下一个学生做准备。
假设1/3的回答都是“同意”。因为学生们都是随机地抽取信封,“同意”来自80%的使用者,与20%的非使用者的诚实回答。几行代数计算显示这与2/9的学生是使用者的情况是一致的。班主任得到了他的答案,没有单独哪个学生被认出来。
或者,把“我不吸食大麻”替换成一个无关的题目,它被“同意”的比例是已知的。如果一个早期的调查估计有一半学生拥有一只宠物,而且没有理由将吸食大麻和拥有宠物联系在一起,在那20张卡片上的问题就可以是“我拥有一只宠物”。然后,如果1/3的回答是“同意”,我们估计7/24的学生是大麻使用者。
得出这些答案的计算过程会在附录中给出。
每次提问时问的是哪个问题的不确定性致使最终估计中存在一些不精确度。装有敏感问题的信封的占比应该尽可能高,但是要足够低以使真正的大麻使用者相信给出诚实的回答不会招致麻烦。在高达95%的卡片上设置敏感问题是不会有效果的。
世界反兴奋剂机构
世界反兴奋剂机构(The World Anti-Doping Agency,WADA)致力于促进体育运动成为一项健康的活动,他们识别使用能提升表现的药物的运动员,并将之排除在比赛之外。但是无论使用什么方法,任何检测程序都可能会给出两种相反的错误:认为一名无罪运动员使用了禁药,和让一名禁药使用者通过检查。
不幸的是,减少两种错误之一的概率的方法经常会造成另一种错误的概率增加。例如,检测测量睾酮(testosterone)与表睾酮(epitestosterone)的比例。正常情况下肌体产生相等数量的这两种物质,但是那些通过注射睾酮以作弊的运动员就会有较高的T/E比。T/E比高于某个特殊的值,比如6比1的运动员,将会被禁止参赛。然而,自然情况下T/E比就会变化:它会随着月经周期(menstrual cycle)变化,如果你得流感了,它也会增加。将T/E比临界值设定得太高则没有药物作弊者会被检出,设置太低则许多无罪的运动员将会被错误地指控。
假设某一次检测出错误的概率是1%。这意味着如果这个运动员是无罪的,那么他们不通过检测的概率是1%;如果他们是禁药使用者,那么他们通过检测的概率也是1%。萨姆没有通过测试:她是无罪的概率是多大?
问题这样描述,那么你几乎会脱口而出认为是“1%”——这个测试每100次出现一次错误,所以如果她没有通过测试,出错的可能性就是1/100。你要克制这种冲动。唯一的正确答案是:“我不知道,这个概率可能是任何值。我们需要知道在全体受试者中使用禁药作弊的比例。”
比如,假设这个比例是1%左右。那么在10 000个运动员中预计有100个禁药作弊者,和9900个无罪者。在检测中,我们预计只有1个禁药使用者通过了测试,其余99个都不能通过测试。但是9900名无罪者中的1%,也就是说99名运动员,也会无法通过测试。在那些无法通过测试的运动员中,一半是无罪者:那么萨姆是无罪者的概率就是50%。
如果禁药作弊者比例不同于1%,结论就会变化。如果它升高,萨姆无罪的概率就会降低,但如果它降低,她无罪的概率就会升高。禁药使用者的比例越低,这项测试就会越不令人满意,尽管它显然表现出色。
在我们考虑如何检测出机场中的恐怖分子的时候,相同的逻辑也会奏效。无论什么筛选设备都不会是完美的,但是假设一名真正的恐怖分子规避掉这些检测的概率是很低的,比如说1/10 000,同时一名无辜的人被带进小屋进行严密审讯的概率是1/100 000。那么一个被揪住的人有罪的可能性有多大?
我们在不知道准乘客中恐怖分子的比例的时候没法回答这个问题。试作1/1 000 000——考虑到希思罗机场(Heathrow Airport)每年客流量为5000万,这高得恐怖。但是这个数字使我们确信,即使有50名潜在的恐怖分子,他们全被检测出也是极有可能的。
但不幸的是,500名无辜的乘客也将会被扣押!在那些被检测系统拦截的人中,只有少于10%是恐怖分子。而且如果恐怖分子少于50名,被拦截的人确实有罪的概率甚至更低。检测方法想要有效的话,准确性需要更高。
足球比赛结果(1)
在英国,赌足球比赛的结果会引起人们的极大兴趣。无论赌局多么奇异都会有人捧场——赌第一个球的进球时间、所有进球球员所穿球衣的号码之和、比赛中判多少次黄牌和红牌——但最引人注目的是比赛结果是主队获胜、平局、客队获胜这三种中的哪一种。一个理性的下注者会评估这三种结果各自的概率,而他是否下注、下注大小,还有赌本的赔付金额(payout prices)都会基于这些评估。
但是下注者如何推断出他对不同结果的可信度呢?2009年5月,统计学家大卫·斯皮格霍特(David Spiegelhalter)接受BBC广播节目《更多或更少》(More or Less)的挑战来分析两天后进行的10场英超联赛。对每一场比赛,他都基于对每一支队伍的进攻能力及其对手的防守能力的考察,给出了每支队伍平均的进球数。例如,一个强势的主队,如阿森纳(Arsenal)在对阵斯托克城(Stoke City)的比赛中估计平均会进球2.1个。
没有任何一支球队会进球2.1个,这个数字只是假想数量的比赛中进球数的平均值。最重要的步骤是评估在单场比赛中进球数为0、1、2、3……的概率,斯皮格霍特使用了泊松分布。多年以来的数据显示,这是一个描述实际进球数在其平均值附近变化情况的好方法。在阿森纳平均进球数为2.1时,没有进球的概率是12%,进1球是26%,进2球是27%,进3球是19%,等等。
斯托克城的数据显示他们的平均进球数是0.67。这相当于没有进球的概率是51%,只进1球是34%,进2球是11%,等等。我们姑且相信每支队伍的进球数都是无关的。所以比赛结果为2比1的概率来自主队进2球的概率乘以客队进1球的概率——在上述情况中为27%×34%,大约为9%。
在这种方法中,任何可能的比分结果都被估计了。然后主队获胜、平局、客队获胜各自的概率就可以用加法定理计算得到,即将能得到这三种比赛结果的比分的概率分别加在一起。这就得到了阿森纳获胜的概率是72%,斯托克城获胜的概率是10%,平局的概率是18%。比分结果2比0的概率最高,是14%。
别得意!10场比赛中最高概率的比分才出现2次,而8场比赛的比分都是已被认定为不是最可能的。赌徒已经把钱押在了每个“最可能的结果”和每个“预测的”确切分数上,即使比赛比分结果未揭晓,他也会笑得很开心。
我们不能让阿森纳进行同一场比赛100次来计算他们获胜的频率,那么我们如何调和阿森纳获胜72%的可信度与概率的频率观点呢?回忆我们是如何评价天气预报的准确性的,播报员说明天下雨的概率是30%。只有一个明天,明天要么下雨要么不下雨。然而,我们可以查看她给出30%降雨概率所对应的所有场合,并计算第二天确实下雨了的频率。我们应该根据她播报的整体记录,选择相信或不相信她对明天天气的播报。在足球比赛中,我们也可以对于整个赛季中进行的所有比赛做类似的计算。在这些比赛中(也许共有40场),对其中一些比赛我们给出了接近72%的概率——我们可以检查“预测的”结果真的发生了的频率是否在72%左右,这可以作为一种验证我们方法的方式。
一个赌徒通过使用这些方法就能够赢钱了吗?赔付金额很大程度上依赖于每种比赛结果被下了多少注,最大的金额通常都会被下注到一支队伍的获胜或者另一支队伍的获胜。忠诚的粉丝们不会倾向于下注到平局上。如果评估得到的平局概率是25%,而且赔付高于3比1,赚钱的机会就在这里。
所以不要以为最好的下注方式就是押在有最高预测概率的比赛结果上!
足球比赛结果(2)
在2010年国际足联世界杯决赛前夕,统计学家伊恩·麦克海尔(Ian McHale)发表了他的计算结果,为32支球队分别指定了赢得世界杯的非零概率。他认为西班牙队最有可能获得世界杯,尽管只有11.6%的可能性;紧随其后的是巴西队,他对其给出的概率是10.3%。
为了计算得到这些结果,麦克海尔使用了与上述计算类似的方法来计算每场比赛的结果。然而,他并未直接计算每场比赛不同结果的概率,他依靠蒙特卡罗模拟。
英格兰队每场比赛的平均进球数为1.5,泊松分布模型给出没有进球的概率是22%,进1球的概率是33%,等等。计算机的随机数生成器选取0、1、2、3……中的某一个值和与其对应的概率,并对英格兰队的对手做相同操作,得到一些模拟比分结果例如2比2平局。对每一场预定的比赛都进行类似的模拟,得到模拟分组表格,然后进行淘汰赛阶段的比赛直到决赛。这个过程重复了100 000次,每一支队伍成为总冠军的模拟数都被记录下来。西班牙“获胜了”11 633次,因此有前述的11.6%这一数字。像往常那样,大数定律是这个方法合理的理由。
那一年西班牙队的确获胜了!麦克海尔的概率是“正确的”吗?我们不知道,如果能进行无限次重复的联赛,也许西班牙队会在其中的65%获胜。但是能证明其方法合理的最好证据就是,庄家们设定初始赔付金额时沿用同样的方法来吸引下注者。
布莱克-斯科尔斯模型
股票市场上的股价会波动,有些时候没有明显的原因。如果今天价格是5英镑,你不知道下个月会是什么价格。然而,你可以购买期权(option)——在一个指定的未来时间按照行使价(strike price)5.2英镑购入(或者出售)的权利。如果在未来的那个时候,市场价少于5.2英镑,你应该不会行使期权来购买;但是如果市场价高于这个价格,通过行权买入并立即出售你就可以立即获利。相应的论述也适用于认沽期权。那么这些期权的合理价格是什么?
费舍尔·布莱克(Fischer Black)和迈伦·斯科尔斯(Myron Scholes)于1973年解决了这个问题。他们工作的核心是假设股价会随机变化,但是变化方式是一种与高斯分布有关联的特定方式。认购期权与认沽期权的合理价格都依赖于当前价、行权价格、干预时间、现行利率和相关价格的波动性(用一段时间内的标准差来衡量),但是不依赖于平均的价格预期值!
最后一点似乎是令人惊讶的,但这就是现实的运作规律。这也是非常有用的,这意味着我们避免了任何因估计价格趋势而引入的不确定性。如果你想要知道一些特定期权的合理价格,有免费的软件可用——只需要在你最喜欢的搜索引擎中输入“布莱克-斯科尔斯”。给定当前价格和行权价格,如果时间间隔变长,利率变高,或者价格波动性升高,一份认购期权的合理价格会随之增加。
刚才那句话与你的直觉相符吗?第一个情况似乎的确是合理的,因为你等待的时间越长,相关价格上涨的概率就越大,但是另外两个情况就更加微妙了。波动性的增高会使得价格上涨的概率更高,但同时也会让价格下跌的概率更高——但是前者的效应更强一些。
通过考察这一年中约250个交易日内价格的变化,可以衡量得到波动性。为了使估计是可靠的,应该向模型提供足够的数据,但是也不能向过去延伸得太远,因为那些数据与现在的情况不相关。对于波动性的不良估计会导致对期权合理价格估计的不合理。
只有在假设合理的情况下一个模型才是有效的。如图7所示,认为价格波动符合高斯分布就意味着严重事件的概率是非常小的,例如价格下降了3或4个标准差。当这些事件的真实概率被严重低估的时候,模型就是无效的,而模型导出的结论就根本没有合理的基础。在第4章中提到过的极端值分布可以用来解决这个问题。
投资分配
A公司与B公司都预计会盈利。在低利率的情况下,A预计会收益20%, B预计会收益40%;在高利率的情况下,情况反转——A会盈利40%, B是20%。假设尼克是一名规避风险的投资者,而玛丽喜欢冒险。
如果高利率和低利率可以被认为是同等可能的,两个公司看起来都很吸引人,收益平均都是30%。依据两人对风险的态度,尼克会将资金分成两等份投给两家公司,而且一定会获得30%的收益,无论实际利率是高是低;玛丽会把所有钱投到其中一家公司,并希望会获得40%的收益,但也得接受只获得20%收益的结果。
假设情境中C公司取代了B公司,其会在低利率的时候有10%的收益,或者在高利率的时候有50%的收益——同样的平均为30%,这一点与B公司一样。但是将A与C组合对两名投资者都没有意义:尼克只钟意于A,玛丽将所有的钱投入C。
两种情况的本质区别是,A与B的收益是负相关(negatively correlated)的——在一个比较高的情况下,另一个比较低;但是A与C的收益是正相关(positively correlated)的——它们一同变好或者变坏。“相关性”(Correlation)以一个在-1(完全负相关)和1(完全正相关)之间的值来衡量。如果每家公司的资产波动变化都独立于另一家,它们的相关性就是0。
规避风险的投资人倾向于分散持股,所以任何损失都会被其他地方的收益所弥补。它们希望持有负相关的资产。但是其中有一个无法避免的逻辑陷阱:如果X与Y负相关,Y与Z负相关,那么X与Z就似乎是正相关了!
然而,还有一线希望。所罗门·博纳(Salomon Bochner)的数学工作结果证明了在很大的投资组合中,每一对投资都是负相关的确是有可能的。但是投资可选的数目越大,两两负相关的情形就越难以达到。