15-1 运用“条件概率”来表示“贝叶斯逆概率”

通过前面的讲义大家已经了解到：贝叶斯推理来说，最重要的观点是“获得信息之后，概率发生变化”。用第2讲中的案例来具体解释，即：在癌症指标检查中，依据获得“患癌症”或是“健康”的不同信息，检查结果呈阳性的概率会发生变化。用第3讲中的案例来具体解释，则为：根据女同事认为你是“真命天子”还是“无关路人”的不同信息，收到巧克力的概率也将有所差异。

类似这样，根据有无信息、信息的种类等条件不同，概率也会随之发生变化的情况，可以用“条件概率”一词来表述。在高中阶段的数学课上，我们曾经接触过条件概率的相关知识。而在描述贝叶斯推理时，条件概率可谓是最重要的内容。因此，本讲将从基础开始详细解说，并在此基础上，通过运用条件概率，推导出贝叶斯逆概率的公式。

15-2 “条件概率”把部分看作整体，从而变更数值

在这里，用掷骰子的案例来进行说明。

把一个骰子放入带有盖子的箱中，并摇晃箱子，使骰子在箱中滚动。接下来，推测骰子的点数。现在，需要求出骰子的点数为偶数的概率。然后把“骰子的点数为偶数”这个事件记为E，则：

E＝{2，4，6}

在掷骰子的概率模型中，事件E的概率为：

然而此时，有人偷偷地打开了盖子，并往箱子里看了一眼，然后告诉你“骰子的点数不是6”。那么接下来概率会发生怎样的变化呢？由于点数为6的可能性被排除在外，那么对于概率的推算结果也会发生改变。像这样，当获得“不是现6”这条信息时，“骰子的点数为偶数”的概率被称为“条件概率”。

把“不是6”这一事件记为F，则：

F＝{1，2，3，4，5}

此时，在获得“发生了事件F”这条信息的情况下，事件E的概率记为：

P（E|F）

记号p（|）的含义是：间隔符号的右侧表示获得的信息。

在计算数值的时候，比较自然的想法是使用面积图表，如图表15-1所示。

图表15-1 条件概率的思维方式

如图表15-1所示，没有获得任何信息的时候，由于事件E占了整体的一半面积，因而它的概率p（E）为1/2。但当获得了事件F即“不是6”这一信息之后，事件F就开始变得引人注目。因此，有两个问题需要进行变更。

第1个变更：由于事件F变为了一个整体，所以应该把事件F的概率设定为1。换言之，把F的面积视为1。

第2个变更：由于事件F的发生，可能性受到了限制，因而需要在考虑事件E与事件F的共同部分的基础上，来推算概率问题。换言之，需要关注的事件为E和F的重叠部分＝{2，4}。

根据上述两个变更，需要计算的概率p（E|F），即：获得“发生事件F”这一信息之后，E的条件概率，也就是：把F看做一个整体来考虑时，“E和F的重叠部分”占F的比例。因此，可以用除法计算求出，表示为：

（E和F重叠部分的面积）÷（F的面积）

因此，可进行如下定义：

p（E|F）＝p（E和F的重叠部分）÷p（F）

进行实际计算，可得出：

总而言之，条件概率是指：把得到的消息再次设定为整体，并排除掉没有可能性的各个事件之后，重新计算出的比率。

以上说明可以写成通用的公式，如下所示：

条件概率的公式

当获得事件B这一信息之后，事件A的条件概率p（A|B），可定义为：

p（A|B）＝p（A和B的重叠部分）÷p（B）

15-3 各个类别被赋予的概率＝条件概率

若要在贝叶斯推理中使用条件概率，使用方法分为两个阶段。第一阶段：按照各自的类别设定数据概率的方法；第二阶段：计算后验概率时的方法。而重要的一点是，在这两个阶段中，都可以有效利用直积试验的特性。本节将会具体解说前一种情况。

在这里，将再一次使用第7讲和第13讲中关于壶和壶里有颜色的球的例子。下面对其设定再次进行说明。

问题设定

面前有一只壶，已知这个壶不是A壶就是B壶，但是单从外表看不出究竟是哪个。而目前已知的是：A壶中有9个白球和1个黑球，B壶中有2个白球和8个黑球。现在，如果从壶里取出1个球，并且这个球是黑色的，那么，面前的这个壶究竟是A还是B呢？

在这个案例中，所有的可能性共有4种。用专有名词可以表述为：基本事件的集合＝{A＆黑球，A＆白球，B＆黑球，B＆白球}，也就是直积试验的各个事件，如图表15-2所示。

第7讲和第13讲中虽然提出了“从A壶中取出的球是黑球的概率为0.1”的观点，但并没有对其含义进行严密的说明。实际上，“从A壶中取出的球是黑球的概率为0.1”，正是指上一节中所定义的条件概率，也就是在获得“该壶为A壶”这个信息之后，得出的“取出的球为黑球”的概率。

图表15-2 条件概率的设定

用公式来表达，即：

P（黑球|A）＝0.1

此时，请回想一下第7讲中计算出的“A＆黑球”的概率，为0.5×0.1。如果使用上一节中提到的条件概率来定义该计算，就能够理解一下这种整合性的计算方法。

图表15-3 A＆黑球，是事件“A”和事件“黑球”的重叠部分

先来看一下图表15-3，在直积试验中，事件A可表示为：

A＝{A＆黑球，A＆白球}

即，“该壶为A壶，球为任意颜色”的事件。同理，事件“黑球”可表示为：

“黑球”＝{A＆黑球，B＆黑球}

也就是说，

事件A和事件“黑球”的重叠＝{A＆黑球}

像这样，在直积试验中，事件的重叠自然与“＆”是相同的。

那么，根据上一节中关于条件概率的定义，可以写为：

p（黑|A）＝p（事件A和事件“黑球”的重叠）÷p（A）

＝p（A＆黑球）÷p（A）

用乘法算式来表达，则为：

p（A＆黑球）＝p（A）×p（黑|A）…（1）

这里，类别A的概率为0.5。此外，从A中观察到为黑球的条件概率p（黑|A）被设定为0.1，所以，

p（A＆黑球）＝0.5×0.1＝0.05 …（2）

这样，便可以用乘法计算出A＆黑球的概率。以上表示的是“概率即为长方形的面积”以及“整合性”的问题。对上述进行抽象描述，即关于贝叶斯推理的公式：

＆事件的概率法则

p（类别＆信息）＝p（类别）×p（信息|类别）

换言之，用＆来连接的类别和信息所构成的可能性的概率为：将“类别的先验概率”和“在【这个类别】的基础上，能够得到这条信息的条件概率”相乘的结果。

15-4 通过条件概率的公式理解后验概率

接下来，终于到了解说绍贝叶斯推理条件概率的使用方法第二阶段的环节。

用壶的例子来解释的话，贝叶斯推理就是通过“取出的球为黑球”这一信息，来推测“该壶为B壶”的概率。由于“取出的球为黑球”是观察的“结果”，而“该壶为B壶”是“原因”，从“结果”来推测“原因”，听起来是一个奇妙的过程。而这个过程之所能够实现，关键就在于条件概率的定义。

我们要计算的是：在获得到“取出的球为黑球”这一信息之后，“该壶为B壶”的概率。由于已经明确定义了条件概率，因此可以完全确定下来，即条件概率为：

p（B|黑）

而该条件概率的计算方法，在15-2中已经给出，即：

p（B|黑）＝p（B＆黑球）÷p（黑球）…（3）

的计算，可以求出。因此，只要知道概率p（B＆黑球）和概率p（黑球）的数值，然后用除法运算，就可以求出了。

前面的p（B＆黑球），运用刚刚在（1）（2）式子中求出p（A＆黑球）同样的计算方法，就可以求出。即为，

p（B＆黑球）＝p（B）×p（黑|B）…（4）

这里，需要注意的是：条件概率p（）中的内容被随意地左右替换。在（3）中是p（B|黑），而在（4）中则是p（黑|B）。前者为需要计算的数值，而后者可以通从模型的设定得出结果为0.8。而事件“该壶为B壶”与事件“取出的球为黑球”可以进行更换，正是贝叶斯推理的秘密所在。那么，从（4）中可以计算出

p（B＆黑球）＝0.5×0.8＝0.4 …（5）

而关于概率p（黑球）的计算，由于“取出的球为黑球”这一事件是能够通过

“黑球”＝{A＆黑球，B＆黑球}

以及使用了符号＆的各个基本事件表示出来，因此，可以运用以下方法计算求出：

p（黑球）＝p（A＆黑球）＋p（B＆黑球）

右边的第一项是通过（1）求得，而第二项是通过（4）求得的。将结果代入上述式子中，可以得出：

p（黑球）＝p（A）×p（黑|A）＋p（B壶）×p（黑|B）…（6）

因此，把（4）和（6）代入（3）中，可以得出下面的计算公式：

这被称为“贝叶斯公式”。

进行具体计算，则为：

式子（7）可以按照以下思路来理解：左边表示从“黑球”的结果追溯到“B壶”这一原因的概率，从直观上不是很容易理解。而右边的p（A）和p（B）均为每一类别的先验概率，p（黑｜A）和p（黑｜B）是由原因推导出的结果的概率，这一点已经在设定中予以说明。换言之，式子（7）是通过已知的概率（右边），推导出直观上看不出的概率（左边）的计算方式。

乍一看式子（7），可能会觉得计算过程很复杂，令人迷惑。不过，只要在面积图中填入前面讲过的概率符号，就能明白“现在做的，只是把之前面积图的方法直接转换为计算公式罢了”。

图表15-4 贝叶斯逆概率的公式

下面请观察图表15-4。迄今为止，我们采用的计算方式都是在获得“取出的球为黑球”这一信息之后，再得出以下比例关系：

（A的后验概率）：（B的后验概率）

＝（A＆黑球的面积）：（B＆黑球的面积）

用条件概率来描述，则可以得到如下比例公式：

p（A）p（黑｜A）：p（B）p（黑｜B）…（8）

式子（8）中，左右两边的计算，与通过乘法计算长方形的长宽而得出的概率是一样的。然后，在满足标准化条件的情况下进行变形（左右数值之和相除），得到：

由此又可以得到以下公式：

最后的式子（9），与（7）是完全相同的。

下面，我们通过用来说明条件概率的面积比例的思路，再次进行探讨。

现在，我们已经获得了“取出的球为黑球”这一信息，那么，正如15-2中的解说，B的条件概率即为：在表示“A＆黑球”的长方形与表示“B＆黑球”的长方形的总和（表示事件“黑球”的情况）中，表示“B＆黑球”的长方形所占面积的比例这一数值。而在式子（8）中，左侧为表示“A＆黑球”的长方形的面积，右侧为表示“B＆黑球”的长方形的面积。因此，用右侧来除以左右之和，其结果，与“在‘取出的球为黑球’的情况下，计算表示‘B＆黑球’的长方形面积所占比例”的结果是相同的。这也意味着，最后的计算与条件概率p（B|黑）的面积所代表的意义相一致。

最后需要说明的一点重要内容：采用贝叶斯推理方法计算后验概率时，无须考虑式子（7）中的分母。要点是，因为有了比例公式（8），那么（7）和（9）的分母，只是用来恢复标准化条件罢了，可以忽略。毕竟，关键点在于比例关系。因此我们只需记住比例公式（8）即可。

第15讲·小结

1．条件概率是指，在获得信息之后，基本事件减少的情况下，赋予的比例关系。

2．在获得“事件B”这一信息后，事件A的条件概率p（A|B）可定义为： p（A|B）＝p（A和B的重叠部分）÷p（B）

3．在贝叶斯推理中，使用条件概率公式②时有两种方法。

4．第1种使用方法：求出类别＆信息的概率。即，p（类别＆信息）＝p（类别）×p（信息|类别）

5．第2种使用方法：求出后验概率。已知数据信息，通过上面的方法来计算p（类别＆信息）的比例关系，并使之满足标准化条件。

练习题

答案参见此处

下面，以癌症检查为例，来练习条件概率的表示方法。

基本事件分别为：“癌症”、“健康”、“阳性”、“阴性”。选取合适的基本事件，填入下面的括号中。

p（癌症＆阳性）＝p（癌症）×p（ | ） …（1）

p（癌症＆阳性）＝p（阳性）×p（ | ） …（2）

p（健康＆阳性）＝p（健康）×p（ | ） …（3）

p（健康＆阳性）＝p（阳性）×p（ | ） …（4）

此时，从（1）和（3）中，可以得出：

p（癌症＆阳性）：p（健康＆阳性）

＝p（癌症）×p（ | ）：p（健康）×p（ | ） …（5）

从（2）和（4）中，可以得出：

p（癌症＆阳性）：p（健康＆阳性）

＝p（ | ）：p（ | ） …（6）

从（5）和（6）中，可以得出：

p（ | ）：p（ | ）

＝p（癌症）×p（ | ）：p（健康）×p（ | ）

左边为后验概率之比，右边为通过先验概率和条件概率中算出来的比值。