条件概率、全概率公式、Bayes 公式

条件概率

条件概率的定义

定义：条件概率

设 $(\varOmega,\mathscr{F},P)$ 是一个概率空间，$B\in \mathscr{F}$ ，而且 $P(B)>0$ ，则对任意 $A\in \mathscr{F}$ ，记
$$ P(A\mid B) = \frac{P(AB)}{P(B)}$$
并称 $P(A\mid B)$ 为在事件 $B$ 发生的条件下，事件 $A$ 发生的条件概率.

这里的 $P(B)>0$ 是讨论的一个前提，若 $P(B)=0$ ，这个时候 $P(AB)=0$ 也是必然的，这就出现了 $\frac{0}{0}$ 的未定型，现在这个问题暂时超出了目前的范围，在以后的科目学习中会进一步学到.

乘开之后，就能得到概率的乘法公式：

\[ P(AB) = P(B)P(A|B) \]

条件概率也满足概率公理的三个条件（非负性、规范性，可列可加性）

条件概率实际上是对样本空间的一个限制，如果将 $B$ 设为 $\varOmega$ ，那这就是我们学过的概率.

条件概率的性质

由于其满足概率公理，可以导出一些本来已知的一些性质：

$P(\varnothing \mid B)=0$ ；
$P(A_1\cup A_2 \mid B) = P(A_1\mid B)+P(A_2\mid B)-P(A_1A_2\mid B)$ .

推广的乘法公式：

\[ P(A_1A_2\cdots A_n) = P(A_1)P(A_2\mid A_1) \cdots P(A_n| A_1A_2 \cdots A_n) \]

例题：Polyá 坛子模型

坛子中有 $b$ 个黑球和 $r$ 个红球，随机取出一个，把原球放回，并加进与抽出的球同色的球 $c$ 只，再摸第二次，这样下去总共摸了 $n$ 次，问前面的 $n_1$ 次取出黑球，后面的 $n_2=n-n_1$ 次出现红球的概率是多少？

以 $A_1$ 表示第一次摸出黑球这一个事件，$\cdots$ ，$A_{n_1}$ 表示第 $n_1$ 次摸出黑球，$A_{n_1+1}$ 表示第 $n_1+1$ 次摸出红球，$\cdots$ ， $A_n$ 表示第 $n$ 次摸出红球.

由于条件概率更好计算，使用推广乘法公式是较为简单的，对于前 $n_1$ 次，可以计算得到：

\[ P(A_{n_1} \mid A_1\cdots A_{n_1-1}) = \dfrac{b+(n_1-1)c}{b+r+(n_1-1)c} \]

计算到 $n$ 次也是一样的：

\[ P(A_n \mid A_1\cdots A_{n-1})=\dfrac{r+(n_2-1)c}{b+r+(n-1)c} \]

从而

\[ P(A_1A_2\cdots A_n) = \prod_{i=0}^{n_1-1}\frac{b+ic}{b+r+ic}\prod_{j=0}^{n_2-1}\frac{r+jc}{b+r+(n_1+j)c} \]

$\square$

全概率公式

全概率公式的定义

定义：完备事件组

设事件 $A_1,A_2,\cdots,A_n,\cdots$ 是样本空间的一个分割，亦称完备事件组，即 $A_i(i=1,2,\cdots,n,\cdots)$ 两两不相容，而且
$$ \sum\limits_{i=1}^\infty A_i = \varOmega $$

对于完备事件组，考虑事件 $B$ ：

\[ B = \sum\limits_{i=1}^\infty A_iB \]

从而根据可列可加性，有

\[ P(B) = \sum\limits_{i=1}^\infty P(A_i B) \]

再利用乘法公式可以得到全概率公式：

定理：全概率公式

\[ P(B) = \sum\limits_{i=1}^\infty P(A_i)P(B\mid A_i) \]

全概率公式的应用

从 Polyá 坛子模型当中抽象出一个更一般的摸球模型：

坛子中有 $b$ 个黑球和 $r$ 个红球，随机取出一个，并加进与抽出的球同色的球 $s$ 只，再摸第二次，这样下去总共摸了 $n$ 次，求证：第 $n$ 次摸出红球的概率为 $\dfrac{r}{b+r}$ .

设 $R_n$ 为第 $n$ 次摸出红球的事件，那么考虑利用数学归纳法.

对于 $n=1$ 时的情形，显然成立，随后对 $n-1$ 的情形成立时，考虑对 $n$ 的情形.

此时，考虑全概率公式：

\[ P(R_n) = P(R_1)P(R_n \mid R_1) + P(\overline{R_1})P(R_n \mid \overline{R_1}) \]

这里面，实际上就是 $P(R_n \mid R_1)$ 概率需要求，此时有如下的想法：此时的 $R_1$ 已发生，那么 $R_n$ 的发生等价于在 $b+r+s-1$ 个球里面，第 $n-1$ 次抽出 $r+s-1$ 个红球中的一个，从而就能利用归纳假设了.

\[ \frac{r}{b+r}\dfrac{r+s-1}{b+r+s-1}+\frac{b}{b+r}\frac{r}{b+r+s-1} = \frac{r}{b+r} \]

$\square$

Bayes 公式

考虑

\[ B = \sum\limits_{i=1}^\infty BA_i \]

此时由于

\[ P(A_i B) = P(A_i)P(B\mid A_i) \]

可以推得

\[ P(A_i \mid B) = \frac{P(A_i)P(B\mid A_i)}{P(B)} \]

从而利用全概率公式可以得到

定理：Bayes 公式

\[ P(A_i\mid B) = \dfrac{P(A_i)P(B\mid A_i)}{\sum\limits_{i=1}^\infty P(A_i)P(B\mid A_i)} \]

在使用 Bayes 公式之前，我们需要进行良好的事件分析.

例题：Bayes 公式

袋中有一个球，不是红球就是白球，且等可能出现，现在再往袋中放入一个白球. 现在随机地取出一个球，恰为白球. 试球袋中原来就是白球的概率.

设原来为白球的事件为 $A$ ，那么有 $P(A)=\dfrac{1}{2}$ . 设取出的球为白球的事件为 $B$ ，那么我们实际上要求出的是 $P(A\mid B)$ . 根据 Bayes 公式：

\[ P(A\mid B) = \dfrac{P(B\mid A)P(A)}{P(B\mid A)P(A)+P(B\mid \overline{A})P(\overline{A})} \]

最终可得结果为 $\dfrac{2}{3}$ . $\square$

独立性

定义：独立性 (Independence)

对事件 $A$ 和 $B$ ，若
$$ P(AB) = P(A)P(B) $$
则称它们是统计独立的，简称独立的.

注意：

$P(A) = 0$ 时，$A,B$ 一定是独立的.
$P(A)=1$ 时，根据 $P(AB) = P(A)+P(B)-P(A\cup B)$ 可知 $A,B$ 独立.

简单的推论：

若 $A,B$ 独立，且 $P(B)>0$ ，则：$$ P(A\mid B) = P(A) $$
若 $A,B$ 独立，则 $\overline{A},B$ 、$A,\overline{B}$ 、$\overline{A},\overline{B}$ 也相互独立.

对于多个事件的相互独立，我们需要细扣其中的术语差别.

两两独立和相互独立

定义：两两独立和相互独立

若 $n$ 个随机事件 $A_1,A_2,\cdots,A_n$ 仅满足
$$ P(A_iA_j) = P(A_i)P(A_j) (i,j=1,2,\cdots,n,i\neq j) $$
则称 $A_1,A_2,\cdots,A_n$ 两两独立.

若 $n$ 个随机事件 $A_1,A_2,\cdots,A_n$ 满足对于所有可能的组合 $1 \leqslant i<j<k \leqslant n$ 都满足：
$$ \begin{aligned}&P(A_iA_j) = P(A_i)P(A_j) \\ &P(A_iA_jA_k) = P(A_i)P(A_j)P(A_k) \\ & \qquad\vdots \\ & P(A_1A_2,\cdots,A_n) = P(A_1)P(A_2)\cdots P(A_n) \end{aligned} $$
则称 $A_1,A_2,\cdots,A_n$ 是相互独立的.

注意其中概念和术语上的区分即可.