Bayes 定理 | Codeboy's Blog

形式陈述

设 $A,B$ 是同一概率空间中的事件，且 $\mathbb P(A)>0$ 、 $\mathbb P(B)>0$ 。把交集概率按两个方向使用条件概率乘法公式，

\mathbb P(A\cap B) =\mathbb P(B\mid A)\mathbb P(A) =\mathbb P(A\mid B)\mathbb P(B),

便得到

\mathbb P(A\mid B) =\frac{\mathbb P(B\mid A)\mathbb P(A)}{\mathbb P(B)}.

若 $A_1,A_2,\ldots$ 是有限或可数可测划分，且候选分块具有正概率，那么全概率公式把分母展开为

\mathbb P(B)=\sum_i\mathbb P(B\mid A_i)\mathbb P(A_i).

因此在 $\mathbb P(B)>0$ 时，

\mathbb P(A_k\mid B) =\frac{\mathbb P(B\mid A_k)\mathbb P(A_k)} {\sum_i\mathbb P(B\mid A_i)\mathbb P(A_i)}.

$\mathbb P(A_k)$ 称为先验， $\mathbb P(B\mid A_k)$ 是证据在假设 $A_k$ 下的似然项， $\mathbb P(A_k\mid B)$ 是后验。若只比较两个假设 $A_1,A_0$ ，并且式中分母对应的概率均为正，定理还可写成赔率形式

\frac{\mathbb P(A_1\mid B)}{\mathbb P(A_0\mid B)} =\frac{\mathbb P(A_1)}{\mathbb P(A_0)} \cdot \frac{\mathbb P(B\mid A_1)}{\mathbb P(B\mid A_0)}.

后一因子是似然比，精确表示证据把两假设的相对支持改变了多少。

直觉

很多问题中，“若原因成立，会多常看到这个结果”容易由机制或实验给出，而真正想知道的是“看到结果后，原因有多可信”。Bayes 定理完成这个方向反转：先验给候选原因初始权重，似然按解释当前证据的能力重新加权，分母再把所有权重规范到总和为一。

分母承担归一化，不能随手略掉。写“后验正比于先验乘似然”适合比较未归一化权重；要得到概率，还必须把所有候选原因对证据的贡献合在一起。某个证据在目标假设下常见，并不能单独说明看到证据后目标假设也常见；还要比较该证据在其他假设下是否同样常见，以及目标假设原先有多罕见。

例子与边界

袋中有一枚公平硬币和一枚两面皆为正面的硬币，等概率随机取一枚并抛掷一次。令 $D$ 表示取到双正硬币， $H$ 表示出现正面。两种硬币对 $H$ 的贡献分别是

\mathbb P(H\mid D)\mathbb P(D)=1\cdot\frac12, \qquad \mathbb P(H\mid D^{\mathsf c})\mathbb P(D^{\mathsf c}) =\frac12\cdot\frac12.

观察到正面后，双正硬币的后验为

\mathbb P(D\mid H) =\frac{1\cdot\frac12} {1\cdot\frac12+\frac12\cdot\frac12} =\frac23.

数字只是这个例子的载体，关键在两阶段生成结构：先选隐藏来源，再由来源产生可见结果。一次正面不能确定来源，却按似然比 $2$ 把先验赔率放大了一倍。若继续独立抛同一枚硬币，连续正面会逐次乘上新的似然比，这就是序贯更新的骨架。

基准率谬误来自只看 $\mathbb P(B\mid A)$ ，忽略 $\mathbb P(A)$ 与替代原因。筛查、告警和异常检测面对的阳性样本往往混合了真阳性与大量背景误报；灵敏度再高，也不能单独决定阳性后的目标概率。定量诊断见贝叶斯诊断推断。

$\mathbb P(B)=0$ 时，事件比值版 Bayes 定理没有定义。连续观测中的“ $Y=y$ ”通常就是这种情形；若联合分布存在共同支配密度，可以在密度层写后验密度，但等式只在适当的几乎处处意义下成立。更一般时需要正则条件分布，不能把离散求和公式机械替换成一个未经验证的积分。

还要区分似然和参数概率。固定观测 $b$ 后， $\theta\mapsto p(b\mid\theta)$ 是关于参数的函数，一般不对 $\theta$ 积分为一；只有乘上先验并完成归一化后，才得到参数空间上的后验分布。

推论与应用

若证据在给定假设后条件独立，多个证据的似然可以相乘，后验赔率就按似然比逐次更新。条件独立必须由模型另行给出，Bayes 定理不会自动保证；重复使用相关证据却仍相乘，会把同一信息计算多次。

Bayesian 统计模型把参数先验与抽样机制组成联合分布，Bayes 定理再导出后验。得到后验并不等于完成决策：还需给定损失，才能由后验风险选择行动。后验可信区间也不自动具有频率覆盖保证，两种陈述的随机对象和量词不同。

朴素 Bayes、故障定位、取证评估与 Thompson sampling 都复用“先验 × 似然 → 后验”这一结构，但它们的质量取决于候选空间是否覆盖真实来源、似然是否校准以及依赖假设是否成立。公式保证在给定模型内计算一致，不会替模型的正确性背书。

参考资料

Joseph K. Blitzstein and Jessica Hwang, Introduction to Probability, 2nd ed., CRC Press, 2019, Chapter 2.
David J. C. MacKay, Information Theory, Inference, and Learning Algorithms, Cambridge University Press, 2003, Chapter 3.
Andrew Gelman et al., Bayesian Data Analysis, 3rd ed., CRC Press, 2013, Chapter 1.