Bayes 定理

很多问题中，“若原因成立，会多常看到这个结果”容易由机制或实验给出，而真正想知道的是“看到结果后，原因有多可信”。Bayes 定理完成这个方向反转：先验给候选原因初始权重，似然按解释当前证据的能力重新加权，分母再把所有权重规范到总和为一。

分母承担归一化，不能随手略掉。写“后验正比于先验乘似然”适合比较未归一化权重；要得到概率，还必须把所有候选原因对证据的贡献合在一起。某个证据在目标假设下常见，并不能单独说明看到证据后目标假设也常见；还要比较该证据在其他假设下是否同样常见，以及目标假设原先有多罕见。

袋中有一枚公平硬币和一枚两面皆为正面的硬币，等概率随机取一枚并抛掷一次。令 $D$ 表示取到双正硬币，$H$ 表示出现正面。两种硬币对 $H$ 的贡献分别是

观察到正面后，双正硬币的后验为

先选硬币类型，再抛选中的硬币，是这里必须保留的两阶段机制。先验赔率为 $1:1$；正面在双正硬币下的概率是公平硬币下的两倍，因此后验赔率变成 $2:1$，对应概率 $2/3$。

继续抛同一枚硬币，并假设给定硬币类型后各次抛掷独立。记 $H_i$ 为第 $i$ 次出现正面的事件。若第二次仍为正面，使用第一次的后验作为新先验，得到

从头算也一样：两次正面在两种硬币下的似然分别为 $1$ 和 $1/4$，所以后验是 $(1/2)/(1/2+1/8)=4/5$。这里独立的是给定类型后的抛掷；在类型未知的混合模型中，两次正面事件并不无条件独立。若第二次出现反面，双正硬币的似然为零，后验也立刻降为零。

基准率谬误来自只看 $\mathbb{P}(B\mid A)$，忽略 $\mathbb{P}(A)$ 与替代原因。筛查、告警和异常检测面对的阳性样本往往混合了真阳性与大量背景误报；灵敏度再高，也不能单独决定阳性后的目标概率。定量诊断见贝叶斯诊断推断理路贝叶斯诊断推断Bayesian diagnostic inference · Bayesian diagnostic testing把患病率、检测灵敏度和假阳性率组合为观察结果后的后验风险。。

$\mathbb{P}(B)=0$ 时，事件比值版 Bayes 定理没有定义。连续观测中的“$Y=y$”通常就是这种情形；若联合分布存在共同支配密度，可以在密度层写后验密度，但等式只在适当的几乎处处意义下成立。更一般时需要正则条件分布理路条件分布Conditional distribution · Regular conditional distribution给定观测值后随机量的概率律，以及它与原联合分布相容的核表示。，不能把离散求和公式机械替换成一个未经验证的积分。

还要区分似然和参数概率。固定观测 $b$ 后，$\theta \mapsto p(b\mid \theta )$ 是关于参数的函数，一般不对 $\theta$ 积分为一；只有乘上先验并完成归一化后，才得到参数空间上的后验分布。

若证据在给定假设后条件独立，多个证据的似然可以相乘，后验赔率就按似然比逐次更新。条件独立必须由模型另行给出，Bayes 定理不会自动保证；一般情况下也能序贯更新，但第二份证据必须使用给定第一份证据后的条件似然。例如把同一次正面读数复制两遍，两份记录的联合似然仍是一份正面的似然；若误乘两次，就会把正确后验 $2/3$ 虚增为 $4/5$。

Bayesian 统计模型理路Bayesian 统计模型Bayesian statistical model以参数先验和条件抽样模型共同定义参数与数据的联合分布，并由观测条件化得到后验。把参数先验与抽样机制组成联合分布，Bayes 定理再导出后验。得到后验并不等于完成决策：还需给定损失，才能由后验风险选择行动。后验可信区间也不自动具有频率覆盖保证，两种陈述的随机对象和量词不同。

朴素 Bayes、故障定位、取证评估与 Thompson sampling 都复用“先验 × 似然 → 后验”这一结构，但它们的质量取决于候选空间是否覆盖真实来源、似然是否校准以及依赖假设是否成立。公式保证在给定模型内计算一致，不会替模型的正确性背书。

概率程序中的条件化与评分理路概率程序中的条件化与评分Conditioning in probabilistic programs · Score semantics把 observe 看成筛选、score 看成加权，计算归一化常数并分别处理零证据、连续观测和不终止。把证据落实为执行筛选或似然加权，再在总质量满足 $0<Z<\mathrm{\infty }$ 时归一化。零证据、连续变量的零概率单点和程序不终止分别需要说明，不能把 Bayes 公式中的分母当成永远为正。