后验计算 | Codeboy's Blog

形式陈述

在Bayesian 统计模型中，观测数据 $y$ 、参数或潜变量 $\theta\in\Theta$ 给出联合密度

p(y,\theta)=p(y\mid\theta)p(\theta).

后验通常只以未归一化密度

\gamma(\theta)=p(y\mid\theta)p(\theta), \qquad Z=p(y)=\int_\Theta\gamma(\vartheta)d\vartheta,

出现，并满足 $\pi(\theta\mid y)=\gamma(\theta)/Z$ 。合法目标首先要求 $0<Z<\infty$ ；若先验不正规，这项 properness 必须针对当前数据另证。离散空间把积分换成求和，一般空间则以联合测度的条件化表述，不能默认 Lebesgue 密度总存在。

“计算后验”不是单一输出。常见查询包括归一化常数 $Z$ ，后验函数

I_f=\mathbb E_\pi[f(\theta)] =\frac{\int f(\theta)\gamma(\theta)d\theta} {\int\gamma(\theta)d\theta},

事件概率、分位数、后验预测积分，以及近似独立或相关样本。输入接口至少说明 $\gamma$ 能否逐点评值、能否求梯度、能否从条件分布或提议分布抽样、状态空间支持与计算预算；输出则应说明估计对象、归一化方式、随机性及误差声明。只给一批参数点而不说明其边缘分布、权重或相关结构，不构成完整答案。

有限状态、共轭或低维情形可解析求和、积分或数值求积。高维时常把积分改写为Monte Carlo 积分，但不同算法给出不同保证。重要性采样和拒绝采样依赖覆盖目标的提议；MCMC用目标不变的相关轨道；SMC沿目标序列传播加权粒子；变分 Bayesian 推断则在受限分布族内优化。它们是本任务的具体实现，不因共享 $\gamma$ 就拥有相同偏差、方差或收敛含义。

这些方法能回答的查询也不同。普通重要性采样在 $Z$ 已知时可直接估计后验期望； $Z$ 未知时，原始权重先估计未归一化积分与 $Z$ ，后验期望则需自归一化比值或另一种归一化计算。普通 MCMC 轨道平均不自动给出 $Z$ ；变分方法交付受限族内的近似分布，拒绝采样在包络成立时交付目标样本。不能只因方法接受同一个后验核，就忽略它实际返回什么。

解析计算可给精确到数值舍入的结果。从目标后验取得的 IID 样本，在 $f$ 绝对可积时使样本均值无偏且强一致；有限方差是常规标准误和中心极限定理所需的进一步条件。自归一化、有限 MCMC 轨道与变分近似通常有不同来源的有限样本或近似偏差。任何误差条都必须从对应估计量的假设推导，不能由后验定义本身推出。

直觉

模型给出一张只知道相对高度的地形 $\gamma$ 。归一化常数是整张地形的体积，后验期望是在地形质量下给函数做平均。计算方法的差别，在于如何访问这张地形：铺网格、从别处分点再加权、沿地形走轨道、逐层搬运粒子，或用一张较简单的曲面去贴近它。

密度评值高只说明当前位置相对可信，不说明尚未访问区域的质量。归一化、探索与误差量化是三个不同问题。一个算法可以很好估计峰内均值却漏掉另一峰，也可以生成边缘近似合理的样本却无法可靠估计证据 $Z$ 。

例子与边界

设参数只取 $a,b,c$ ，观测后的先验—似然乘积为

\gamma(a)=1, \qquad \gamma(b)=3, \qquad \gamma(c)=6.

第一步求和得 $Z=10$ ；第二步归一化得 $\pi=(0.1,0.3,0.6)$ 。若 $f(a,b,c)=(0,1,2)$ ，则

I_f=0.1\times0+0.3\times1+0.6\times2=1.5.

事件 $\{\theta\ne a\}$ 的后验概率为 $0.9$ 。这里枚举已经一次性回答规范化、期望与事件概率；再运行复杂采样器只增加随机误差。这个小例也提供后续算法的共同基准：重要性权重、接受率和粒子权重都应最终复现同一组后验质量。

若参数改为 $\theta\in[1,\infty)$ 且所谓后验核为 $\gamma(\theta)=1/\theta$ ，则 $Z=\infty$ ，不存在后验概率分布。无论 MCMC 轨迹是否能运行、优化器是否返回有限点，都不能修复定义失败。另一个边界是对称双峰或标签交换模型：只探索一个峰可能给峰内条件摘要，却会把全局均值、尾部概率和模式权重算错；更长的单峰轨迹不等于全支持覆盖。

计算误差还不能吸收模型误差。即使 $I_f$ 被算到很多有效数字，先验支持遗漏、似然错设或不可识别仍会让后验回答错误问题。算法核验应先与可枚举或共轭小例比较，再讨论真实模型上的诊断。

推论与应用

方法选择可从可用接口顺推：能枚举就精确求和；有紧包络可拒绝采样；有全局提议可重要性加权；只有局部未归一化密度时构造 MCMC；有自然时间或温度序列时用 SMC；需要快速压缩且能接受族内偏差时才选变分近似。维数只是影响这些条件的因素，不是选择器本身。

后验计算结果进入决策时，应传播 Monte Carlo 或近似误差，而不是只传播后验不确定性。可复现报告至少保留模型版本、参数化、随机种子、算法参数、收敛与退化诊断，以及针对主要 $f$ 的误差估计。证据、均值、分位数和尾部概率可能需要不同运行配置；“一次拟合供所有查询”只有在粒子或轨迹确实覆盖相关区域时才成立。

从缺失值后验预测分布生成多份补全后，可以在每份资料上进行同一完整资料分析。Rubin 合并规则说明怎样合并参数与方差，以及有限插补次数为何额外贡献模拟不确定性。

参考资料

Andrew Gelman et al., Bayesian Data Analysis, 3rd ed., CRC Press, 2013, Chs. 10–13.
Christian P. Robert and George Casella, Monte Carlo Statistical Methods, 2nd ed., Springer, 2004, Chs. 3–12.
Jim Albert, Bayesian Computation with R, 2nd ed., Springer, 2009, Chs. 3–7.

形式陈述 ​

反向链接

形式陈述