后验计算

形式陈述 ​

在Bayesian 统计模型公理库Bayesian 统计模型Bayesian statistical model以参数先验和条件抽样模型共同定义参数与数据的联合分布，并由观测条件化得到后验。中，观测数据 $y$、参数或潜变量 $\theta \in \mathrm{\Theta }$ 给出联合密度

$$p(y,\theta )=p(y\mid \theta )p(\theta ).$$

后验通常只以未归一化密度

$$\gamma (\theta )=p(y\mid \theta )p(\theta ),Z=p(y)={\int }_{\mathrm{\Theta }}\gamma (\vartheta )d\vartheta ,$$

出现，并满足 $\pi (\theta \mid y)=\gamma (\theta )/Z$。合法目标首先要求 $0<Z<\mathrm{\infty }$；若先验不正规，这项 properness 必须针对当前数据另证。离散空间把积分换成求和，一般空间则以联合测度的条件化表述，不能默认 Lebesgue 密度总存在。

“计算后验”不是单一输出。常见查询包括归一化常数 $Z$，后验函数

$$I_f={\mathbb{E}}_{\pi }[f(\theta )]=\frac{\int f(\theta )\gamma (\theta )d\theta }{\int \gamma (\theta )d\theta },$$

事件概率、分位数、后验预测积分，以及近似独立或相关样本。输入接口至少说明 $\gamma$ 能否逐点评值、能否求梯度、能否从条件分布或提议分布抽样、状态空间支持与计算预算；输出则应说明估计对象、归一化方式、随机性及误差声明。只给一批参数点而不说明其边缘分布、权重或相关结构，不构成完整答案。

有限状态、共轭或低维情形可解析求和、积分或数值求积。高维时常把积分改写为Monte Carlo 积分公理库Monte Carlo 积分Monte Carlo integration · Monte Carlo quadrature将积分改写为随机变量期望，以独立样本均值估计并用方差和概率假设量化随机误差。，但不同算法给出不同保证。重要性采样公理库重要性采样Importance sampling · 重要抽样从易采样的提议分布取样，以目标和提议的密度比修正访问频率并估计目标积分。和拒绝采样公理库拒绝采样Rejection sampling · Acceptance-rejection sampling · 接受—拒绝采样从提议分布生成候选，并按目标与包络的密度比接受，以得到目标分布的独立精确样本。依赖覆盖目标的提议；MCMC公理库Markov 链 Monte CarloMarkov chain Monte Carlo · MCMC构造以目标分布为不变分布的 Markov 转移，并用一条遍历轨道的时间平均估计目标期望。用目标不变的相关轨道；SMC公理库序贯 Monte CarloSequential Monte Carlo · SMC · 粒子方法用加权粒子、增量权重与按需重采样，依次近似一列目标分布及其归一化常数。沿目标序列传播加权粒子；变分 Bayesian 推断公理库变分 Bayesian 推断Variational Bayesian inference · Variational inference · VI在可计算分布族内优化与真实后验的散度，以确定性或随机优化换取受限族中的快速后验近似。则在受限分布族内优化。它们是本任务的具体实现，不因共享 $\gamma$ 就拥有相同偏差、方差或收敛含义。

解析计算可给精确到数值舍入的结果；IID Monte Carlo 样本均值在可积条件下无偏或一致；自归一化、有限 MCMC 轨道与变分近似通常有不同来源的有限样本或近似偏差。任何误差条都必须从对应估计量的假设推导，不能由后验定义本身推出。

直觉

模型给出一张只知道相对高度的地形 $\gamma$。归一化常数是整张地形的体积，后验期望是在地形质量下给函数做平均。计算方法的差别，在于如何访问这张地形：铺网格、从别处分点再加权、沿地形走轨道、逐层搬运粒子，或用一张较简单的曲面去贴近它。

密度评值高只说明当前位置相对可信，不说明尚未访问区域的质量。归一化、探索与误差量化是三个不同问题。一个算法可以很好估计峰内均值却漏掉另一峰，也可以生成边缘近似合理的样本却无法可靠估计证据 $Z$。

例子与边界

设参数只取 $a,b,c$，观测后的先验—似然乘积为

$$\gamma (a)=1,\gamma (b)=3,\gamma (c)=6.$$

第一步求和得 $Z=10$；第二步归一化得 $\pi =(0.1,0.3,0.6)$。若 $f(a,b,c)=(0,1,2)$，则

$$I_f=0.1\times 0+0.3\times 1+0.6\times 2=1.5.$$

事件 $\{\theta \ne a\}$ 的后验概率为 $0.9$。这里枚举已经一次性回答规范化、期望与事件概率；再运行复杂采样器只增加随机误差。这个小例也提供后续算法的共同基准：重要性权重、接受率和粒子权重都应最终复现同一组后验质量。

若参数改为 $\theta \in [1,\mathrm{\infty })$ 且所谓后验核为 $\gamma (\theta )=1/\theta$，则 $Z=\mathrm{\infty }$，不存在后验概率分布。无论 MCMC 轨迹是否能运行、优化器是否返回有限点，都不能修复定义失败。另一个边界是对称双峰或标签交换模型：只探索一个峰可能给峰内条件摘要，却会把全局均值、尾部概率和模式权重算错；更长的单峰轨迹不等于全支持覆盖。

计算误差还不能吸收模型误差。即使 $I_f$ 被算到很多有效数字，先验支持遗漏、似然错设或不可识别仍会让后验回答错误问题。算法核验应先与可枚举或共轭小例比较，再讨论真实模型上的诊断。

推论与应用

方法选择可从可用接口顺推：能枚举就精确求和；有紧包络可拒绝采样；有全局提议可重要性加权；只有局部未归一化密度时构造 MCMC；有自然时间或温度序列时用 SMC；需要快速压缩且能接受族内偏差时才选变分近似。维数只是影响这些条件的因素，不是选择器本身。

后验计算结果进入决策时，应传播 Monte Carlo 或近似误差，而不是只传播后验不确定性。可复现报告至少保留模型版本、参数化、随机种子、算法参数、收敛与退化诊断，以及针对主要 $f$ 的误差估计。证据、均值、分位数和尾部概率可能需要不同运行配置；“一次拟合供所有查询”只有在粒子或轨迹确实覆盖相关区域时才成立。

参考资料

• Andrew Gelman et al., Bayesian Data Analysis, 3rd ed., CRC Press, 2013, Chs. 10–13.
• Christian P. Robert and George Casella, Monte Carlo Statistical Methods, 2nd ed., Springer, 2004, Chs. 3–12.
• Jim Albert, Bayesian Computation with R, 2nd ed., Springer, 2009, Chs. 3–7.