Markov 链 Monte Carlo

形式陈述 ​

设目标概率测度 $\mathrm{\Pi }$ 定义在 $(\mathcal{X},\mathcal{F})$ 上，通常只知道 $\pi (x)=\gamma (x)/Z$ 中的未归一化密度 $\gamma$。MCMC 构造从 $\mathcal{X}$ 到自身的Markov 链公理库Markov 链Markov chain未来条件分布在给定当前状态后与更早历史无关的随机过程。转移核 $K$，满足不变性

$$\mathrm{\Pi }K(A)={\int }_{\mathcal{X}}K(x,A)\mathrm{\Pi }(dx)=\mathrm{\Pi }(A),A\in \mathcal{F}.$$

也就是说，$\mathrm{\Pi }$ 是 $K$ 的平稳分布公理库平稳分布Stationary distribution经马尔可夫转移后保持不变的状态分布。。常用的充分构造条件是细致平衡公理库可逆链与细致平衡Reversible Markov chain · Detailed balance由相反方向概率流逐边平衡所刻画的 Markov 链时间反演对称性。

$$\mathrm{\Pi }(dx)K(x,dy)=\mathrm{\Pi }(dy)K(y,dx),$$

但不变性并不要求可逆，存在带稳态概率环流的有效非可逆核。

给定初值 $X_0\sim \mu$，按 $X_{t+1}\sim K(X_t,\cdot )$ 迭代，并以

$${\hat{I}}_T=\frac{1}{T}\sum _{t=1}^{T}f(X_t)$$

估计 $I={\mathbb{E}}_{\mathrm{\Pi }}f$。仅有不变性还不够：还要排除与目标不沟通的闭类。一般状态空间常要求 $\mathrm{\Pi }$-不可约、正常 Harris 返；若还要边际分布从任意初值趋向 $\mathrm{\Pi }$，通常加非周期性。对 $\mathrm{\Pi }$ 可积的 $f$，相应Markov 链遍历定理公理库马尔可夫链时间平均遍历定理Ergodic theorem for Markov chains不可约正常返 Markov 链的一条长轨道，其可积观测时间平均几乎必然趋于平稳平均。给出轨道平均的一致性。有限 $T$ 且非平稳初值时，估计通常有初值偏差；丢弃 burn-in 只能衰减它，不能在有限步后证明为零。

若链满足适当的几何遍历与矩条件，才可写出中心极限定理

$$\sqrt{T}({\hat{I}}_T-I)\Rightarrow N(0,{\sigma }_f^2),{\sigma }_f^2={\gamma }_0+2\sum _{k\ge 1}{\gamma }_k,$$

其中 ${\gamma }_k={\mathrm{Cov}}_{\mathrm{\Pi }}(f(X_0),f(X_k))$。相关样本使方差不再是 ${\gamma }_0/T$；协方差级数是否收敛是额外结论，不可由“轨迹看起来平稳”代替。后验计算公理库后验计算Posterior computation · Bayesian computation从先验与似然给出的未归一化后验出发，计算归一化常数、后验期望、概率、样本或可控近似的任务框架。中，Metropolis–Hastings公理库Metropolis–Hastings 算法Metropolis–Hastings algorithm · MH algorithm用正反提议概率修正候选移动的接受率，构造以给定未归一化目标为不变分布的转移核。、Gibbs 采样公理库Gibbs 采样器Gibbs sampler · Gibbs sampling轮流从目标联合分布的全条件分布抽取坐标，以条件更新组成保持联合目标不变的 Markov 核。、切片采样公理库切片采样Slice sampling · Slice sampler通过在未归一化密度图像下引入高度变量，交替抽取水平切片和切片内位置来构造目标不变核。与Hamiltonian Monte Carlo公理库Hamiltonian Monte CarloHamiltonian Monte Carlo · Hybrid Monte Carlo · HMC在位置—动量扩展空间用近似 Hamilton 轨迹提出远距离候选，并以能量误差作 Metropolis 校正。分别给出不同的具体核。

直觉

IID 采样要求一次跳到完整目标；MCMC 只要求每一步局部搬运概率质量而不改变总体目标。轨迹因而可以用上一状态寻找下一状态，绕开直接归一化或直接采样。代价是相邻点共享历史：一串相似样本不是许多次独立确认，而可能只是一次缓慢移动被重复记录。

不变性回答“若已经在目标上，走一步是否仍在目标上”；遍历性回答“从当前起点能否忘掉初始状态并探索全部目标”。两者缺一不可。接受率、步长与轨迹图只描述某些局部行为，不能单独证明这两个全局命题。

例子与边界

令目标为三点分布 $\pi (a,b,c)=(0.1,0.3,0.6)$。从当前状态均匀提议另外两点，并按 $min\{1,\pi (y)/\pi (x)\}$ 接受。由 $b$ 提议 $a$ 时接受率 $1/3$；若本轮均匀数为 $0.50$，链拒绝并留在 $b$。下一轮提议 $c$，接受率为 $1$，链移动到 $c$。因此前两次记录是 $(b,c)$，对 $f=(0,1,2)$ 的暂时均值为 $1.5$；这个巧合不等于已经收敛。

逐边可核对 $K(b,a)=\frac{1}{2}\cdot \frac{1}{3}=1/6$、$K(a,b)=1/2$，故 $\pi (b)K(b,a)=0.05=\pi (a)K(a,b)$。拒绝产生的自环还打破潜在周期。完整核有限、不可约且有自环，所以目标是唯一平稳分布，时间平均才有长期保证。

反例是恒等核 $K(x,\cdot )={\delta }_x$。它使每个分布都不变，当然也使 $\mathrm{\Pi }$ 不变；但链从哪里出发就永远停在哪里，估计量恒为 $f(X_0)$。另一个实际边界是相隔很远的双峰目标：局部随机游走在单峰内接受率可能很漂亮，却在整个运行中从未越过低密度谷。此时单链的自相关诊断甚至可能乐观，因为它根本没有见过另一种尺度的变动。

推论与应用

设计 MCMC 核的逻辑顺序应是：先证明目标不变，再证明状态空间可达与返性，最后研究有限预算下的混合和方差。把次序反过来，用高接受率挑核，可能优化一个与目标覆盖无关的数字。多个分散初值、函数特定的有效样本量公理库Monte Carlo 有效样本量Effective sample size for Monte Carlo · Monte Carlo ESS · ESS以方差匹配把权重集中或序列相关造成的信息损失折算成理想独立等权样本数的诊断量。和尾部事件检查只能提供反证线索，不能把有限输出升级成普遍收敛证明。

对层级后验，局部条件结构可产生 Gibbs 核；可微连续目标可借 Hamiltonian 轨迹减少随机游走；没有梯度但能评估密度时可用 Metropolis 或切片核。方法选择取决于可用接口与几何，而不是维数口号。无论采用哪种核，后验函数的 Monte Carlo 误差都应按相关轨道估计，并与模型不确定性分开报告。

参考资料

• Steve Brooks, Andrew Gelman, Galin L. Jones, and Xiao-Li Meng, eds., Handbook of Markov Chain Monte Carlo, CRC Press, 2011, Chs. 1–6.
• Christian P. Robert and George Casella, Monte Carlo Statistical Methods, 2nd ed., Springer, 2004, Chs. 6–12.
• Andrew Gelman et al., Bayesian Data Analysis, 3rd ed., CRC Press, 2013, Chs. 11–12.