Metropolis–Hastings 算法

形式陈述 ​

设目标分布在状态空间 $\mathcal{X}$ 上有密度 $\pi (x)=\gamma (x)/Z$，其中 $0<Z<\mathrm{\infty }$，只需能计算非负未归一化密度 $\gamma$。给定从当前状态 $x$ 生成候选 $y$ 的提议核理路概率核（Markov 核）Probability kernel · Markov kernel · 转移核从每个输入状态可测地指定一个输出概率分布的映射。 $Q(x,dy)$；本段假设目标和提议相对同一参考测度具有可测、有限的密度版本，提议密度记为 $q(y\mid x)$。一次更新先抽

再以概率

令 $X_{t+1}=Y$，否则令 $X_{t+1}=x$。上述比值只在正向流 $\gamma (x)q(y\mid x)>0$ 处计算；分子为零时接受率为零，正向流为零处约定 $\alpha (x,y)=0$，不计算 $0/0$。本页从 $\gamma (x)>0$ 的状态启动；对这样的固定状态，$q(y\mid x)=0$ 的候选集合具有提议概率零。比例常数 $Z$ 在有效比值中消去。

一般测度版本不必假设反向流对正向流绝对连续。令 $M(dx,dy)=\mathrm{\Pi }(dx)Q(x,dy)$，$M^{\mathrm{rev}}$ 为它交换坐标后的测度，并取共同支配测度 $\nu =M+M^{\mathrm{rev}}$。由Radon–Nikodym 定理理路Radon–Nikodym 定理Radon–Nikodym theorem在标准 σ-有限条件下，把绝对连续测度表示为参考测度的积分密度。取密度 $f=dM/d\nu$、$g=d{M}^{\mathrm{rev}}/d\nu$；可选 $g(x,y)=f(y,x)$。在 $f>0$ 处取 $\alpha =min\{1,g/f\}$，在 $f=0$ 处取零，则接受流为

它在交换坐标下不变。只有正向流而没有反向流的部分自动被拒绝，因此奇异的单向提议也有明确处理。Tierney 的一般状态空间构造给出这一共同支配与对称流机制。

所得转移核为

由于

正反流相等，故 $K$ 满足细致平衡理路可逆链与细致平衡Reversible Markov chain · Detailed balance由相反方向概率流逐边平衡所刻画的 Markov 链时间反演对称性。并保持 $\mathrm{\Pi }$。这证明了目标不变，却没有证明遍历性。要把算法作为MCMC理路Markov 链 Monte CarloMarkov chain Monte Carlo · MCMC构造以目标分布为不变分布的 Markov 转移，并用一条遍历轨道的时间平均估计目标期望。估计器，还需提议诱导的可接受移动使目标支持不可约，并排除妨碍边际收敛的周期性；拒绝产生的自环常有帮助，但若接受率处处为一则不能自动依赖它。

一次常规密度版更新需要一次提议抽样、候选点的一次目标评值，以及正反两个提议密度的评值；当前点的目标值可缓存，接受后用候选值替换，拒绝后继续保留。实际时间是这些操作的成本之和，再加接受判断，而非无条件的常数时间；保存当前点与候选点另需与状态维数同阶的空间，提议器内部工作区另计。

固定核下，有限轨道平均通常受初值偏差与自相关影响；在适当 Harris 遍历条件下才一致，在更强的几何遍历和矩条件下才有常规中心极限定理。运行中根据完整历史任意改变 $q$ 会使链不再具有上述固定核证明；自适应 MH 需另证 diminishing adaptation 与 containment 一类条件。