Skip to content

Metropolis–Hastings 算法

Metropolis–Hastings algorithm · MH algorithm

用正反提议概率修正候选移动的接受率,构造以给定未归一化目标为不变分布的转移核。

领域
统计学
条目类型
算法

形式陈述

设目标分布在状态空间 X 上有密度 π(x)=γ(x)/Z,其中只需能计算非负未归一化密度 γ。给定从当前状态 x 生成候选 y提议核 Q(x,dy);若对共同参考测度有密度,记为 q(yx)。一次更新先抽

Yq(Xt=x),

再以概率

α(x,y)=1γ(y)q(xy)γ(x)q(yx)

Xt+1=Y,否则令 Xt+1=x。比例常数 Z 在比值中消去。一般测度版本用联合测度 Π(dx)Q(x,dy) 与其交换坐标后的 Radon–Nikodym 比;密度式要求比值所在的正向与反向概率流可比较。若分母为正而分子为零,接受率为零;目标零质量状态通常不应作为有效初值。

所得转移核为

K(x,dy)=Q(x,dy)α(x,y)+r(x)δx(dy),r(x)=1Q(x,dy)α(x,y).

由于

π(x)q(yx)α(x,y)=min{π(x)q(yx),π(y)q(xy)},

正反流相等,故 K 满足细致平衡并保持 Π。这证明了目标不变,却没有证明遍历性。要把算法作为MCMC估计器,还需提议诱导的可接受移动使目标支持不可约,并排除妨碍边际收敛的周期性;拒绝产生的自环常有帮助,但若接受率处处为一则不能自动依赖它。

固定核下,有限轨道平均通常受初值偏差与自相关影响;在适当 Harris 遍历条件下才一致,在更强的几何遍历和矩条件下才有常规中心极限定理。运行中根据完整历史任意改变 q 会使链不再具有上述固定核证明;自适应 MH 需另证 diminishing adaptation 与 containment 一类条件。

直觉

提议核负责给出移动方向,Hastings 比率像双向收费表:若从 xy 被提议得太频繁,就降低这条方向的通过率,直到稳态下每对状态的净流量配平。拒绝不是浪费性的附属动作,而是补足留在 x 的概率,使整行转移概率仍为一并维持平衡。

对称随机游走满足 q(yx)=q(xy),接受率才简化为 1γ(y)/γ(x)。把这个简式用于独立提议、边界截断提议或有漂移的提议,会遗漏正反生成概率差异,目标分布随之改变。

例子与边界

取两点目标 π(0)=0.2,π(1)=0.8。提议核为

q(10)=0.9,q(01)=0.2,

其余概率留在原状态。由 0 提议 1 的接受率是

α(0,1)=10.8×0.20.2×0.9=89.

若均匀数为 0.70,本轮接受并到达 1。反向提议的接受率为 1;若下一轮确实提议 0 且均匀数为 0.30,便返回 0。稳态流量可逐项复算:0.2×0.9×(8/9)=0.16,恰等于 0.8×0.2×1。若错误地忽略提议比,两个方向都接受,所得平稳概率由提议核决定而非 (0.2,0.8)

支持结构可以让正确公式产生无用链。三状态上若提议只沿 abca 顺时针移动,则每条候选的反向提议概率为零,MH 接受率全为零,链永久停在初值。目标不变仍然成立,却完全不遍历。连续空间中,步长过小给出高接受率但强自相关;步长过大则大多拒绝。不存在脱离目标尺度的通用“最佳接受率”,渐近随机游走结果也不能当作有限维硬阈值。

多峰目标还有更隐蔽的失败:峰内局部提议的接受率和轨迹图都可能正常,跨峰概率却小到在预算内从未发生。加长 burn-in 不会改变提议跨越能垒的机制;需要重参数化、独立/混合提议、温度桥接或其他能实际连通模态的构造。

推论与应用

MH 的价值在于把“会提出候选”转成“保持指定目标的核”。独立提议适合已有全局近似,随机游走适合局部尺度均匀的目标,带梯度提议可沿高概率方向移动;每种选择仍必须保留完整 Hastings 修正并重新验证支持。

诊断应沿因果链展开:先检查对数目标与正反提议比的实现,再检查可达性和接受位置,最后按函数估计自相关误差。只报告总体接受率会把“在一个模态内移动顺畅”与“正确探索后验”混为一谈。若目标密度有离散与连续混合部分,必须用能支配相应联合测度的核,而不能把普通 Lebesgue 密度比硬套在原子质量上。

参考资料
  • Nicholas Metropolis et al., “Equation of State Calculations by Fast Computing Machines,” The Journal of Chemical Physics 21(6), 1953, pp. 1087–1092.
  • W. K. Hastings, “Monte Carlo Sampling Methods Using Markov Chains and Their Applications,” Biometrika 57(1), 1970, pp. 97–109.
  • Christian P. Robert and George Casella, Monte Carlo Statistical Methods, 2nd ed., Springer, 2004, Ch. 7.
关系图谱10 个相邻概念 · 3 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
类型化关系