形式陈述
设目标以未归一化概率密度公理库概率密度函数Probability density function · PDF概率分布相对于指定参考测度的 Radon–Nikodym 导数。 给出,,目标密度为 。选择可直接采样、可求密度的提议 ,并找到已证明有效的有限常数 ,使
在参考测度几乎处处成立。这个包络条件同时要求 覆盖 的支持。每轮独立生成 与 ;均匀随机数公理库均匀分布Uniform distribution在有限集合或有限正测度区域上按计数或体积等比例分配概率的分布。满足
时接受 ,否则丢弃并重试。输入是 与所需样本数,状态只需当前候选;输出是达到数量要求的接受值。若预算有限,还必须报告尝试次数和未完成状态,不能把“尚未接受”当成目标样本。
接受一个落在 内的候选的联合概率为
因此,给定“接受”后, 的密度正是 ;总体接受概率为 。各轮候选与均匀数独立,所以依次保留的接受值也是 IID 目标样本。结论不需要知道 ,却严格依赖包络上界。算法用于后验计算公理库后验计算Posterior computation · Bayesian computation从先验与似然给出的未归一化后验出发,计算归一化常数、后验期望、概率、样本或可控近似的任务框架。时,所得样本没有 burn-in,也不因拒绝次数不同而需要额外权重。
若以一般测度书写,需有目标有限测度 ,且 ;密度公式只是这项条件在共同参考测度下的版本。 越接近最小本质上界,接受率越高。试验次数直到一次接受服从成功概率 的几何分布,期望成本为 次候选评值。
直觉
把 看成盖住目标曲线 的屋顶:先按屋顶的水平投影选择位置,再在屋顶高度内均匀取一点;落在目标曲线下方才保留。提议访问过多的地方,目标与屋顶之比小,候选多被拒绝;目标相对高的地方更常通过。条件在“通过”这一事件上后,剩下的横坐标恰按目标面积分布。
拒绝不引入相关性,因为失败轮没有成为下一轮的状态。代价完全表现为随机运行时间。若屋顶在大部分区域远高于目标,算法仍然正确,只会把计算耗在丢弃候选上。
例子与边界
在 上令 ,所以 ;取 。三个比值 为 ,可取最紧常数 ,接受概率为 。若第一轮抽到 且 ,阈值为 ,故接受 。下一轮若抽到 且 ,阈值为 ,故拒绝。逐点的“提议概率乘接受率”是 ;归一化后正好得到目标 。
若误取 ,状态 的所谓接受概率变成 。把它偷偷截成 会使 的保留质量从应有的 降到 ,结果不再是目标分布。包络必须在运行前由数学界或可验证的全局优化保证;只在若干网格点检查,不能证明连续空间上没有漏峰。
有限包络可能根本不存在。标准正态目标配一个方差 的正态提议时,提议尾部衰减更快, 随 增大而无界。高维中即使每一维都有良好包络,独立乘积的整体接受率也会相乘;单维接受率 在 维变成 。这不是实现慢,而是包络几何随维数恶化。
推论与应用
拒绝采样把“精确分布”换成“可证明包络与随机成本”。当目标低维、对数凹或有自然重尾提议时,先构造紧包络再独立采样,能够提供检验其他近似算法的基准。若只能找到分片包络,可先按各片屋顶面积选片,再在片内执行同一条件化论证;正确性仍来自覆盖与面积比例,而非分片数量。
当 很小或比值无界时,继续微调循环通常没有意义。此时重要性采样保留所有候选并用权重承认失配,MCMC 则用相关轨道逐步进入目标区域;二者改变了误差与成本结构,不能再声称输出是固定成本下的 IID 精确样本。选择方法前应先问能否证明有限且足够紧的包络。
参考资料
- Luc Devroye, Non-Uniform Random Variate Generation, Springer, 1986, Ch. II, rejection methods.
- Christian P. Robert and George Casella, Monte Carlo Statistical Methods, 2nd ed., Springer, 2004, §2.3, accept-reject algorithms.
- George S. Fishman, Monte Carlo: Concepts, Algorithms, and Applications, Springer, 1996, Ch. 3, random variate generation.