“设目标以未归一化概率密度 $\gamma$ 给出,$0<Z=\int\gamma(x)dx<\infty$,目标密度为 $\pi=\gamma/Z$。选择可直接采样、可求密度的提议 $q$,…”
形式陈述 ​
设
使任意
实直线上通常取 Lebesgue 测度
并且
直觉
密度描述单位参考体积附近的概率强度。点或区间的概率要用密度对相应集合积分;短区间
“相对于谁”是密度概念不可省略的一半。对离散空间取计数测度,密度就是概率质量函数;对实线取 Lebesgue 测度,密度具有长度倒数的量纲。改变坐标或参考测度会改变密度数值,但积分中的体积元同步变化,使事件概率保持不变。
例子与边界
若
密度最大值为
坐标拉伸使单位长度内的质量强度减半,概率质量没有改变。
若
对多对一映射
离散分布对 Lebesgue 测度不绝对连续,所以没有普通实函数 PDF;Dirac delta 属于广义函数记号,不能充当 Lebesgue 可积密度。Cantor 分布每个单点质量为零,却仍没有 Lebesgue 密度。混合分布则可同时含原子、绝对连续和奇异部分,单个普通 PDF 无法承载全部概率。
即使两个密度在某一点取值不同,它们仍可能表示同一分布。比较不同参数下某个观测点的密度值可以形成似然,但该数值表示局部概率强度;连续观测恰好落在该点的概率通常始终为零。
推论与应用
若
这只是分布积分在绝对连续情形下的坐标表示,期望仍由一般积分定义。若分布含原子,还应把原子质量对应的求和项一并加入,或直接对概率测度积分。
在多维空间中,变量变换由 Jacobian 行列式控制体积缩放。联合密度可以通过积分得到边缘密度;只有联合密度因子化为边缘密度乘积时,才可据此判断独立。两个边缘都有密度,并不保证联合分布对乘积 Lebesgue 测度有密度。
统计模型若被共同参考测度支配,就能把
参考资料
- Gerald B. Folland, Real Analysis, 2nd ed., Wiley, 1999, Chapter 3.
- Patrick Billingsley, Probability and Measure, 3rd ed., Wiley, 1995, Chapters 2–3.
- Sheldon Axler, Measure, Integration & Real Analysis, Springer, 2020, Chapter 8.