形式陈述
设 是可测空间 上的概率分布公理库概率分布Probability distribution · Law可测空间上总质量为一的测度;随机变量的律是由样本概率推出的一类分布。, 是同一空间上的 -有限参考测度。若 对 绝对连续公理库测度的绝对连续Absolute continuity of measures当一个测度的零集必为另一个测度的零集时成立的支配关系。,记作 ,则Radon–Nikodym 定理公理库Radon–Nikodym 定理Radon–Nikodym theorem在标准 σ-有限条件下,把绝对连续测度表示为参考测度的积分密度。给出一个非负可测函数
使任意 都满足
称为 相对于 的概率密度。它只在 -几乎处处意义下唯一:在参考测度为零的集合上修改 ,不会改变任何事件概率。
实直线上通常取 Lebesgue 测度 。此时若 的密度为 ,则其分布函数公理库分布函数Cumulative distribution function · CDF实值分布在每个阈值左侧累积的概率,是非降右连续且端点极限为零和一的函数。满足
并且 几乎处处。例如在单个点修改 不改变积分,因而不改变 ;这个自由度正由“几乎处处相等”刻画。
直觉
密度描述单位参考体积附近的概率强度。点或区间的概率要用密度对相应集合积分;短区间 的概率在适当连续点附近约为 。因此密度值可以大于一,点概率仍可以为零。
参考测度规定了概率强度按什么单位计量。在有限或可数离散空间上取计数测度时,这个参考测度是 -有限的,密度就是概率质量函数;实线取 Lebesgue 测度时,密度具有长度倒数的量纲。坐标或参考测度变化后,密度与体积元同步变化,使事件概率保持不变。
例子与边界
若 ,则
密度最大值为 并不违反概率上界,因为整个支撑长度只有 ,总积分仍为一。令 ,对一一可微变换使用 Jacobian,
坐标拉伸使单位长度内的质量强度减半,概率质量没有改变。在熵积分绝对可积且 时,把同一换元用于密度的平均负对数,就得到微分熵公理库微分熵Differential entropy · 连续熵连续密度的平均负对数,连接测量尺度、细量化熵与固定方差下的高斯最大熵。的尺度公式 ;因此固定坐标单位是解释密度熵的一部分。
若 在相关区间严格单调、连续可微且 不为零,一维变换 满足
对有多条可微反函数分支、且分支上导数非零的映射,各分支贡献相加。例如 在 上均匀,。对 ,原像为 ,两支各贡献 ,所以 ;积分 ,保留了全部概率质量。
离散分布把正质量放在 Lebesgue 零测的单点上,因此没有 Lebesgue 密度;相对于计数测度则有质量函数。Cantor 分布同样集中在 Lebesgue 零集上,虽然每个单点质量都是零,也不对 Lebesgue 测度绝对连续。混合分布可以把原子质量、密度部分与奇异部分分别记录。
连续模型中,似然比较固定观测位置附近的概率强度。若密度在 连续,小区间概率约为 ,而单点概率仍为零。这使“密度高”与“该点有正概率”成为不同的量。
推论与应用
若 非负或可积,则
这将相对于分布的积分写成密度积分。若分布还有原子,则各原子贡献为函数值乘以原子质量;直接写 可同时处理这些部分。
在多维空间中,Jacobian 行列式控制变量变换的体积缩放。联合密度对其余坐标积分得到边缘密度;联合密度几乎处处等于边缘密度的乘积,等价于独立。
边缘密度存在并不意味着联合密度存在。例如 在 上均匀,令 ,两个边缘都均匀,联合分布却全部落在平面对角线上。这条线的二维 Lebesgue 测度为零,所以联合分布没有二维 Lebesgue 密度。
统计模型若被共同参考测度支配,就能把 在固定观测 下看作似然函数。核密度估计则从样本估计未知的 ;估计得到的曲线是随机对象,其平滑偏差、抽样波动与真实分布是否存在密度是三个不同问题。
参考资料
- Gerald B. Folland, Real Analysis, 2nd ed., Wiley, 1999, Chapter 3.
- Patrick Billingsley, Probability and Measure, 3rd ed., Wiley, 1995, Chapters 2–3.
- Sheldon Axler, Measure, Integration & Real Analysis, Springer, 2020, Chapter 8.