Skip to content

概率密度函数

Probability density function · PDF

概率分布相对于指定参考测度的 Radon–Nikodym 导数。

条目类型
定义

形式陈述

μ 是可测空间 (S,S) 上的概率分布λ 是同一空间上的 σ-有限参考测度。若 μλ 绝对连续,记作 μλ,则Radon–Nikodym 定理给出一个非负可测函数

f=dμdλ

使任意 AS 都满足

μ(A)=Afdλ,Sfdλ=1.

f 称为 μ 相对于 λ 的概率密度。它只在 λ-几乎处处意义下唯一:在参考测度为零的集合上修改 f,不会改变任何事件概率。

实直线上通常取 Lebesgue 测度 dx。此时若 X 的密度为 fX,则其分布函数满足

FX(x)=xfX(t)dt,

并且 FX(x)=fX(x) 几乎处处。不能把“几乎处处”擅自加强为每一点:密度可以不连续,也可以在零测集上任意重定义。

直觉

密度描述单位参考体积附近的概率强度。点或区间的概率要用密度对相应集合积分;短区间 [x,x+h] 的概率在适当连续点附近约为 f(x)h。因此密度值可以大于一,点概率仍可以为零。

“相对于谁”是密度概念不可省略的一半。对离散空间取计数测度,密度就是概率质量函数;对实线取 Lebesgue 测度,密度具有长度倒数的量纲。改变坐标或参考测度会改变密度数值,但积分中的体积元同步变化,使事件概率保持不变。

例子与边界

XU[0,1/2],则

fX(x)=21[0,1/2](x).

密度最大值为 2 并不违反概率上界,因为整个支撑长度只有 1/2,总积分仍为一。令 Y=2X,对一一可微变换使用 Jacobian,

fY(y)=fX(y/2)|d(y/2)dy|=1[0,1](y).

坐标拉伸使单位长度内的质量强度减半,概率质量没有改变。

g 在相关区间严格单调、连续可微且 g 不为零,一维变换 Y=g(X) 满足

fY(y)=fX(g1(y))|ddyg1(y)|.

对多对一映射 g,必须把所有原像分支的贡献相加。只把 x 替换成 g1(y) 而漏掉 Jacobian,会破坏归一化,也会给出错误量纲。

离散分布对 Lebesgue 测度不绝对连续,所以没有普通实函数 PDF;Dirac delta 属于广义函数记号,不能充当 Lebesgue 可积密度。Cantor 分布每个单点质量为零,却仍没有 Lebesgue 密度。混合分布则可同时含原子、绝对连续和奇异部分,单个普通 PDF 无法承载全部概率。

即使两个密度在某一点取值不同,它们仍可能表示同一分布。比较不同参数下某个观测点的密度值可以形成似然,但该数值表示局部概率强度;连续观测恰好落在该点的概率通常始终为零。

推论与应用

g 非负或可积,则

E[g(X)]=Rg(x)fX(x)dx.

这只是分布积分在绝对连续情形下的坐标表示,期望仍由一般积分定义。若分布含原子,还应把原子质量对应的求和项一并加入,或直接对概率测度积分。

在多维空间中,变量变换由 Jacobian 行列式控制体积缩放。联合密度可以通过积分得到边缘密度;只有联合密度因子化为边缘密度乘积时,才可据此判断独立。两个边缘都有密度,并不保证联合分布对乘积 Lebesgue 测度有密度。

统计模型若被共同参考测度支配,就能把 pθ(x) 在固定观测 x 下看作似然函数。核密度估计则从样本估计未知的 f;估计得到的曲线是随机对象,其平滑偏差、抽样波动与真实分布是否存在密度是三个不同问题。

参考资料
  • Gerald B. Folland, Real Analysis, 2nd ed., Wiley, 1999, Chapter 3.
  • Patrick Billingsley, Probability and Measure, 3rd ed., Wiley, 1995, Chapters 2–3.
  • Sheldon Axler, Measure, Integration & Real Analysis, Springer, 2020, Chapter 8.
关系图谱21 个相邻概念 · 3 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
类型化关系