Skip to content

矩母函数

Moment-generating function · MGF

在存在邻域内以 E[e^{tX}] 编码随机变量各阶矩的函数。

条目类型
定义

形式陈述

随机变量 X 的矩母函数(MGF)定义为

MX(t)=E[etX],

定义域为使该期望有限的全体 tR;由 MX 的凸性,定义域是包含 0 的区间,且 MX(0)=1。若 MX0 的某个开邻域内有限,则 X 的各阶矩全部存在,且在该邻域内

MX(t)=n=0E[Xn]n!tn,MX(n)(0)=E[Xn];

此时 MX 唯一确定 X 的分布。若 XY 独立且矩母函数在公共区间上有限,则 MX+Y=MXMY。累积量母函数定义为 KX(t)=logMX(t)

直觉

指数函数是一台"矩打包机":把 etX=ntnXn/n! 逐项取期望,所有整数阶矩就按 Taylor 系数的位置装进同一个函数,逐阶求导即可取出。参数 t 同时是一只倾斜旋钮:t>0etX 按指数放大大值样本的权重,所以 MX(t) 是否有限直接检验右尾轻重——尾部重到一定程度(如幂律尾),任何 t>0 都让期望爆炸。第三重身份来自独立性:MGF 本质上是分布的双边 Laplace 变换,把卷积变成乘法,独立和的分析交由函数乘法接管;取对数后,累积量母函数把乘法进一步化为加法,各阶累积量对独立和直接相加。矩的生成、尾部的度量、卷积的对角化——这三重身份解释了它在概率论各处反复出现的原因。

例子与边界

正态分布 N(μ,σ2) 的 MGF 为 M(t)=exp(μt+σ2t2/2),对一切 t 有限;标准正态情形从 et2/2=1+t2/2+ 逐项读出 E[X]=0E[X2]=1方差1。速率为 λ指数分布给出 M(t)=λ/(λt),仅在 t<λ 时有限——定义域是真区间,但仍含 0 的邻域,矩展开与唯一性照常适用。

反例划出适用边界。Cauchy 分布连 E|X| 都不存在,M(t) 在一切 t0 处发散,MGF 完全失效。更精细的是对数正态分布:它的所有正整数阶矩都有限,但对每个 t>0 都有 M(t)=——"各阶矩全部存在"推不出"MGF 在零邻域有限";而且对数正态的矩序列并不唯一确定分布,存在与它各阶矩完全相同的其他分布。这说明唯一性定理中"在零的邻域内有限"的假设是实质性的。相比之下,特征函数 E[eitX] 对任何分布都有定义且总能唯一确定分布,因此极限定理的严格证明多用特征函数;MGF 的价值在于其有限时提供更初等的通道。

Poisson 分布把乘法性质展示得最直接:XPois(λ)MX(t)=exp(λ(et1)),因此两个独立 Poisson 变量的和仍为 Poisson,参数相加。这里只保留 MGF 的识别作用;分布的参数、矩与稀有事件解释由 Poisson 页面统一给出。若只知道两个边缘分布都是 Poisson 而没有独立性,乘法步骤便不成立。

推论与应用

MGF 的第一用途是计算与识别:逐阶求导取矩,或从函数形状直接认出分布——独立正态和的 MGF 仍是正态型、独立 Poisson 和仍是 Poisson 型。第二用途是为Chernoff 方法提供指数矩接口;从指数 Markov 模板到参数优化与 Bernoulli 和的闭式界,都由该页统一陈述。对独立坐标的低敏感函数,有界差分不等式沿 Doob 鞅逐步控制条件指数矩,延续的是同一“指数矩换尾界”思路,而不是假定目标函数本身有一个普通单变量 MGF。

在正则指数族中,log-partition 函数本质上是自然统计量的对数 MGF,其梯度和 Hessian 给均值与协方差;标准 χ2抽样分布也可由 MGF 识别与相加。若 MGF 在零附近不存在,矩或特征函数方法仍可能工作,不能因此断言分布或估计极限不存在。

第三用途是极限定理:当各 MGF 在公共邻域内有限时,逐点收敛到某分布的 MGF 蕴含依分布收敛中心极限定理的初等证明正是对标准化和的矩母函数做 Taylor 展开取极限。Hedge也使用指数和与 log-sum-exp 势函数,但其中对专家索引的加权和是算法势能,不是某个随机变量的矩母函数;两者共享指数凸性技巧,不共享定义。

参考资料
  • Patrick Billingsley, Probability and Measure, 3rd ed., Wiley, 1995,Ch. 4, transforms and moments of random variables。
  • Sheldon Ross, A First Course in Probability, 10th ed., Pearson, 2019,Chs. 7–8, moment-generating functions and sums。
关系图谱9 个相邻概念 · 2 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
类型化关系