矩母函数

矩母函数把矩组织为指数函数的 Taylor 系数：在零点附近指数矩有限时，可逐项取期望，再通过求导取出 $\mathbb{E}X,\mathbb{E}{X}^2,\dots$。参数的正负还对应两个尾部：$t>0$ 对大正值赋予更高权重，$t<0$ 则放大负尾；定义域因此记录分布能承受多强的指数加权。

独立性使矩母函数相乘。取对数后，$K_{X+Y}=K_X+K_Y$，所以累积量对独立和相加。特别地，$K_X^{\prime }(0)=\mathbb{E}X$、$K_X^{″}(0)=\mathrm{Var}(X)$，把熟悉的均值与方差相加纳入同一规则。

正态分布理路正态分布Normal distribution · Gaussian distribution · 高斯分布具有指数平方密度、在仿射变换与独立求和下封闭的概率分布族。 $N(\mu ,{\sigma }^2)$ 的 MGF 为 $M(t)=\exp (\mu t+{\sigma }^2{t}^2/2)$，对一切 $t$ 有限；标准正态情形从 $e^{t^2/2}=1+t^2/2+\cdots$ 逐项读出 $\mathbb{E}[X]=0$、$\mathbb{E}[X^2]=1$，方差理路方差Variance随机变量相对其均值的平方偏差期望，也是最佳常数平方预测的剩余误差。为 $1$。速率为 $\lambda$ 的指数分布理路指数分布Exponential distribution具有恒定失效率和连续无记忆性的非负等待时间分布。给出 $M(t)=\lambda /(\lambda -t)$，仅在 $t<\lambda$ 时有限——定义域是真区间，但仍含 $0$ 的邻域，矩展开与唯一性照常适用。

Cauchy 分布的 MGF 只在 $t=0$ 有限。对数正态分布则展示另一种情形：若 $X=e^Z$、$Z\sim N(0,1)$，则 $\mathbb{E}{X}^n=e^{n^2/2}$ 对每个整数 $n\ge 0$ 有限，但 $t>0$ 时，积分中的 $e^{t{e}^z}$ 最终压过正态尾的 $e^{-z^2/2}$，使 $M_X(t)=\mathrm{\infty }$。对应的矩级数也在每个 $t>0$ 处发散，因而不能从“各阶矩存在”得到零点附近的解析函数。

对数正态的矩序列还存在其他具有相同各阶矩的分布，因此矩序列与邻域内有限的 MGF 承载的信息不同。特征函数理路特征函数（概率）Characteristic function of a distribution随机变量的复指数矩，也就是概率分布的 Fourier 变换。则对任意分布存在，并由其全部实参数值唯一确定分布。

若 $X\sim \mathrm{Pois}(\lambda )$、$Y\sim \mathrm{Pois}(\mu )$ 且独立，则 $M_X(t)=\exp (\lambda (e^t-1))$、$M_Y(t)=\exp (\mu (e^t-1))$。乘积为 $\exp ((\lambda +\mu )(e^t-1))$，所以由 MGF 唯一性可识别 $X+Y\sim \mathrm{Pois}(\lambda +\mu )$，展示了Poisson 分布理路Poisson 分布Poisson distribution · 泊松分布以强度参数描述固定窗口内稀有事件计数的离散分布。对独立相加的封闭性。

MGF 还将指数矩转为尾概率：对 $t>0$，对 $e^{tX}$ 使用Markov 不等式理路Markov 不等式Markov's inequality非负随机变量超过阈值的概率由其期望除以阈值控制。给出 $\text{Pr}(X\ge a)\le e^{-ta}{M}_X(t)$，再对 $t$ 优化便是Chernoff 方法理路Chernoff 方法与 Chernoff 界Chernoff method · Chernoff bounds从指数矩与 Markov 不等式推导尾界，给出独立 Bernoulli 和的乘法形式、KL 形式及适用条件。。有界差分不等式理路有界差分不等式McDiarmid inequality · 有界差异不等式独立输入的函数若对单个坐标不敏感，其输出便以次高斯速度集中在期望附近。沿 Doob 鞅逐步控制条件指数矩，以同一思路处理独立输入的非线性函数。

在正则指数族中，相对于固定参数分布，自然统计量的对数 MGF 等于 log-partition 函数的参数增量：$K_{\theta }(t)=A(\theta +t)-A(\theta )$。因此 $A$ 的梯度给均值，Hessian 给协方差。独立标准正态平方的 MGF 相乘，还能识别卡方抽样分布理路卡方分布Chi-square distribution · Chi-squared distribution · χ² distribution若干独立标准正态变量平方和的分布，以自由度记录独立平方方向的数量。。

若一列 MGF 在零点的某个公共邻域内有限，并在那里逐点收敛到某个分布的 MGF，则可推出依分布收敛理路依分布收敛Convergence in distribution · Weak convergence分布函数在极限分布连续点处收敛的随机变量收敛概念。。在指数矩条件成立时，对标准化独立和作 Taylor 展开给出中心极限定理理路中心极限定理Central limit theorem适当归一化的独立随机变量和在分布上趋于正态分布。的一条证明路线。

Hedge理路指数权重与 HedgeHedge algorithm · exponential weights在全信息有界损失下按累计损失指数加权，并取得平方根级专家 regret。的指数势也可写成有限分布的指数矩：若按当前归一化权重 $p_i$ 抽取专家索引 $I$，则 $\sum _i{p}_i{e}^{-\eta {\ell }_i}=\mathbb{E}[e^{-\eta {\ell }_I}]$。指数矩界控制这个势函数逐轮的变化，进而得到累计损失界。

对于非 IID 随机量，可以先计算归一化对数矩母函数的极限，再尝试Gärtner–Ellis 定理理路Gärtner–Ellis 定理Gartner-Ellis theorem从极限对数矩母函数导出大偏差，但以可微性和陡峭性保证匹配下界。。极限存在还不够：不可微点可能掩盖多种竞争机制，完整下界还依赖本质光滑等条件。