形式陈述
若随机量不是 IID 样本均值,但仍能算出极限指数矩,是否还能得到大偏差?Gärtner–Ellis 定理给出一套可核验的充分条件。
设 、,速度 且 ,对所有 极限
存在于 。所有对数取自然对数。对每个固定方向 ,这里使用实随机变量 在参数 处的矩母函数理路矩母函数Moment-generating function · MGF在存在邻域内以 E[e^{tX}] 编码随机变量各阶矩的函数。,再取对数并归一化;无需来自单个 IID 因子。记 。假设 , 下半连续且本质光滑,即在 可微,并在内点趋向任何有限边界点时满足 ,其中 是通常欧氏内积下的梯度理路梯度Gradient标量函数微分在内积下对应的向量。。
则 以速度 满足LDP理路大偏差原理Large deviation principle · LDP用开集下界和闭集上界刻画概率的指数衰减,区分速率函数、拓扑与精确概率。,良速率为其凸共轭理路凸共轭与 Fenchel–Young 不等式Convex conjugate · Fenchel conjugate · Fenchel–Young inequality以线性函数的最佳配对代价定义共轭,并导出原变量与对偶变量间的基本不等式。
若 ,没有有限边界,陡峭性条件为空,但可微性仍需检查。
直觉
指数上界只需优化一个线性倾斜参数;下界则需要该参数真的能把目标 变成新分布的典型值。梯度关系 提供这个接口。不可微点可能隐藏多种竞争机制,有限域边界若不够陡,也可能留下倾斜参数无法到达的取值。
证明:倾斜集中与边界斜率
记 。Hölder 不等式理路Hölder 不等式Hölder's inequality共轭指数下函数乘积的 L¹ 范数由各自的 Lᵖ 范数乘积控制。使每个 凸,取极限后 也凸,且 。取 使各 位于有效域内;这些参数的极限矩有限,所以 Chernoff 指数矩方法理路Chernoff 方法与 Chernoff 界Chernoff method · Chernoff bounds从指数矩与 Markov 不等式推导尾界,给出独立 Bernoulli 和的乘法形式、KL 形式及适用条件。在各坐标给出指数紧性理路指数紧性Exponential tightness以任意强度的指数尾控制质量逃向无穷,将紧集上界升级为所有闭集上界。。同样
配合下半连续性说明 是良速率。在任一点选择使 接近 的参数,并在其小邻域使用同一 Chernoff 界,得到局部上界;紧集有限覆盖与指数紧性给出完整闭集上界。
梯度点下界。 取内点 ,令 。充分大的 时 有限,定义倾斜律
对每个坐标及足够小的正、负 ,
因此对任意固定 ,先选小的非零 ,再用正、负方向的 Chernoff 界,得到 指数趋零。这里用的是极限矩的可微性,没有假设 是 IID 平均。换回原律,在球内有
最后的等式来自凸共轭的梯度等号条件。对任何包含 的开集,令其中球半径趋零即得 ;不能在固定半径时提前删掉 。
本质光滑性排除边界次梯度。 使用凸次梯度理路次梯度与次微分Subgradient · Subdifferential以全局仿射下界刻画凸函数在不可微点的支撑斜率集合。的定义。若有限值边界点 存在 ,取内点 ,写 、、,其中 。两个次梯度不等式相加得 。选 使 全在内域。由 的次梯度不等式,
右侧因 而一致有上界,左侧的径向项也一致有下界。因此每个 一致有界,与 时的陡峭性矛盾。无限值边界点本来就没有次梯度,故 只在内域可能非空。
推广到全部有限成本点。 对 ,有限维闭凸函数在有效域相对内部存在次梯度,选 。 是正常、闭、凸函数,双共轭等于自身,故共轭次梯度反演给出 。前一步迫使 在内域,于是 ,已有其下界。这里不需要严格凸性,也不要求 满维。
再固定一个 。对任意 ,令 ,。把 周围有效域仿射包内的小球缩放 倍,便知 位于相对内部;凸性与下半连续性给出 。任意包含 的开集最终也包含 ,所以梯度点下界延伸到每个有限成本点,再取开集内下确界,得到完整 LDP。若删掉本质光滑性,这个延伸步骤不再自动成立。
例子与边界
让独立变量交替服从 Bernoulli 与 Bernoulli,其中 ,并令 为前 项平均。变量独立但不同分布。以 ,指数矩乘积给出
它在整条实轴有限且光滑,所以定理适用。零成本位置是 ,端点成本为 。直接计算全为一的概率也得到 ,其指数与该端点成本吻合。
一个明确反例是对所有 都令 等概率取 或 。速度 下
其凸对偶在整个 上为零,但真实随机量从来不进入 :真正速率只有在 为零,其余为无穷。若机械地取凸对偶,就给不可能的中间取值分配了零成本。失败点是 在零不可微,而非“矩母函数没算出来”。
矩母函数域也不可随意延伸。例如速率 的指数样本的 只在 有限;接近边界时导数发散,恰好满足陡峭性。把同一代数表达式越过 使用没有概率意义。
推论与应用
有限状态 Markov 加性统计量的极限指数矩常由倾斜转移矩阵的主特征值给出,随后仍需检查相应光滑性。定理的价值在于不要求 IID,边界则在于它输出凸速率;若模型具有真正的非凸速率,单靠对数矩母函数通常只能看见其凸化的信息。
参考资料