Skip to content

定理Theorem

大偏差收缩原理

Contraction principle

沿连续映射转移大偏差原理,以所有原像中最小的速率作为输出成本。

形式陈述 ​

已经知道样本摘要的稀有概率,怎样计算它的平方、范数或其他连续变换的稀有概率?收缩原理说明只需在原像上做一次最小化。

设 Xn 在Polish 空间 E 上以速度 an、良速率 I 满足大偏差原理。设 f:E→F 为到另一 Polish 空间的连续映射。则 Yn=f(Xn) 具有相同速度的 LDP,良速率为

J(y)=inf{I(x):f(x)=y},

空原像的下确界为 ∞。当 J(y)<∞ 时,良速率的紧性保证该下确界能达到。

直觉

输出 y 可能由多个不同输入产生。若只观测输出,就分不清输入走了哪条路线;事件会由成本最低的路线主导。因此要对所有原像取下确界,而不是任选一个逆函数,也不是把成本平均。

证明从集合原像开始。输出开集 G 的原像 f−1(G) 仍开,直接使用原 LDP 下界;闭集的原像仍闭,使用上界。因为 inff−1(A)I=infAJ,两个界正好具有所需形式。

还要确认 J 是良速率。给定有限 c,有 {J≤c}=f({I≤c}):非平凡方向取近似最优原像,由 I 的紧子水平集抽出收敛子列,再用连续性和下半连续性取得最优点。因此输出子水平集是紧集的连续像。

图中取 σ=1,原速率为 I(x)=(x−1)2/2。

例子与边界

设 Xn 为均值 1、方差 σ2>0 的 IID 高斯样本均值,其速率为 I(x)=(x−1)2/(2σ2)。令 Yn=Xn2。对 y>0,原像有 y 与 −y,所以

J(y)=min{(y−1)22σ2,(−y−1)22σ2}=(y−1)22σ2.

J(0)=1/(2σ2),y<0 时 J(y)=∞。正根更接近原均值,因此成本更低。若原高斯均值是零,两条路线成本相同,得到 J(y)=y/(2σ2),但 LDP 不会告诉两条路线各贡献多少前因子。

连续性不能省略。取确定序列 Xn=1/n,它具有速率 I(0)=0、其余点无穷的 LDP。令不连续函数 f(x)=1{x>0},则 f(Xn)≡1,真实零成本点为 1。若错误套用原像公式,因 f(0)=0 会把零成本分配给 0,完全反了。

良速率条件也有职责:在非紧情形,近似最优原像可能逃向无穷,导致输出速率的下半连续性需要额外处理。若函数只在某个有限速率区域连续,应调用相应推广并证明条件,不能默认为本页版本覆盖。

推论与应用

由Sanov 定理的经验测度 LDP 取连续统计量,可以导出多种统计摘要的速率。但弱拓扑下 ν↦∫xdν 对无界函数 x 一般不连续,所以不能无条件从 Sanov 一步推得无界样本均值的 Cramér 定理;指数矩控制或更强拓扑负责补足这个缺口。

参考资料
关系图谱21 个相邻概念 · 2 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
类型化关系