Skip to content

定理Theorem

Varadhan 积分引理

施工中 · 内容逐步修订

Varadhan integral lemma

由大偏差速率计算指数积分的主导增长率,把概率成本与指数奖励相减后最大化。

形式陈述 ​

若每个状态获得指数级奖励,哪些状态主导期望值?最常见状态不一定获胜,奖励可以补偿它的概率成本。

设 Xn 在Polish 空间上以速度 an→∞、良速率 I 满足LDP。对有界连续实函数 f,Varadhan 积分引理给出

limn→∞1anlog⁡Eeanf(Xn)=supx{f(x)−I(x)}.

若 f 无界但连续,一个足够的尾部条件是

limM→∞lim supn1anlog⁡E[eanf(Xn)1{f(Xn)>M}]=−∞.

满足它时仍可用同一公式。这里控制的是加权后的指数尾积分,不只是 P(f(Xn)>M)。

直觉

概率约为 e−anI(x),奖励约为 eanf(x),相乘后贡献约为 ean(f−I)。在指数尺度上,求和或积分会挑出最大的净增长指数,因此最优化对象是 f−I。

证明:值域分层与加权尾部 ​

记 S=supx(f(x)−I(x))。固定有限成本点 x 和 δ>0,连续性给出包含 x 的开集 U,其上 f≥f(x)−δ。因此

lim infnan−1log⁡Eeanf(Xn)≥f(x)−δ−infUI≥f(x)−δ−I(x).

令 δ↓0 并对 x 优化,得下界;这一步不需要 f 有界。

若 f 有界,将其值域用有限个闭区间 [tj,tj+δ] 覆盖。原像 Fj={tj≤f≤tj+δ} 闭,故 LDP 上界给出

lim supnan−1log⁡Eeanf(Xn)≤maxj{tj+δ−infFjI}≤S+δ.

这里允许分层相交,因为只需积分的上界;每个非空层上 f≥tj,所以最后一个不等式成立。令 δ↓0 即完成有界情形。

若 f 仅有上界而无下界,先分出 {f<−K},其贡献至多 e−anK,其余部分仍能有限分层。得到上界 max{−K,S+δ},再令 K→∞、δ↓0。一般连续 f 则用 f∧M 处理下方部分:

Eeanf(Xn)≤Eean(f∧M)(Xn)+E[eanf(Xn)1{f(Xn)>M}].

第一项的极限上界至多 S,第二项由所声明的加权尾条件在 M→∞ 后任意指数小。结合下界便得结论。这个顺序也处理了 f 向负无穷无界的情形,无需暗中添加下界假设。

例子与边界

令 Xn 是 Bernoulli(p) 样本均值,其中 0<p<1,I(x)=D(x‖p) 在 [0,1] 上。取 f(x)=θx,在这个紧区间上有界,则

sup0≤x≤1{θx−D(x‖p)}=log⁡(1−p+peθ).

求导令 θ=log⁡(x(1−p)/(p(1−x))),得到主导位置

xθ=peθ1−p+peθ.

代回后得到右侧。还可以直接核验:EenθXn=(1−p+peθ)n。两条计算吻合,说明指数奖励把主导经验比例从 p 移到 xθ。

无界奖励若没有尾控制会失败。令 P(Xn=n)=e−n2,其余质量在零。速度 n 下,Xn 的良速率为 I(0)=0、其他位置为无穷。取连续函数 f(x)=x2,变分右侧为零;但

Eenf(Xn)=1−e−n2+en3−n2,

其对数除以 n 趋于无穷。逃到极远处的概率虽然超指数小,奖励却更大。LDP 本身没有许可忽略这种被奖励放大的尾部。

积分引理也不给出最大点唯一性。若 f−I 有多个最大点,指数增长率仍确定,但质量在这些点间怎样分配需要更细的信息。

推论与应用

例如取有界连续 f,将原分布乘上 eanf 并归一化,得到倾斜分布。归一化常数的指数为 S。对闭集 F,把上面每层换成闭集 F∩Fj,得到未归一化积分的上界 supF(f−I);对开集则在其中选取小邻域,得到对应下界。因此新速率是

If(x)=I(x)−f(x)+S.

它非负且下半连续,且 {If≤c}⊆{I≤c+‖f‖∞−S},所以是良速率。这把概率中的换测度与统计物理的能量、熵竞争连接起来。

参考资料
关系图谱25 个相邻概念 · 1 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组