形式陈述
只在每个固定紧集内证明了大偏差上界,是否足以控制整条无界尾部?指数紧性正是补上这一步的条件。
设 的 Borel 分布公理库概率分布Probability distribution · Law可测空间上总质量为一的测度;随机变量的律是由样本概率推出的一类分布。位于同一Polish 空间公理库Polish 空间Polish space可分且可完全度量化的拓扑空间;用换度量、可数乘积和子空间例子区分拓扑性质与指定度量的完备性。,速度 且 。若对每个 ,都存在紧子集公理库紧空间Compact space每个开覆盖都能缩减为有限子覆盖的拓扑空间。 使
则称 在该速度下指数紧。这里可以先选想要的指数成本 ,再扩大紧集;紧集不能随 自由变化。
弱大偏差原理公理库大偏差原理Large deviation principle · LDP用开集下界和闭集上界刻画概率的指数衰减,区分速率函数、拓扑与精确概率。只要求所有开集的下界和紧集的上界。在 Polish 空间中,弱 LDP 加指数紧性可升级为完整 LDP,且原速率函数为良速率函数。
直觉
普通紧性要求逃出某个大盒子的概率很小;指数紧性要求它比事先指定的 还小到指数阶。研究稀有事件时,仅有一个百分之一的小尾部可能远大于目标事件,因此普通紧性不够。
对闭集 ,分解
两项和在对数尺度上的上极限不超过两个上极限的最大值。第一项用紧集上界,第二项用指数紧性,得到上界至多 ;再令 ,得到所有闭集所需的界。
为什么速率的子水平集紧?若 而 ,开集 的下界与指数紧性上界相冲突。所以 ;再用下半连续性知它是紧集中的闭集。
例子与边界
令 。Chernoff 指数矩方法公理库Chernoff 方法与 Chernoff 界Chernoff method · Chernoff bounds从指数矩与 Markov 不等式推导尾界,给出独立 Bernoulli 和的乘法形式、KL 形式及适用条件。给出 。给定 ,取 、,便满足速度 的指数紧性。因子 的对数除以 消失,半径直接由要求的指数成本决定。
反例令 的概率为 ,其余概率落在 。它依概率趋于零,分布族普通紧;但不妨将固定紧集扩大到包含零;它最终仍容不下点 ,所以
它在速度 下不指数紧。固定有限位置附近只看得到零点,候选局部速率为 、 对 ,并且紧集上界确实成立;可是闭集 的概率以次指数速度消失,完整上界要求的 却不成立。质量一直往外跑,绕过了每个固定紧集。
指数紧性不是“任意尾概率都超指数小”。紧集外的成本可以通过扩大紧集变得任意大,但固定紧集外通常仍只有一个有限指数成本。若状态空间本来紧,直接选整个空间,指数紧性自动成立。
推论与应用
在有限维空间中,零点附近的有限指数矩常能给出指数紧性:逐坐标用正负指数界,再取有限并集。无限维路径空间仅控制单时刻大小通常不够,还需控制路径振荡,保证所选集合真正紧。这是把有限维分布大偏差提升为路径大偏差时的一项关键工作。
参考资料