大偏差原理

事件可能通过很多不同的异常取值发生。指数尺度上，成本最低的实现方式支配整个事件，因而出现 $\underset{A}{inf}I$。开集下界允许在一个有利点周围放小邻域，闭集上界则防止概率从未控制的极限点漏进来；所选拓扑决定“靠近”与“边界”的含义。

${\mu }_n(A)\approx e^{-a_n\underset{A}{inf}I}$ 只是帮助理解的记号。即使对数极限已知，概率前面的 $n^{-1/2}$、常数因子以及有限样本相对误差都没有确定。

若 $Z_n$ 是独立 $N(0,{\sigma }^2)$ 样本的均值，其中 ${\sigma }^2>0$，则 $Z_n\sim N(0,{\sigma }^2/n)$，密度为

速度为 $n$，速率为 $I(x)=x^2/(2{\sigma }^2)$。对 $0<a<b$，积分中最小成本在靠近 $a$ 的位置：上界用整个区间上的最大密度，下界只积 $[a,a+\delta ]$，分别得到指数界 $-a^2/(2{\sigma }^2)$ 与 $-(a+\delta {)}^2/(2{\sigma }^2)$。令 $\delta \downarrow 0$，便有

这项计算说明整个区间不是由中点或宽度决定指数，而是由最便宜的边缘附近决定。

同一高斯例子中，单点事件 $\{a\}$ 的概率始终为零，尽管 $I(a)<\mathrm{\infty }$。它是闭集，所以得到上界 $-\mathrm{\infty }\le -I(a)$ 并无矛盾；其内部为空，下界没有内容。将 LDP 简写成每个点的概率都等于 $e^{-nI(a)}$ 会立即犯错。

速度也属于结论的一部分。$e^{-n}$ 与 $e^{-n^2}$ 在速度 $n$ 下分别有有限成本和无穷成本；改用 $n^2$，前者又成为零成本。速率函数可以有多个零点，也不必是凸函数；凸性来自某些模型，不能加入 LDP 的定义。

Cramér 定理公理库Cramér 大偏差定理Cramer theorem for large deviations以指数倾斜补足 Chernoff 上界，得到 IID 样本均值的完整大偏差速率。为 IID 样本均值提供 LDP，Sanov 定理公理库Sanov 定理Sanov theorem以相对熵刻画 IID 经验测度偏离总体分布的指数成本，有限字母表下可由类型计数推导。把对象扩展为经验测度。得到原始 LDP 后，可以通过收缩原理公理库大偏差收缩原理Contraction principle沿连续映射转移大偏差原理，以所有原像中最小的速率作为输出成本。计算连续统计量的速率，不必重新估计每个稀有事件。