Cramér 大偏差定理

指数上界惩罚异常值；下界则换一个抽样规律，让原来的异常值成为新规律的平均值。然后计算从新规律换回原规律所付出的似然比，便看到这个异常事件确实需要、也只需要大约 $nI(x)$ 的指数成本。

若某个内点参数 $\theta$ 满足 ${\mathrm{\Lambda }}^{\prime }(\theta )=x$，定义倾斜分布

在该分布下，零附近的指数矩为 $e^{\mathrm{\Lambda }(\theta +t)-\mathrm{\Lambda }(\theta )}$，因而一阶绝对矩有限、平均值为 $x$。对倾斜后的 IID 样本使用强大数定律公理库强大数定律Law of large numbers · Strong law of large numbers · SLLN独立同分布且可积时，样本均值沿几乎每条无限样本路径收敛到共同期望。，得到 $P_{\theta }(|{\bar{X}}_n-x|<\delta )\to 1$。换回原分布，在该事件上有

取对数、除以 $n$，再让 $\delta \downarrow 0$，得到局部下界。一般边界点或不能直接表示为导数的点，需要凸性与截断逼近来完成证明；不能在矩母函数域外随意解导数方程。上界由Chernoff 方法公理库Chernoff 方法与 Chernoff 界Chernoff method · Chernoff bounds从指数矩与 Markov 不等式推导尾界，给出独立 Bernoulli 和的乘法形式、KL 形式及适用条件。、有限覆盖与指数紧性公理库指数紧性Exponential tightness以任意强度的指数尾控制质量逃向无穷，将紧集上界升级为所有闭集上界。给出。

令 $X_i\sim \mathrm{Bernoulli}(p)$，$0<p<1$。则 $\mathrm{\Lambda }(\theta )=\log (1-p+p{e}^{\theta })$。对 $0<q<1$，令导数等于 $q$，得到

倾斜后的 $P_{{\theta }_q}$ 恰为 Bernoulli$(q)$。因此在原来的 Bernoulli$(p)$ 世界里稀有的“平均值接近 $q$”，在新世界里以概率趋于一发生。上面的似然比下界把它带回去，证明相对熵不只是某个方便的上界指数，而是实际的大偏差成本。

在 $q=1$，事件“所有样本都为一”概率为 $p^n$，直接给出 $I(1)=-\log p$；$q=0$ 同理得到 $-\log (1-p)$。区间外不可能发生，速率为 $\mathrm{\infty }$。不能把趋于无穷的倾斜参数当作有限数代回导数式来跳过端点检查。

对 $p<q<1$，$I$ 在 $[q,1]$ 上的最小值为 $I(q)$，而开尾 $(q,1]$ 可由靠近 $q$ 的点逼近。因此 LDP 的上下界合拢，得到 $n^{-1}\log P({\bar{X}}_n\ge q)\to -D(q\Vert p)$。但单点 $\{q\}$ 可能因 $nq$ 不是整数而概率为零，所以不能照抄尾事件的等式。

若服务时长或损失具有正则变化重尾公理库正则变化函数Regularly varying function · Regular variation正则变化以缩放比值的幂函数极限刻画幂律，允许不改变幂指数的慢变化修正。，虽可能有有限方差，却没有零附近的有限正指数矩，本定理的假设不满足。对于固定项数的独立非负和，次指数分布公理库次指数分布Subexponential distribution · Principle of a single big jump次指数重尾的固定有限和超过高门槛时，主要由一个分量单独超过门槛造成，其和尾渐近为单项尾的项数倍。以卷积尾等价精确表达“一次大跳”机制；要再让项数随门槛增长，需要额外的统一控制。中央极限定理成立并不能替代这里的指数矩条件。

指数倾斜也能用于稀有事件仿真，但必须保留似然比才能无偏地估计原概率。若研究非 IID 序列，可尝试Gärtner–Ellis 定理公理库Gärtner–Ellis 定理Gartner-Ellis theorem从极限对数矩母函数导出大偏差，但以可微性和陡峭性保证匹配下界。；仅存在极限对数矩母函数时，匹配下界仍需要额外的光滑性与边界条件。