Sanov 定理

一种频率表的概率有两部分：拥有这张表的排列有多少，以及每个排列在原模型下有多大概率。熵计算排列数量，交叉熵计算单个排列的概率，两者相减后恰好留下相对熵。

有限表上，若 $n{q}_j$ 都是非负整数，多项式系数公理库多项式系数Multinomial coefficient把 n 个可区分对象分入若干有标号组时的计数系数 n!/(n1!⋯nk!)。计数相同频率表的有序样本，因此

类型计数给出 $(n+1{)}^{-r}{e}^{-nD(q\Vert p)}\le P(L_n=q)\le e^{-nD(q\Vert p)}$，而类型总数至多 $(n+1{)}^r$。可以不使用渐近阶乘公式来核验前一个界：在抽样律恰为 $q$ 时，该类型的概率是所有类型中的最大值，所以介于 $(n+1{)}^{-r}$ 与 $1$ 之间；换回抽样律 $p$，同类型的每条样本序列恰多出因子 $e^{-nD(q\Vert p)}$。最大值性质也可逐项验证：写 $k_j=n{q}_j$，当总计数为 $n$ 时，只需比较 $\prod _j{k}_j^{m_j}/m_j!$，每个正整数 $k_j$ 对应的因子在 $m_j=k_j$ 处达到最大；$k_j=0$ 则只允许 $m_j=0$。这些多项式因子在对数除以 $n$ 后消失。对闭集汇总各类型得上界，对开集选一串逼近目标分布的可实现类型得下界。一般 Polish 空间版本再用有限划分逼近和紧性控制，不能只把有限求和改为积分便算证明完成。

三种结果的真实概率为 $p=(1/2,1/4,1/4)$，研究第一类经验比例不超过 $1/4$。固定 $q_1=x$ 后，剩余质量 $1-x$ 分给第二、三类的最小成本方案保持原比例 $1:1$，即 $q_2=q_3=(1-x)/2$。

代入后，优化降为二元相对熵 $D(x\Vert 1/2)$。它在 $x<1/2$ 时随 $x$ 增大而减小，所以约束下的最小点是

闭约束与内部 $q_1<1/4$ 可逼近同一最小点，因此事件概率的对数除以 $n$ 趋于 $-I(q^{\ast })$。定理不仅给出成本，也指出异常样本最可能怎样把少掉的第一类质量重新分配。

若 $P$ 连续，有限样本经验测度对 $P$ 奇异，故每个实现的 $D(L_n\Vert P)$ 都为无穷。这不与 Sanov 矛盾：定理计算的是经验测度落入一个固定弱邻域的概率，不是把每个随机原子测度代入速率后当成其点概率。弱邻域可包含相对熵有限的连续分布。

换成依赖样本时，通常不能保留 $D(Q\Vert P)$ 作为完整速率。相同的一维边缘不代表相同的频率表概率，转移结构可能改变成本。

在有限字母表上，把 $Q$ 映到 $\sum _{j}g(j)q_j$ 连续，收缩原理公理库大偏差收缩原理Contraction principle沿连续映射转移大偏差原理，以所有原像中最小的速率作为输出成本。给出统计量速率 $\underset{Q:E_{Q}g=x}{inf}D(Q\Vert P)$。若再条件于稀有频率约束，最小相对熵分布将成为Gibbs 条件化原理公理库Gibbs 条件原理Gibbs conditioning principle在稀有经验约束下，以最小相对熵分布描述固定少量样本的渐近条件规律。的核心对象。