Gibbs 条件原理

稀有约束允许很多种经验分布，最小相对熵的那一种花费最少指数成本。给定约束以后，更贵的方案相对概率会指数下降，所以典型条件样本集中在 $q^{\ast }$ 附近。

对任何包含 $q^{\ast }$ 的开邻域 $U$，紧性、连续性和唯一性给出严格成本差

条件概率是分子 $P(L_n\in B\setminus U)$ 除以分母 $P(L_n\in B)$。Sanov 的上下界分别控制两者，成本差使该比值趋零。给定经验频率后，交换性使前 $k$ 个坐标相当于从这份频率表无放回抽样。用耦合法公理库耦合法Coupling method · Probability coupling在共同概率空间中构造具有指定边缘的随机变量，并用它们相遇的概率比较分布。把它与有放回抽样比较：先独立均匀抽取 $k$ 个位置，只要没有重复，两组位置可取成相同；发生重复时，另抽一组均匀无放回位置。共有 $(\genfrac{}{}{0ex}{}{k}{2})$ 对抽样次序，每一对抽到同一位置的概率为 $1/n$；由并合界公理库并集界Union bound · Boole 不等式多个坏事件中至少一个发生的概率，不超过各事件概率之和。，至少发生一次位置碰撞的概率至多 $k(k-1)/(2n)$，所以两种值向量的总变差也不超过这个数。固定 $k$ 时该误差消失，而有限单纯形上的 $q\mapsto q^{\otimes k}$ 连续；结合条件经验律集中于 $q^{\ast }$，便得到所需乘积分布。

原样本为 Bernoulli$(p)$，条件事件是 ${\bar{X}}_n\ge q$，其中 $p<q<1$。二元相对熵在 $[q,1]$ 上唯一最小于 $q$，内部可以逼近同一成本，所以

原始成功率没有真的被改写；这是知道全样本异常以后，对少量样本作出的条件推断。

精确等式约束需要另外处理，因为它通常没有内部。若 $0<p<1$，条件为 $\sum _{i=1}^n{X}_i=m_n$，其中 $m_n$ 是 $0\le m_n\le n$ 的整数且 $m_n/n\to q\in [0,1]$，则事件有正概率。交换性直接给出（第二式取 $n\ge 2$）

有限 $n$ 时两坐标仍相关，整个样本还受到总和约束；只有固定小块渐近独立。若 $nq$ 不是整数，却直接条件于总和等于 $nq$，事件概率为零，普通条件概率没有定义。

唯一性不能省略。对公平硬币，约束成功比例落在 $[0,q]\cup [1-q,1]$、$0<q<1/2$，有两个对称最小点。条件经验律可能分别集中在两端，少量样本的极限是相应乘积律的混合，不能任选一端作为答案。

线性均值约束下，最小相对熵分布常有指数族形式 $q_j\propto p_j{e}^{\theta g(j)}$，参数由约束决定。它与 Cramér 倾斜相连，但“约束后看起来像新分布”是一条条件极限定理，不是只写出一个最大熵优化就自动成立。