“在有限字母表上,把 $Q$ 映到 $\sum jg(j)q j$ 连续,收缩原理给出统计量速率 $\inf {Q:,E Qg=x}D(Q P)$。若再条件于稀有频率约束,最小相对熵分布将成为…”
形式陈述
已知一大批独立样本出现了异常统计结果,再回头看其中几项,它们会像从哪个分布抽出来的?Gibbs 条件化原理把这个问题转为一个最小相对熵问题。
采用有限字母表
再假设
上式中固定坐标的联合分布按总变差收敛。这里的条件分布由正概率事件上的条件概率定义;上面的有限成本与Sanov 下界保证
直觉
稀有约束允许很多种经验分布,最小相对熵的那一种花费最少指数成本。给定约束以后,更贵的方案相对概率会指数下降,所以典型条件样本集中在
对任何包含
条件概率是分子
例子与边界
原样本为 Bernoulli
原始成功率没有真的被改写;这是知道全样本异常以后,对少量样本作出的条件推断。
精确等式约束需要另外处理,因为它通常没有内部。若
有限
唯一性不能省略。对公平硬币,约束成功比例落在
推论与应用
线性均值约束下,最小相对熵分布常有指数族形式
参考资料
- Stefan Adams, 2023,§6.1, Conditional limit theorem for IID sequences。
- S. R. S. Varadhan,§1, Sanov’s Theorem。