形式陈述

设 $X_1,X_2,\ldots$$X_1,X_2,\dots$ 是有限字母表上的 i.i.d. 离散源，概率质量函数为 $p$$p$，并以 2 为对数底。则

$$ -\frac1n\log P(X_1,\ldots,X_n) =\frac1n\sum_{i=1}^n[-\log p(X_i)] \xrightarrow{a.s.}H(X). $$$$-\frac{1}{n}\log P(X_1,\dots ,X_n)=\frac{1}{n}\sum _{i=1}^n[-\log p(X_i)]\stackrel{a.s.}{\to }H(X).$$

这是对信息量随机变量 $-\log p(X_i)$$-\log p(X_i)$ 应用强大数定律的直接结果。更一般的平稳遍历源由 Shannon–McMillan–Breiman 定理处理；仅有平稳性通常不足以得到同一个常数极限。

直觉

长序列的每符号惊讶度会稳定在熵附近，因此高概率序列在指数尺度上近似等概率。

例子与边界

Bernoulli$(p)$$(p)$ 源中，序列概率由其中 1 的个数决定；频率接近 $p$$p$ 时每符号负对数概率接近二元熵。AEP 不声称所有序列等概率，也不排除少量高概率或极低概率异常序列，只说随机抽到的序列几乎必然进入典型区。

推论与应用

AEP 支撑无失真压缩极限、随机编码和熵率的操作解释。

参考资料

• Thomas M. Cover and Joy A. Thomas, Elements of Information Theory, 2nd ed., Wiley, 2006，Chs. 2–8。
• Claude E. Shannon, “A Mathematical Theory of Communication,” Bell System Technical Journal 27, 1948，Parts I–II。