形式陈述

对 i.i.d. 离散源 $X_1,\ldots,X_n$$X_1,\dots ,X_n$，弱典型集可定义为

$$ A_\varepsilon^{(n)}=\left\{x^n:\left|-\frac1n\log P(x^n)-H(X)\right|<\varepsilon\right\}. $$$$A_{\epsilon }^{(n)}=\{x^n:|-\frac{1}{n}\log P(x^n)-H(X)|<\epsilon \}.$$

AEP 给出 $P(X^n\in A_\varepsilon^{(n)})\to1$$P(X^n\in A_{\epsilon }^{(n)})\to 1$。对每个弱典型序列，

$$ 2^{-n(H(X)+\varepsilon)}<P(x^n)<2^{-n(H(X)-\varepsilon)}, $$$$2^{-n(H(X)+\epsilon )}<P(x^n)<2^{-n(H(X)-\epsilon )},$$

从而 $|A_\varepsilon^{(n)}|\le2^{n(H(X)+\varepsilon)}$$|A_{\epsilon }^{(n)}|\le 2^{n(H(X)+\epsilon )}$，且当其总概率接近 1 时还有相应的指数级下界。强典型性改为约束经验频率，是相关但不同的定义。

直觉

单个最可能序列未必承载大部分概率；大量“普通”序列各自概率相近，它们合起来占据几乎全部质量。

例子与边界

公平比特源中几乎所有长度 $n$$n$ 序列都典型，数量约 $2^n$$2^n$；偏置源的典型序列中 1 的比例接近 $p$$p$，数量约 $2^{nH(p)}$$2^{nH(p)}$。有限 $n$$n$ 时典型集界含 $\varepsilon$$\epsilon$ 因子，不能把“约等于”当作精确相等。连续源需用微分熵和密度版本谨慎表述。

推论与应用

典型集把概率质量转化为有效序列数，是源编码、信道编码和信息论大数论证的核心工具。

参考资料

• Thomas M. Cover and Joy A. Thomas, Elements of Information Theory, 2nd ed., Wiley, 2006，Chs. 2–8。
• Claude E. Shannon, “A Mathematical Theory of Communication,” Bell System Technical Journal 27, 1948，Parts I–II。