渐近等分性质

AEP 研究的是随机抽到的整条长序列的单位自信息。单个字母的概率可以差异很大，但沿一条典型样本路径，高自信息和低自信息项会按长期频率平均，最后稳定在熵附近。具体说，对任意固定 $\epsilon >0$，样本落入 $2^{-n(H+\epsilon )}\le P(x^n)\le 2^{-n(H-\epsilon )}$ 的概率趋于一。这一上下界的比值是 $2^{2n\epsilon }$，并不趋于一；“近似等分”只在指数尺度上成立，并不声称所有 $|\mathcal{X}{|}^n$ 条序列等概率。

IID 情形的证明机制 ​

令 $Z_i=-{\log }_{2}p(X_i)$。这些随机变量 IID，且

直接对 $Z_i$ 应用强大数定律理路强大数定律Law of large numbers · Strong law of large numbers · SLLN独立同分布且可积时，样本均值沿几乎每条无限样本路径收敛到共同期望。，便得到 $n^{-1}\sum _i{Z}_i\to H(X)$。证明的每一项都使用 IID 与可积性；对有记忆源不能继续把块概率拆成相同的单字母和。

可复算例：Bernoulli$(1/4)$ ​

若长度 $n$ 的序列含 $k$ 个 1，令 $\hat{p}=k/n$，则

当 $\hat{p}\to 1/4$ 时，右侧趋于

例如 $n=100$、$k=25$ 时单位自信息恰为 $0.8113$，而全零串的单位自信息只有 $-{\log }_2(3/4)\approx 0.4150$；后者不在熵附近，且其发生概率 $(3/4{)}^{100}\approx 3.21\times {10}^{-13}$。

假设缺失时的失败情形 ​

先以概率各 $1/2$ 选择隐藏参数 $\mathrm{\Theta }\in \{0.1,0.5\}$，再在给定 $\mathrm{\Theta }$ 后生成 IID Bernoulli$(\mathrm{\Theta })$ 序列。混合过程是平稳的，却不是遍历的；单位块自信息沿不同样本路径分别趋向 $h_2(0.1)\approx 0.4690$ 或 $h_2(0.5)=1$，而不是同一个常数。这说明“平稳”不能替代“平稳遍历”。

公平比特的每条长度 $n$ 序列都恰有单位自信息 $1$，所以全部序列都弱典型理路弱典型集Typical set · Weak typical set · Weakly typical set单位自信息接近熵、总概率趋近一的弱典型序列集合。；但强典型性理路强典型性Strong typicality · Strongly typical set · Type typicality在有限字母表上逐符号约束经验频率接近真实分布的典型性。仍会排除频率远离 $1/2$ 的串。AEP 控制自信息，不自动控制每个符号频率。

弱典型集理路弱典型集Typical set · Weak typical set · Weakly typical set单位自信息接近熵、总概率趋近一的弱典型序列集合。把 AEP 的随机变量收敛改写成“高概率集合、单串概率与集合基数”三条可用于计数的结论。无噪声编码定理理路无噪声编码定理Source coding theorem · Noiseless coding theorem独立同分布信源的无损压缩平均码率可以逼近但不能低于其熵。据此为高概率源块编号；随机信道编码则使用联合或条件典型性区分正确码字与错误码字。

对这样的弱典型集 $A_{n,\epsilon }$，单串概率下界给出 $|A_{n,\epsilon }|\le 2^{n(H+\epsilon )}$；若其总概率至少 $1-\delta$，单串概率上界又给出 $|A_{n,\epsilon }|\ge (1-\delta )2^{n(H-\epsilon )}$。这是把单位自信息转成压缩所需编号长度的关键一步。

AEP 是渐近定理，不给定具体块长下的尾概率、码率开销或错误保证。要回答短块问题，仍需浓缩不等式、信息谱或有限块长分析。