弱典型集

一次随机输出可能落在很多位置，但绝大多数总概率质量可以集中在一批规模远小于全部字符串的序列上。弱典型集用“单串概率的指数尺度”识别这批序列：若每串约有 $2^{-nH}$ 的概率，而合计概率接近一，就需要约 $2^{nH}$ 条串来承载这些质量。

“约”在这里指每符号对数尺度。两条弱典型串的概率比仍可能接近 $2^{2n\epsilon }$；固定 $\epsilon$ 时，这个比值可以随 $n$ 指数增长。因此“渐近均分”不表示典型串的概率比趋于一。先取足够大的 $n$，再缩小 $\epsilon$，才能把每符号的规模误差压小。

弱典型性也不是“选最可能的一条串”。高概率的单串可能极少，合计质量仍很小；信息论关心的是一整个集合能承载多少概率，而不只是哪条串排第一。

偏置比特：频率窗口来自自信息计算 ​

取 Bernoulli$(1/4)$ 源。若一条串中 1 的比例为 $\hat{p}=k/n$，则

减去二元熵 $h_2(1/4)$ 后恰有

因此当 $n=100$、$\epsilon =0.08$ 时，典型条件等价于

其中容许偏差 $0.08/{\log }_{2}3\approx 0.050474$，恰好选出 $k=20,21,\dots ,30$。其概率与基数分别为

这里 $100H(X)\approx 81.13$，并不等于 ${\log }_2|A|$。典型集已经收集约八成概率，但尚不能把“渐近接近一”当作这个块长下的数值保证。保持同一 $\epsilon$、取 $n=1000$ 时，允许 $k=200,\dots ,300$，概率约为 $0.999772$；这是二项分布尾部计算得到的具体结果，不是 AEP 自动给出的收敛速度。此时 ${\log }_2|A|/1000\approx 0.8769$，仍明显高于 $H(X)\approx 0.8113$，但低于 $H(X)+0.08$；固定容差下不能把每符号对数基数直接当成熵。

全零串是这个源中单串概率最高的输出，但其单位自信息为 ${\log }_2(4/3)\approx 0.415$，远离 $H(X)\approx 0.811$，所以不在上述典型集中。大量每条都不如全零串常见的输出，合起来才承载主要概率质量。

公平比特：弱典型可以完全不检查频率 ​

公平比特源的每条长度 $n$ 串都具有概率 $2^{-n}$，其单位自信息恒为 $1=H(X)$。所以对任意 $\epsilon >0$，全部 $2^n$ 条串都弱典型，包括全零串。

这也说明弱典型性不能认证单条无限序列的随机性：全零序列的每个有限前缀都弱典型，它却不满足Martin-Löf 随机性理路Martin-Löf 随机性Martin-Löf randomness · 马丁–勒夫随机性以统一可枚举、概率预算趋于零的开集检验，定义单条无限比特序列的随机性，并构造通用检验。，因为“前 $n$ 位全零”的统一有效检验以 $2^{-n}$ 的概率预算逐层捕获它。

但全零串中 0 的频率是 $1$，远离源分布的 $1/2$，不会满足足够小容差下的强典型性理路强典型性Strong typicality · Strongly typical set · Type typicality在有限字母表上逐符号约束经验频率接近真实分布的典型性。。弱典型性只检查一个自信息标量，强典型性检查各符号频率；偏置二元源中二者能通过上面的仿射公式联系，不代表一般情形下定义相同。

适用范围 ​

可数字母表不妨碍上述计数：典型串的概率有严格正下界，总概率又至多为一，因此每个固定 $n,\epsilon$ 下的典型集仍然有限。关键条件是单字母熵有限，使自信息具有有限期望。

连续源的单点概率为零，需要用密度、区域体积与微分熵建立对应版本，不能照搬离散基数。非 IID 源也不能直接把单字母熵塞进上述乘积公式；它需要适当的熵率以及平稳遍历性或信息稳定性等假设。

概率集中与计数的证明 ​

令 $Z_i=-{\log }_2{P}_X(X_i)$，则 $Z_i$ 非负、IID，且 $\mathbb{E}{Z}_i=H(X)<\mathrm{\infty }$。序列的单位自信息就是

AEP 在这里来自对这些自信息应用大数定律理路强大数定律Law of large numbers · Strong law of large numbers · SLLN独立同分布且可积时，样本均值沿几乎每条无限样本路径收敛到共同期望。；无需额外假设自信息方差有限。若要用 Chebyshev 不等式进一步给出有限块长误差界，则必须另行验证有限方差，不能从定性的 AEP 自动读出速率。

基数上界则来自“每串至少占多少质量”：典型集若有 $M$ 条串，它的总概率大于 $M{2}^{-n(H+\epsilon )}$，而总概率至多为一。下界反过来使用“每串至多占多少质量”：要承载至少 $1-\delta$，就必须有至少 $(1-\delta )2^{n(H-\epsilon )}$ 条串。

于是，在典型集概率至少 $1-\delta$ 时，

固定容差只给出宽度约 $2\epsilon$ 的指数率窗口；再令容差趋零，才得到熵这一尺度。

固定率源编码：够用的索引与不够用的索引 ​

若编码速率 $R>H(X)$，选 $0<\epsilon <R-H(X)$。足够大的块长下，$2^{\lfloor nR\rfloor }$ 个码字能够给每条典型串分配不同索引，并留下一个索引报告非典型输入。接收者由索引恢复典型串，错误概率至多为非典型集概率，因而趋于零。这个构造证明码存在，不声称枚举典型集就是高效的工程实现。

反过来，若 $R<H(X)$，选 $0<\epsilon <H(X)-R$。任何至多有 $2^{nR}$ 个码字的定长编码，能够正确恢复的输入串至多有这么多条。它们在典型集中的概率总和至多为

加上非典型输入，完整成功概率界为

这说明熵阈值来自“可用索引数”与“承载主要概率所需串数”的冲突，而不只是某个编码方法恰好做得不够好。

信道编码还需联合或条件典型性；证明一旦使用逐符号频率，就应明确切换到相应的强典型定义。有限块长下的误差、复杂度和时延，则应由具体的非渐近界与编码方案承担。

若把有限块的源典型性与无限序列随机性比较，首先应固定同一个概率源。可计算测度下的随机性理路可计算测度下的随机性Randomness for computable measures按可计算源的真实柱集概率定义有效检验，手算偏置币预算，并说明可计算原子、零概率前缀和信息密度。按真实柱集概率设置检验预算；偏置币的自信息基准不再是每位一比特，可计算原子甚至可能是其测度下的随机点。