有噪信道编码定理

长码把每条消息映成整个输入块，而不是逐 bit 独立保护。低于容量时，可以让不同码字对应的典型输出区域几乎不重叠；高于容量时，输出所能保留的互信息不足以区分指数多条消息。可靠指整块消息译码错误趋零，不要求信道中的每个符号都未被扰动。

“低于容量”只断言存在一列越来越长的好码。“高于容量”则断言没有任何码列能让错误趋零。可达性与逆定理的量词方向不同，缺一项都不能把 $C$ 称为精确阈值。

Achievability 的证明机制 ​

选一个满足 $I(X;Y)>R$ 的输入分布，随机独立生成约 $2^{nR}$ 个码字，并用联合典型译码。真实码字与输出不典型的概率由AEP公理库渐近等分性质Asymptotic equipartition property · AEP离散无记忆源的长序列每符号信息量几乎必然收敛到熵。趋于零；每个错误码字与输出偶然联合典型公理库弱典型集Typical set · Weak typical set · Weakly typical set单位自信息接近熵、总概率趋近一的弱典型序列集合。的概率约为 $2^{-nI(X;Y)}$。对约 $2^{nR}$ 个错误码字作 union bound，得到指数阶

随机码平均性能趋好，故至少存在一个确定码本；需要最大错误准则时再作 expurgation。这个证明给存在性，不自动给高效构造。

Converse 的证明机制 ​

均匀消息满足 Markov 链 $M\to X^n\to Y^n\to \hat{M}$。Fano 不等式公理库Fano 不等式Fano's inequality用估计错误概率上界条件熵，从而把信息不足转化为推断下界。与数据处理不等式公理库数据处理不等式Data processing inequality对 Markov 链 X→Y→Z，有 I(X;Z)≤I(X;Y)。给出

DMC 的无记忆性和单字母容量再给

即使码字坐标相关也成立。因此

若错误趋零，取极限便得速率不超过 $C$。

可复算例：BSC$(0.1)$ ​

该信道容量为

所以任意固定 $R=0.5<C$ 都存在块错误趋零的码列；固定 $R=0.6>C$ 则不可能可靠，强逆定理还给出错误趋一。

低速率并不让任意代码变好。三重重复码以 000,111 传一个 bit，码率 $1/3$，多数译码错误概率为

若把长消息的每一 bit 独立使用这段码，含 $k$ 个消息 bit 的块错误概率为

尽管 $1/3<C$。定理承诺的是存在设计得当的长块码，不是重复任意短码就会可靠。

边界与失败情形 ​

定理不规定 $R=C$ 时的所有边界行为，也不从 $R<C$ 自动推出指定 $n$ 的错误率。有限块长要同时分析速率、目标错误概率和时延；编码与译码复杂度也不在 Shannon 存在性定理中。

有记忆、连续、多用户或带输入代价的信道必须重写容量与证明假设。单用户 DMC 的平均错误到最大错误 expurgation 也不能未经验证直接移植到多用户网络。

定理确立了信道容量公理库信道容量Channel capacity对输入分布最大化输入与输出互信息所得的每次使用信息率。的操作意义，并为纠错码设计给出目标。LDPC、Turbo 与极化码等构造不仅要接近容量，还要控制复杂度、有限长度错误和时延；这些是基本定理之外的额外保证。

与源编码结合时，还要换算每个源符号使用多少次信道。只有在模型满足相应独立性与渐近条件时，才可用“源率低于信道可供率”连接两条编码定理。