信道容量

信道固定了“给定输入后会看到什么输出”，发送者仍可选择各输入字母出现的统计规律。容量选择最能让输出区分输入的那一个分布。对称信道常由均匀输入最优，非对称信道则未必如此，因此不能跳过最大化直接把某次算出的互信息叫容量。

容量的操作意义需要编码定理：它是块长趋于无穷、块错误概率趋于零时可达码率的阈值。它不是某个具体码的速率，也不是一次信道使用绝对无误地携带的 bit 数。

BSC 最大化的证明机制 ​

对 BSC$(p)$，令 $q=P(X=1)$，则

由于给定任一输入后的输出不确定性都是 $h_2(p)$，

二元熵至多为 $1$，而 $q=1/2$ 使输出均匀，所以均匀输入达到最大值

可复算例：BSC$(0.1)$ ​

故

均匀输入达到这个值；例如固定总发 0 会使 $H(X)=0$，因而互信息为零，显然没有达到容量。

边界与失败情形 ​

$p=1/2$ 时输出与输入独立，容量为零；$p=1$ 时信道确定地翻转每个 bit，接收者再翻转即可恢复，所以容量反而为 $1$。把“翻转概率越大容量越小”延伸到 $p>1/2$ 会失败。

公式只针对有限字母表 DMC。信道有记忆时通常需要多字母极限；连续信道若没有功率或成本约束，容量可能无界。反馈不提高普通 DMC 的 Shannon 容量，但会改变编码策略、时延或错误指数。

即使速率低于 $C$，容量公式也不为指定块长、指定代码直接给出错误率。有限块长性能还依赖码、译码器、目标错误概率与时延。

有噪信道编码定理公理库有噪信道编码定理Noisy-channel coding theorem · Channel coding theorem低于离散无记忆信道容量的速率可实现任意小错误概率，而高于容量的速率不能可靠传输。把 $R<C$ 分成可达性结论，把可靠码的 $R\le C$ 分成逆定理；二者共同赋予上式操作意义。级联信道还受数据处理不等式控制，后续处理不能提高关于原输入的互信息。

有损源编码中的率失真函数公理库率失真函数Rate-distortion function在允许期望失真不超过 D 时，所有重构信道互信息的下确界。回答“为给定失真需要多少 bit”，容量回答“每次信道使用能可靠承载多少 bit”。连接两者还要统一每源符号与每信道使用的资源比例。