信道容量

信道固定了“给定输入后会看到什么输出”，发送者仍可选择各输入字母出现的统计规律。容量选择最能让输出区分输入的那一个分布。对称信道常由均匀输入最优，非对称信道则未必如此，因此不能跳过最大化直接把某次算出的互信息叫容量。

容量的操作意义需要编码定理：它是块长趋于无穷、块错误概率趋于零时可达码率的阈值。它不是某个具体码的速率，也不是一次信道使用绝对无误地携带的 bit 数。

BSC 最大化的证明机制 ​

对 BSC$(p)$，令 $q=P(X=1)$，则

由于给定任一输入后的输出不确定性都是 $h_2(p)$，

二元熵至多为 $1$，而 $q=1/2$ 使输出均匀，所以均匀输入达到最大值

当 $p\ne 1/2$ 时，输出均匀的方程 $p+q(1-2p)=1/2$ 唯一给出 $q=1/2$，故达到容量的输入分布也唯一。退化点 $p=1/2$ 则不同：输出始终均匀、互信息恒为零，任意输入分布都最优。

可复算例：BSC$(0.1)$ ​

故

均匀输入达到这个值；例如固定总发 0 会使 $H(X)=0$，因而互信息为零，显然没有达到容量。

边界与失败情形 ​

$p=1/2$ 时输出与输入独立，容量为零；$p=1$ 时信道确定地翻转每个 bit，接收者再翻转即可恢复，所以容量反而为 $1$。把“翻转概率越大容量越小”延伸到 $p>1/2$ 会失败。

公式只针对有限字母表 DMC。信道有记忆时通常需要多字母极限；连续信道若没有功率或成本约束，容量可能无界。

反馈不提高普通 DMC 的 Shannon 容量，但会改变编码策略、时延或错误指数。如果错误标准改成每个有限块都严格无错，则应使用强图积定义的零错误容量公理库Shannon 零错误容量与强图积Shannon capacity of a graph由无记忆支持推导强图积，证明独立数的超乘性及容量极限，并用五个二字码展示联合编码收益。；此时无噪反馈公理库反馈下的零错误容量Zero-error feedback capacity保留信道输出的支持超边，用分数打包与对偶证明固定长反馈零错容量；完整解释零容量例外及候选集收缩后的有限收尾。确实可能提高容量。五边形支持信道由无反馈的 ${\log }_2\sqrt{5}$ 提高到 ${\log }_2(5/2)$，并须保留完全混淆图的零容量例外。

即使速率低于 $C$，容量公式也不为指定块长、指定编码方案直接给出错误率。有限块长性能还依赖码、译码器、目标错误概率与时延。

有噪信道编码定理公理库有噪信道编码定理Noisy-channel coding theorem · Channel coding theorem低于离散无记忆信道容量的速率可实现任意小错误概率，而高于容量的速率不能可靠传输。以可达性保证每个 $R<C$ 都能可靠通信，并以逆定理排除高于 $C$ 的可靠码率；二者共同赋予上式操作意义。级联信道还受数据处理不等式控制，后续处理不能提高关于原输入的互信息。

有损源编码中的率失真函数公理库率失真函数Rate-distortion function允许平均失真D时的最小互信息，并以高斯平方误差证明下界、最优测试信道及源信道资源比例。回答“为给定失真需要多少 bit”，容量回答“每次信道使用能可靠承载多少 bit”。连接两者还要统一每源符号与每信道使用的资源比例。

连续输入的实高斯信道容量公理库高斯信道容量Gaussian channel capacity · AWGN capacity · 实AWGN信道容量在平均平方功率约束下，以KL恒等式证明实AWGN互信息极值，并连接块编码逆界与高斯源的失真预算。另行固定平方功率约束，以KL分解证明所有输入的上界及高斯输入的达成，再用Fano和凹性控制相关块输入。每个源符号分配 $\alpha$ 次信道使用时，预算是 $\alpha C$；实使用、复使用与带宽单位须分别说明。

两个独立发送者共享接收端时，可靠速率要画成二用户多址容量区域公理库二用户多址信道容量区域Multiple-access channel capacity region · Two-user DM-MAC capacity · 多址信道容量两个无反馈的独立发送者共享一个接收端时，可靠速率由两条条件互信息界和一条总率界共同限制；时间共享、三类候选错误和整数加法信道给出完整可复算的容量区域。。每人的条件互信息界之外，还有两人共同占用输出的总率界；整数二元加法信道给出单人各至多一 bit、合计至多一个半 bit 的完整例子。

当同一发送也被窃听者观察时，可靠率之外还要限制泄漏。保密容量公理库窃听信道与保密容量Wiretap channel secrecy capacity · Secrecy capacity通过可靠传输与信息论保密两个同时成立的条件，刻画窃听信道中可以隐藏的消息速率。在一般离散模型中优化 $I(V;Y)-I(V;Z)$：辅助变量描述随机预处理，合法端信息优势用于秘密消息。仅仅让窃听者无法完整译码，不足以证明消息的互信息泄漏趋零。