形式陈述

一个长度 $n$、消息数 $M$ 的信道码含编码器 $f:[M]\to {\mathcal{X}}^n$ 与译码器 $g:{\mathcal{Y}}^n\to [M]$。码率常写为 $R=(1/n)\log M$；性能以平均或最大译码错误概率衡量。可靠通信要求存在码序列使 $n\to \mathrm{\infty }$ 时错误趋零，且约定功率、成本或字母限制。

直觉

编码器给消息加入结构和冗余，使不同消息经过噪声后仍能在输出空间中分开。

例子与边界

重复码把 0 编为 000、1 编为 111，可纠正一个翻转，但码率仅 $1/3$。随机码证明存在性不等于给出高效编码与译码。平均错误小不必自动保证每个消息错误都小，通常可通过 expurgation 转换但会损失少量码字。

推论与应用

信道码支撑数字通信、存储和网络传输，并把容量定义转化为可达码率问题。

参考资料

• Thomas M. Cover and Joy A. Thomas, Elements of Information Theory, 2nd ed., Wiley, 2006，Chs. 2–8。
• Claude E. Shannon, “A Mathematical Theory of Communication,” Bell System Technical Journal 27, 1948，Parts I–II。