形式陈述

信源码由编码器把信源符号或长度 $n$ 的源块映为有限字母串，译码器从码串恢复原块或给出近似重构。无失真码要求恢复完全正确；有失真码只要求失真度满足约束。对逐符号变长码，唯一可译要求任意有限源串的串联码字只有一种解析；前缀码不允许任何码字成为另一代码字的前缀，并与即时可译码等价。前缀码（即时码）是唯一可译码的更强子类，而不是与“即时可译”组成三个严格递增的层级。

直觉

压缩利用符号出现概率不均：常见消息用短表示，罕见消息用长表示，但必须保留可恢复性。

例子与边界

对四个等概率符号使用 2 比特码是定长无失真编码。若概率差异大，变长前缀码可降低期望长度。仅要求不同源符号映到不同码字不足以保证串联后的唯一解析，例如码字集合可能产生歧义。随机源模型和实际文件压缩器的上下文建模是不同层次。

推论与应用

信源码建立熵与可压缩率之间的联系，并形成 Huffman、算术编码和率失真理论的共同模型。

参考资料

• Thomas M. Cover and Joy A. Thomas, Elements of Information Theory, 2nd ed., Wiley, 2006，Chs. 2–8。
• Claude E. Shannon, “A Mathematical Theory of Communication,” Bell System Technical Journal 27, 1948，Parts I–II。