率失真函数

率失真函数问：若允许平均重构误差不超过 $D$，编码器至少要为每个源符号保留多少 bit 的信息。每个候选测试信道 $P_{\hat{X}\mid X}$ 都描述一种随机重构机制；它与源分布共同生成 $(X,\hat{X})$，互信息则衡量重构仍携带多少源信息。约束更宽时，可选机制更多，所以最小互信息不会上升。

测试信道不是要求实际 codec 逐符号随机输出。它刻画最优长块码所诱导的单字母统计关系，证明再通过典型序列或随机码本把这种关系转成块编码。这个视角既保留了“质量—码率折衷”的图像，也解释了为什么一次标量量化通常达不到理论边界。

离散无记忆源配 Hamming 失真时，$D=0$ 要求逐符号准确重构，因此 $R(0)=H(X)$。当 $D$ 大到某个固定重构符号已经满足约束时，编码器无需观察输入也能达到目标，码率于是降为 $0$。率失真函数作为互信息的下确界始终非负，这一点不依赖连续模型中的差分熵是否可能为负。

对 Bernoulli$(1/2)$ 源和 Hamming 失真，在 $0\le D\le 1/2$ 时有 $R(D)=1-H_2(D)$。$D=0$ 恢复无损压缩率 $1$ bit/符号，$D=1/2$ 时无需发送信息也可随机猜测达到允许失真。

率失真定理是长块、平均失真意义下的极限，不保证每个样本都低于 $D$，也不提供有限块长、有限时延或低复杂度编码器。实际 codec 还受模型族、算力和缓冲时延约束；若失真函数没有表达人的感知差异，数学上的最优重构也未必主观最好。

有记忆源或一般源通常不再由这个单字母式完整描述。此时需要研究 $n$ 维分布与块失真的多字母优化，再取归一化极限；更一般的非平稳情形还可能使用信息谱表述。连续字母表也需要可测性、矩条件和失真可积性等假设，不能把有限字母表定理删去条件后直接沿用。

率失真理论给出图像、音频和有损压缩的基准极限，并连接量化、感知质量和信息瓶颈。互信息公理库互信息Mutual information一个随机变量对另一个随机变量不确定性的平均减少量。 是单字母优化目标，熵公理库Shannon 熵Shannon entropy · Information entropy随机变量不确定性的平均信息量，以最优编码所需位数为基本解释。 给出离散无记忆源在零 Hamming 失真处的无损端点；与信道容量公理库信道容量Channel capacity对输入分布最大化输入与输出互信息所得的每次使用信息率。结合后，它还能判断给定源与信道是否存在满足目标失真的分离式传输方案。