形式陈述

给定源 $X$$X$、重构字母 $\widehat X$$\hat{X}$ 和失真度 $d(x,\hat x)$$d(x,\hat{x})$，率失真函数为

$$ R(D)=\inf_{P_{\widehat X|X}:\,\mathbb E d(X,\widehat X)\le D} I(X;\widehat X). $$$$R(D)=\underset{P_{\hat{X}|X}:\mathbb{E}d(X,\hat{X})\le D}{inf}I(X;\hat{X}).$$

它描述允许平均失真不超过 $D$$D$ 时的最小渐近每符号编码率。通常 $R(D)$$R(D)$ 非增且凸；定义依赖源分布、失真函数和块长极限。

直觉

允许更多误差就能用更少比特；互信息度量重构中必须保留多少关于源的信息。

例子与边界

离散源配 Hamming 失真时，$D=0$$D=0$ 回到无失真熵率；当 $D$$D$ 足够大，可用固定重构而使率为 0。单次标量量化不必达到 $R(D)$$R(D)$，定理是长块编码的渐近极限。差分熵可为负，但率失真函数作为互信息下确界仍非负。

推论与应用

率失真理论给出图像、音频和有损压缩的基本极限，并连接量化、感知质量和信息瓶颈。

参考资料

• Thomas M. Cover and Joy A. Thomas, Elements of Information Theory, 2nd ed., Wiley, 2006，Chs. 2–8。
• Claude E. Shannon, “A Mathematical Theory of Communication,” Bell System Technical Journal 27, 1948，Parts I–II。