率失真函数

率失真函数问：若允许平均重构误差不超过 $D$，编码器至少要为每个源符号保留多少 bit 的信息。每个候选测试信道 $P_{\hat{X}\mid X}$ 都描述一种随机重构机制；它与源分布共同生成 $(X,\hat{X})$，互信息则衡量重构仍携带多少源信息。约束更宽时，可选机制更多，所以最小互信息不会上升。

测试信道不是要求实际 codec 逐符号随机输出。它刻画最优长块码所诱导的单字母统计关系，证明再通过典型序列或随机码本把这种关系转成块编码。这个视角既保留了“质量—码率折衷”的图像，也解释了为什么一次标量量化通常达不到理论边界。

高斯下界：比较联合分布，不拆未必存在的熵 ​

固定 $D>0$，任取可行联合分布 $J=P_{X\hat{X}}$，记实际失真 $\delta =\mathbb{E}(X-\hat{X}{)}^2\le D$。设 ${\varphi }_v$ 是 $N(0,v)$ 的密度，构造两个参考分布

$M$ 是边缘乘积；$Q_D$ 保留同一个重构边缘，但把给定重构后的源改成均值 $\hat{x}$、方差 $D$ 的高斯。两者相对于 $dx\otimes P_{\hat{X}}$ 都有严格正密度，因此彼此等价，即使 $P_{\hat{X}}$ 没有Lebesgue密度也没有问题。

若 $I(X;\hat{X})=+\mathrm{\infty }$，所需下界已成立。否则 $J\ll M\ll Q_D$，代入一元正态分布的密度公式公理库正态分布Normal distribution · Gaussian distribution · 高斯分布具有指数平方密度、在仿射变换与独立求和下封闭的概率分布族。得到的对数比

在 $J$ 下绝对可积，因为 $\delta <\mathrm{\infty }$、$\mathbb{E}{X}^2={\sigma }^2$。有限KL的对数密度比也绝对可积：其负部积分由 $1/(e\ln 2)$ 控制，正部则由KL有限性控制。因此可以合法相加并取期望，得到

KL非负性公理库KL 散度Kullback–Leibler divergence · Relative entropy同一可测空间上分布 P 相对于 Q 的对数 Radon–Nikodym 导数在 P 下的积分。与 $\delta \le D$ 给出 $I\ge \frac{1}{2}{\log }_2({\sigma }^2/D)$。这个证明同时处理了连续源与离散重构，也避免使用可能没有定义的 $h(X\mid \hat{X})$。

后向测试信道达到下界 ​

当 $0<D<{\sigma }^2$ 时，先独立抽取

高斯和保证 $X\sim N(0,{\sigma }^2)$，而平方误差恰为 $D$。此时联合分布就是 $Q_D$；它与边缘乘积的对数比为上面二次式的相反数，在联合分布下绝对可积，故互信息有限。精确差额中的两项均为零，于是

虽然构造从重构向源抽样，但联合分布确定了合法的正向核。由二维高斯分布公理库多元正态分布Multivariate normal distribution · Multivariate Gaussian distribution · Jointly Gaussian vector以所有线性组合都正态刻画联合高斯向量，并由特征函数连接线性构造、退化支撑、全维密度与条件分布。的条件均值和方差，它等价于

例如 $\mathrm{Cov}(X,\hat{X})={\sigma }^2-D$，所以回归系数是 $({\sigma }^2-D)/{\sigma }^2$；条件方差为 $({\sigma }^2-D)-({\sigma }^2-D{)}^2/{\sigma }^2$。后向误差 $Z=X-\hat{X}$ 独立于重构，一般不独立于源；正向独立噪声是另一个变量 $V$。

离散无记忆源配 Hamming 失真，且每个正概率源符号都能在重构字母表中原样输出时，$D=0$ 要求逐符号准确重构，因此 $R(0)=H(X)$。当 $D$ 大到某个固定重构符号已经满足约束时，编码器无需观察输入也能达到目标，码率于是降为 $0$。率失真函数作为互信息的下确界始终非负，这一点不依赖连续模型中的差分熵是否可能为负。

对 Bernoulli$(1/2)$ 源和 Hamming 失真，在 $0\le D\le 1/2$ 时有 $R(D)=1-H_2(D)$。$D=0$ 恢复无损压缩率 $1$ bit/符号，$D=1/2$ 时无需发送信息也可随机猜测达到允许失真。

方差4、失真1：直接加噪声为什么多耗信息 ​

最优正向核是 $\hat{X}=\frac{3}{4}X+V$，其中 $V\sim N(0,3/4)$ 独立于 $X\sim N(0,4)$。逐项复算为

作为比较，取 $\tilde{X}=X+W$，$W\sim N(0,1)$ 独立于源，也有失真 $1$，但

两个互信息都可用有限高斯密度的积分计算。最优核在加入正向噪声前先收缩信号；只检查噪声方差等于目标失真，无法判断互信息是否最小。

连续源的两个端点 ​

$D\ge {\sigma }^2$ 时恒取 $\hat{X}=0$，失真为 ${\sigma }^2$，互信息为零。$D=0$ 时必有 $\hat{X}=X$ 几乎处处：联合分布把全部质量放在对角线，而非原子的高斯边缘乘积给对角线质量零。联合分布不绝对连续于边缘乘积，所以互信息为无穷。连续源精确重构的端点与有限字母表Hamming零失真不同。

前面的正向公式用于 $0<D<{\sigma }^2$；$D={\sigma }^2$ 应直接使用常量重构，不能把退化的条件方差继续代入高斯密度的对数比。

率失真定理是长块、平均失真意义下的极限，不保证每个样本都低于 $D$，也不提供有限块长、有限时延或低复杂度编码器。实际 codec 还受模型族、算力和缓冲时延约束；若失真函数没有表达人的感知差异，数学上的最优重构也未必主观最好。

有记忆源或一般源通常不再由这个单字母式完整描述。此时需要研究 $n$ 维分布与块失真的多字母优化，再取归一化极限；更一般的非平稳情形还可能使用信息谱表述。连续字母表也需要可测性、矩条件和失真可积性等假设，不能把有限字母表定理删去条件后直接沿用。

率失真理论给出图像、音频和有损压缩的基准极限，并连接量化、感知质量和信息瓶颈。互信息公理库互信息Mutual information用联合分布相对独立边缘乘积的 KL 散度量化统计依赖。 是单字母优化目标，熵公理库Shannon 熵Shannon entropy · Information entropy随机变量不确定性的平均信息量，以最优编码所需位数为基本解释。 给出离散无记忆源在零 Hamming 失真处的无损端点；与信道容量公理库信道容量Channel capacity对输入分布最大化输入与输出互信息所得的每次使用信息率。结合后，它还能判断给定源与信道是否存在满足目标失真的分离式传输方案。

把每源符号与每信道使用的单位对齐 ​

设 $X^n$ 是方差 ${\sigma }^2$ 的IID高斯源；编码器把它映成 $m$ 个实信道输入 $U^m$，通过 $Y_j=U_j+Z_j$，其中 $N>0$，噪声 $Z_j\sim N(0,N)$ 独立同分布并独立于源与编码器随机性。无反馈，接收端由 $Y^m$ 重构 ${\hat{X}}^n$。固定 $0\le P<\mathrm{\infty }$，功率约束现在按实际源分布取期望：

只需考察平均失真有限的方案，否则以下失真下界自动成立。令 ${\delta }_i=\mathbb{E}(X_i-{\hat{X}}_i{)}^2$，$\overline{\delta }=n^{-1}\sum _i{\delta }_i$。率失真的凸性、定义、源的独立性、数据处理不等式公理库数据处理不等式Data processing inequality对 Markov 链 X→Y→Z，有 I(X;Z)≤I(X;Y)。以及高斯信道容量公理库高斯信道容量Gaussian channel capacity · AWGN capacity · 实AWGN信道容量在平均平方功率约束下，以KL恒等式证明实AWGN互信息极值，并连接块编码逆界与高斯源的失真预算。的块逆界依次给出

其中容易看反的第三步可由链式法则核对：因为 $X_i$ 与 $X^{i-1}$ 独立，

块信道的上界有限，也保证这里相关的互信息有限。代入两个闭式公式，若 $\overline{\delta }<{\sigma }^2$，得

若 $\overline{\delta }\ge {\sigma }^2$，该不等式自动成立。固定资源比

最优渐近期望失真因而至少为 $D_{\ast }(\alpha )={\sigma }^2(1+P/N{)}^{-\alpha }$。

可达性、严格余量与无界失真 ​

当目标满足 $R(D)<\alpha C(P)$ 且 $0<D<{\sigma }^2$ 时，由连续性先取略小的 $D^{\prime }<D$，仍使 $R(D^{\prime })<\alpha C(P)$，为拼接误差留下失真余量。再选压缩速率略大于 $R(D^{\prime })$、每信道使用的码率略小于 $C(P)$，拼接率失真码和信道码。源索引未必均匀，所以信道码使用最大消息错误概率保证；每个信道码字都满足能量约束，故也满足实际源分布下的功率要求。

平方误差无界，还需控制信道译码出错时的失真。连续源编码／分离定理允许本高斯模型选取重构码字能量统一不超过 $nK$ 的码本，其中 $K$ 与块长无关。若信道最大错误概率为 $ϵ$，记错误事件为 $E$，由 $\text{Pr}(E\mid X^n=x^n)\le ϵ$ 和平方三角不等式，

正确译码部分不超过源码自身的平均失真。有限二阶矩和这个坏事件控制，使两种编码能够真正拼接，而不只是把两个公式相除。所用的连续率失真及有损分离结论见MIT讲义Theorems24.2、25.4–25.5及Lemma25.1。

让严格余量趋零，边界 $D_{\ast }(\alpha )$ 在渐近闭包意义下可达：给任意正容差，可取足够长的码使资源比趋近 $\alpha$、平均失真至多 $D_{\ast }(\alpha )$ 加该容差。因此它就是最优渐近失真；一般不表示存在有限块码恰好达到边界。$P=0$ 时常量重构直接给出 $D_{\ast }={\sigma }^2$。

例如 ${\sigma }^2=4$、$P/N=3$，$C=1$ bit/实使用：

一次对一次的匹配：无需长块便达到边界 ​

当 $\alpha =1$ 时，取缩放发送与线性重构

逐符号便有 $\mathbb{E}{U}^2=P$，而

它诱导的正向系数 $P/(P+N)$ 与噪声方差 $P{\sigma }^{2}N/(P+N{)}^2$，恰好对应前面取 $D={\sigma }^{2}N/(P+N)$ 的最优测试信道。数值例 $P=3,N=1,{\sigma }^2=4$ 中，发送和接收均乘 $\sqrt{3}/2$，合成后为 $\hat{X}=\frac{3}{4}X+\frac{\sqrt{3}}{2}Z$，失真正好为1。

这种高斯匹配解释了一个特殊的有限延时最优方案。其功率按源分布取期望；当 $P>0$ 时，高斯源幅度无界，所以它不满足“每个可能源块都对应一个能量至多 $mP$ 的发送块”。把功率量词改强后，不能继续声称该逐符号方案原样可行。

若译码器另有相关观察，Wyner–Ziv 编码公理库Wyner–Ziv 带边信息有损编码Wyner-Ziv coding在编码器看不到边信息时，用辅助描述与分箱得到译码端边信息下的最小有损编码率。在辅助变量 $U-X-Y$ 的限制下最小化条件互信息，明确区分编码器是否也看到边信息。压缩转发公理库压缩转发中继Compress-forward relaying让中继压缩自己的观察供终点联合解释，用描述质量与描述链路容量共同约束可达率。进一步把这种描述送过一条中继信道；描述所需速率必须不超过实际可用链路，不能仅算压缩质量而省掉传送费用。