形式陈述
( X i , Y i ) 是有限字母表上的独立同分布 公理库 独立同分布样本 IID sample · Independent and identically distributed sample 以乘积分布描述来自同一总体的独立重复观测。 源。编码器只见 X n ,译码器同时得到编码索引与 Y n ,输出 X ^ n 。给定非负有界单字母失真 d ( x , x ^ ) ,取 D ≥ 0 ,要求渐近期望平均失真不超过 D ;若没有满足失真条件的辅助表示,最优率记为 + ∞ 。对应的 Wyner–Ziv 率失真函数 公理库 率失真函数 Rate-distortion function 允许平均失真D时的最小互信息,并以高斯平方误差证明下界、最优测试信道及源信道资源比例。 为
R W Z ( D ) = min p ( u | x ) , x ^ = g ( u , y ) I ( X ; U ∣ Y ) , 其中联合分布为 p ( x , y ) p ( u | x ) ,即 Markov 条件 U − X − Y ,并满足 E [ d ( X , g ( U , Y ) ) ] ≤ D 。可将有限辅助字母表限制到 | U | ≤ | X | + 1 。率以每个源符号的 bit 数计,取可达率的闭包。
由于 Markov 条件,目标也可写为 I ( X ; U ) − I ( U ; Y ) 。U 是编码器能从 X 产生的辅助描述,重建函数则可以同时使用 U 和边信息 Y 。
直觉
编码器先选一份足以粗略描述 X 的 U 码字,再只发送它的箱号。译码器用自己已有的 Y ,从箱内挑出相容的 U ,最后联合二者重建 X 。
覆盖源序列大约需要 I ( X ; U ) 的码率,边信息能省掉约 I ( U ; Y ) ;两者之差就是实际发送率。编码器虽然不知道当前 Y ,却知道统计相关性,因而可以预先设计这些箱。
例子与边界
带擦除边信息的二元例子
设 X 为均匀 bit。先取 0 < e ≤ 1 。以概率 1 − e ,译码器的 Y 恰为 X ;以概率 e ,Y 为擦除符号,擦除事件独立于 X 。采用 Hamming 失真。令辅助变量 U = X ⊕ Z ,其中 Z ∼ Bern ( d ) 独立,0 ≤ d ≤ 1 / 2 。
译码器见到未擦除的 Y 就直接输出它,只有擦除时使用 U 。因此失真为 D = e d ,而
I ( X ; U | Y ) = e I ( X ; U ) = e [ 1 − h 2 ( d ) ] . 所以 R W Z ( D ) ≤ e [ 1 − h 2 ( D / e ) ] ,0 ≤ D ≤ e / 2 。若连编码器也知道擦除位置,只需压缩擦除的那一部分 bit,条件率失真下界恰为同一表达式,故这里取等号。
例如 e = 1 / 2 , D = 0.05 ,有 d = 0.1 ,码率为 0.5 [ 1 − h 2 ( 0.1 ) ] ≈ 0.2655 。D = 0 时需 e bit,等于擦除位置留下的条件熵;D ≥ e / 2 时零通信、擦除处随意猜即可达到目标。若 e = 0 ,译码器已经逐符号知道 X ,对所有 D ≥ 0 都有 R W Z ( D ) = 0 ,不使用含 D / e 的表达式。
本例没有率损失,不代表一般都没有
如果编码器也知道 Y ,它可按每种边信息分别设计描述,通常拥有更大选择空间,因此条件率失真函数不大于 R W Z ( D ) 。上述擦除例子恰好达到等号;一般离散源可能存在严格的率损失,不能把 R W Z ( D ) 直接改写成任意 p ( x ^ | x , y ) 上的条件互信息最小值。
编码器能够生成的是 p ( u | x ) ,不是依赖未知 y 的 p ( u | x , y ) 。Markov 条件正是把这个操作限制写进数学式。
若任务改为准确计算给定 f ( X , Y ) ,而不是在失真约束下重构 X ,函数特征图 公理库 函数计算的特征图 Characteristic graph for function computation 只连接在共同边信息下产生不同函数值的源输入,给出一次着色码和完整概率例子,再明确区分严格零错与条件图熵的趋零块错误率。 只连接共享合法 y 且函数值不同的输入。其条件图熵同样保留 W − X − Y 的编码权限;对应的Orlitsky–Roche率允许块错误趋零,并不自动等于有限块长严格零错误率。
推论与应用
中继若无法译出完整消息,仍可压缩自己的观察,让终点借助已有接收信号解释压缩描述;这正是压缩转发 公理库 压缩转发中继 Compress-forward relaying 让中继压缩自己的观察供终点联合解释,用描述质量与描述链路容量共同约束可达率。 中使用带边信息编码的原因。实际协议需同时检查描述质量与发送描述所需的信道容量。
参考资料