“边信息全部放在译码器时,可取一边以其熵率完整发送,再让另一边只付条件熵。Wyner–Ziv 编码进一步允许有损恢复,届时“分箱后利用边信息”仍是核心,但优化对象变成辅助表示与失真约束。”
形式陈述
其中联合分布为
由于 Markov 条件,目标也可写为
直觉
编码器先选一份足以粗略描述
覆盖源序列大约需要
例子与边界
带擦除边信息的二元例子
设
译码器见到未擦除的
所以
例如
本例没有率损失,不代表一般都没有
如果编码器也知道
编码器能够生成的是
若任务改为准确计算给定
推论与应用
中继若无法译出完整消息,仍可压缩自己的观察,让终点借助已有接收信号解释压缩描述;这正是压缩转发中使用带边信息编码的原因。实际协议需同时检查描述质量与发送描述所需的信道容量。
参考资料
- Wyner 与 Ziv,“The Rate-Distortion Function for Source Coding with Side Information at the Decoder”,1976。
- El Gamal 与 Kim,《Lecture Notes on Network Information Theory》完整 v4,Chapter 12,解码端边信息、辅助变量与分箱。