Skip to content

定理Theorem

Wyner–Ziv 带边信息有损编码

Wyner-Ziv coding

在编码器看不到边信息时,用辅助描述与分箱得到译码端边信息下的最小有损编码率。

形式陈述 ​

(Xi,Yi) 是有限字母表上的独立同分布源。编码器只见 Xn,译码器同时得到编码索引与 Yn,输出 X^n。给定非负有界单字母失真 d(x,x^),取 D≥0,要求渐近期望平均失真不超过 D;若没有满足失真条件的辅助表示,最优率记为 +∞。对应的 Wyner–Ziv 率失真函数为

RWZ(D)=minp(u|x),x^=g(u,y)I(X;U∣Y),

其中联合分布为 p(x,y)p(u|x),即 Markov 条件 U−X−Y,并满足 E[d(X,g(U,Y))]≤D。可将有限辅助字母表限制到 |U|≤|X|+1。率以每个源符号的 bit 数计,取可达率的闭包。

由于 Markov 条件,目标也可写为 I(X;U)−I(U;Y)。U 是编码器能从 X 产生的辅助描述,重建函数则可以同时使用 U 和边信息 Y。

直觉

编码器先选一份足以粗略描述 X 的 U 码字,再只发送它的箱号。译码器用自己已有的 Y,从箱内挑出相容的 U,最后联合二者重建 X。

覆盖源序列大约需要 I(X;U) 的码率,边信息能省掉约 I(U;Y);两者之差就是实际发送率。编码器虽然不知道当前 Y,却知道统计相关性,因而可以预先设计这些箱。

例子与边界

带擦除边信息的二元例子 ​

设 X 为均匀 bit。先取 0<e≤1。以概率 1−e,译码器的 Y 恰为 X;以概率 e,Y 为擦除符号,擦除事件独立于 X。采用 Hamming 失真。令辅助变量 U=X⊕Z,其中 Z∼Bern(d) 独立,0≤d≤1/2。

译码器见到未擦除的 Y 就直接输出它,只有擦除时使用 U。因此失真为 D=ed,而

I(X;U|Y)=eI(X;U)=e[1−h2(d)].

所以 RWZ(D)≤e[1−h2(D/e)],0≤D≤e/2。若连编码器也知道擦除位置,只需压缩擦除的那一部分 bit,条件率失真下界恰为同一表达式,故这里取等号。

例如 e=1/2,D=0.05,有 d=0.1,码率为 0.5[1−h2(0.1)]≈0.2655。D=0 时需 e bit,等于擦除位置留下的条件熵;D≥e/2 时零通信、擦除处随意猜即可达到目标。若 e=0,译码器已经逐符号知道 X,对所有 D≥0 都有 RWZ(D)=0,不使用含 D/e 的表达式。

本例没有率损失,不代表一般都没有 ​

如果编码器也知道 Y,它可按每种边信息分别设计描述,通常拥有更大选择空间,因此条件率失真函数不大于 RWZ(D)。上述擦除例子恰好达到等号;一般离散源可能存在严格的率损失,不能把 RWZ(D) 直接改写成任意 p(x^|x,y) 上的条件互信息最小值。

编码器能够生成的是 p(u|x),不是依赖未知 y 的 p(u|x,y)。Markov 条件正是把这个操作限制写进数学式。

若任务改为准确计算给定 f(X,Y),而不是在失真约束下重构 X,函数特征图只连接共享合法 y 且函数值不同的输入。其条件图熵同样保留 W−X−Y 的编码权限;对应的Orlitsky–Roche率允许块错误趋零,并不自动等于有限块长严格零错误率。

推论与应用

中继若无法译出完整消息,仍可压缩自己的观察,让终点借助已有接收信号解释压缩描述;这正是压缩转发中使用带边信息编码的原因。实际协议需同时检查描述质量与发送描述所需的信道容量。

参考资料
关系图谱19 个相邻概念 · 2 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
类型化关系

被这些条目使用