Skip to content

模型Model

带边信息的零错误源编码

Zero-error source coding with side information

以联合支持定义源冲突图,证明编码标签恰是合法着色,并用三值路径例子展示译码端的Y怎样使不相邻源值复用标签。

形式陈述 ​

设 X,Y 是有限字母表上的相关随机变量,其联合分布为 PXY,并删去零边缘概率的符号。编码器只观察 X,译码器已经知道 Y;编码器经无噪链路发送标签 e(X)∈[M],译码器输出 d(e(X),Y)。

一次严格零错误要求

PXY(x,y)>0⟹d(e(x),y)=x.

这里只约束合法联合支持点。条件分布中 PX∣Y(x∣y)=0 的组合,不是需要正确恢复的实际事件。

定义源冲突图 G:顶点是 X,不同 x,x′ 相邻,当且仅当存在同一个 y 满足

PXY(x,y)>0,PXY(x′,y)>0.

那么编码器 e 能配上一份零错误译码器,当且仅当 e 是 G 的合法顶点着色。最少标签数为 χ(G);若用固定长二进制串传送标签,最少位数为 ⌈log2⁡χ(G)⌉。[1,2]

该模型固定单个译码端,Y 只在译码端可见,没有交互反馈;改动这些权限会改变编码问题。

直觉

编码器不必告诉对方“我一定是哪一个源值”,只要让对方结合自己手中的 Y 后能唯一定位即可。因此,两个从不会与同一个 y 同时相容的源值,可以共用标签。

但编码器不知道当前 Y,必须提前使用同一张编码表,保证所有可能 y 都能处理。这种全局一致的标签安排,正好是图着色。

例子与边界

三种源值只需一位标签 ​

取 X∈{a,b,c}、Y∈{0,1},仅四个联合支持点概率为正;为了计算方便,先令它们各占 1/4:

X Y=0 Y=1
a 1/4 0
b 1/4 1/4
c 0 1/4

当 Y=0 时,a,b 必须区分,形成边 ab;当 Y=1 时,b,c 必须区分,形成边 bc。a,c 没有共同相容的 y,所以没有边。

编码表取 e(a)=e(c)=0、e(b)=1。译码表为

标签 Y=0 Y=1
0 a c
1 b b

四个支持点逐一代入都恢复正确。由于存在一条冲突边,一个标签不可能够用,因此最少标签数恰为2。

没有边信息时,三个源值都要区分,需要三条标签、固定二进制长度2位;这里一位就够。节省来自合法支持限制,不是从小概率错误里省出来的。

为什么着色正好刻画编码 ​

若相邻 x,x′ 赋同一标签,取见证它们相邻的 y。译码器收到的 (e(x),y) 与 (e(x′),y) 完全相同,却被要求输出两个不同值,必有一个支持点出错。因此任何合法编码都必须是正确着色。

反过来,给定正确着色,固定标签 z 和边信息 y。这个色类中至多有一个 x 与 y 相容,否则两者相邻而同色。译码器输出这个唯一值;若一个都没有,该组合不会发生,填什么值都不影响正确性。

图相同,概率可以不同 ​

把上表四个正概率改为 0.49,0.01,0.01,0.49,并不改变支持、路径图或最少标签数。可是在已知 Y 时,源值几乎由 Y 决定,条件熵变得很小。

严格零错误仍要处理那两类罕见事件。若把其中一个小概率直接删成零,图可能少一条边,才会改变这个固定长问题。

推论与应用

这里的目标不同于普通源编码的平均码长优化。图着色先最小化标签集合大小;给颜色按概率再作前缀编码,会形成另一种带概率权重的目标,不能用一个染色数同时回答所有问题。

对独立同分布的块源,两个 X 串发生冲突需要存在同一个完整 Y 串同时相容。由无记忆支持,这变成每一坐标相等或相邻,进而得到强图幂的着色率。

Slepian–Wolf 定理的 H(X∣Y) 结论允许块错误概率趋零,不要求每个有限块长的每个支持点都正确。两者都利用译码端边信息,但删除小概率例外是否被允许,是实质差别。

如果译码端只需要某个函数值而不是整个 X,有些冲突还可解除。函数计算的特征图只连接在相同 y 下会给出不同目标函数值的输入,必须重新画图,而不是沿用恢复整个源的着色。

参考资料
关系图谱12 个相邻概念 · 2 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
类型化关系

使用的工具