Skip to content

定义Definition

Witsenhausen 率

Witsenhausen rate

用强图幂的染色数定义严格零错误固定长描述率,证明极限存在,并显式构造五边形两字五色码及其精确渐近率。

形式陈述 ​

在带译码端边信息的零错误源编码中,设单字冲突图为 G,联合源独立同分布。编码端观察 Xn,译码端观察 Yn,每个正概率支持串都必须准确恢复。

对应块冲突图是 G⊠n:两个不同的源串,只有在每一坐标都相等或相邻时,才可能与同一个 Yn 相容。因此固定块长最少标签数为 χ(G⊠n)。定义 Witsenhausen 率

(1)RW(G)=limn→∞1nlog2⁡χ(G⊠n)=infn≥11nlog2⁡χ(G⊠n).

单位是 bit/source symbol。真实固定二进制码长取 ⌈log2⁡χ⌉,除以 n 后的取整差不超过 1/n,不影响极限。[1]

这个率只依赖支持决定的图,不依赖各正概率的具体数值。它不是一般条件熵,也不是直接对源概率加权的图熵。

直觉

信道编码从全部顶点中挑出一个互不混淆的子集;源编码却不能挑掉任何可能源串,必须把全部顶点分成若干互不冲突的色类。

块编码的收益来自色类形状更灵活。单字颜色的逐坐标组合只是一个可行方案,最优长块色类可以斜着穿过乘积空间,而不必是逐字色类的笛卡尔积。

例子与边界

C5的两字五色编码表 ​

一次五边形有奇环,不能用两色;用三色可以做到,所以 χ(C5)=3。两次编码时,对顶点 (i,j)∈Z52 定义

e(i,j)=j−2i(mod5).

完整标签表为:

i∖j 0 1 2 3 4
0 0 1 2 3 4
1 3 4 0 1 2
2 1 2 3 4 0
3 4 0 1 2 3
4 2 3 4 0 1

检查它是不是合法着色。相邻的不同顶点,其两个坐标差 δi,δj 都在 {0,±1},且不全为0。如果同色,就有 δj=2δi(mod5)。当 δi=±1,右边是 ±2,不可能等于允许的 δj;当 δi=0,等式又迫使 δj=0。两种情况都矛盾。

因此25个源串只需五个标签,给出两字率 12log2⁡5;逐字三色则有9个组合标签。只发送一个两字块时,二进制取整分别是3位与4位。长期使用时,要把 k 份块标签联合编号:五色方案的全部 5k 个标签序列只需 ⌈klog2⁡5⌉ 位,逐字三色方案的 9k 个标签序列则需 ⌈klog2⁡9⌉ 位;除以 2k 才分别趋于 12log2⁡5 与 log2⁡3。若机械地给每个两字块固定分配3位,再串接下去,率仍是 3/2,不会自动消去每块的取整损失。

为什么这里能算出精确渐近率 ​

每个色类都是独立集,所以对任意图 H,

χ(H)≥|V(H)|α(H).

五边形的容量证书已给出 α(C5⊠n)≤(5)n,故

χ(C5⊠n)≥5n(5)n=(5)n.

两字五色表不断拼接给出偶数块长的反向上界;奇数块长再加一份三色标签,其常数开销除以块长后消失。因此

RW(C5)=log2⁡5.

这不是说所有图的源描述率都等于信道容量。本例的对称结构使上下界恰好闭合;两个定义仍分别优化染色数和独立数。

三点路径的整段答案 ​

对路径 a−b−c,逐字两色给出 χ(G⊠n)≤2n。另一方面,限制输入每一坐标只能取相邻的 a,b,得到一个有 2n 个顶点的完全子图,必须使用 2n 个颜色。因此每个块长恰为 2n,RW(G)=1。

若三点路径的四个支持概率是 0.49,0.01,0.01,0.49,则 H(X∣Y)=h2(0.02)≈0.1414,仍不改变 RW=1。趋零错误与严格零错误的差距可以很大。

推论与应用

极限由次可加性保证 ​

把一个 r 字着色和一个 s 字着色的标签并列,可得到 r+s 字着色:如果两份长串相邻且不同,至少有一个不同的子块在其强幂里相邻,其标签必不同。因此

χ(G⊠(r+s))≤χ(G⊠r)χ(G⊠s).

令 bn=log2⁡χ(G⊠n),并置 b0=0(空块只需一个标签),则它次可加。固定 r,写 n=kr+t,有 bn≤kbr+bt;0≤t<r 的余项有统一常数上界。除以 n 得 lim supbn/n≤br/r,再对 r 取下确界,与显然的下界相合,证明式 (1)。

一般地,色类大小下界与逐字着色给出

log2⁡|V(G)|−log2⁡Θ(G)≤RW(G)≤log2⁡χ(G).

图熵会同时考虑顶点频率和独立集,并对应不同的平均描述与图积设置。使用时应先声明:是否每个支持串都必须正确、是否固定最坏码长、使用强积还是 OR 积。仅说“零错误压缩率”不足以确定哪一个数。

参考资料
关系图谱7 个相邻概念 · 2 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
类型化关系