“若把 $Y$ 直接交给译码端,并要求每个支持点都正确,问题改为带边信息的严格零错误源编码:一次最少标签数由冲突图的染色数决定,长块的最坏固定长度由Witsenhausen 率刻画。极小但正的…”
形式陈述
在带译码端边信息的零错误源编码中,设单字冲突图为
对应块冲突图是
单位是 bit/source symbol。真实固定二进制码长取
这个率只依赖支持决定的图,不依赖各正概率的具体数值。它不是一般条件熵,也不是直接对源概率加权的图熵。
直觉
信道编码从全部顶点中挑出一个互不混淆的子集;源编码却不能挑掉任何可能源串,必须把全部顶点分成若干互不冲突的色类。
块编码的收益来自色类形状更灵活。单字颜色的逐坐标组合只是一个可行方案,最优长块色类可以斜着穿过乘积空间,而不必是逐字色类的笛卡尔积。
例子与边界
C5的两字五色编码表
一次五边形有奇环,不能用两色;用三色可以做到,所以
完整标签表为:
| 0 | 1 | 2 | 3 | 4 | |
|---|---|---|---|---|---|
| 0 | 0 | 1 | 2 | 3 | 4 |
| 1 | 3 | 4 | 0 | 1 | 2 |
| 2 | 1 | 2 | 3 | 4 | 0 |
| 3 | 4 | 0 | 1 | 2 | 3 |
| 4 | 2 | 3 | 4 | 0 | 1 |
检查它是不是合法着色。相邻的不同顶点,其两个坐标差
因此25个源串只需五个标签,给出两字率
为什么这里能算出精确渐近率
每个色类都是独立集,所以对任意图
五边形的容量证书已给出
两字五色表不断拼接给出偶数块长的反向上界;奇数块长再加一份三色标签,其常数开销除以块长后消失。因此
这不是说所有图的源描述率都等于信道容量。本例的对称结构使上下界恰好闭合;两个定义仍分别优化染色数和独立数。
三点路径的整段答案
对路径
若三点路径的四个支持概率是
推论与应用
极限由次可加性保证
把一个
令
一般地,色类大小下界与逐字着色给出
图熵会同时考虑顶点频率和独立集,并对应不同的平均描述与图积设置。使用时应先声明:是否每个支持串都必须正确、是否固定最坏码长、使用强积还是 OR 积。仅说“零错误压缩率”不足以确定哪一个数。
参考资料
- [1] Hans S. Witsenhausen, The Zero-Error Side Information Problem and Chromatic Numbers, 1976;经典模型的现代明确表述见 Briët 等人 Zero-error source-channel coding with entanglement, §1.1,式 (1)。
- [2] László Lovász, On the Shannon Capacity of a Graph, 1979,五边形独立数的跨块长上界。本文的五色表及次可加极限证明完整展开于正文。