形式陈述
在单向边信息编码 公理库 带边信息的零错误源编码 Zero-error source coding with side information 以联合支持定义源冲突图,证明编码标签恰是合法着色,并用三值路径例子展示译码端的Y怎样使不相邻源值复用标签。 中,编码器只见 X ,译码器见 Y 。现在译码端不要求恢复整个 X ,而只要一个给定函数 公理库 函数 Function · Map · Mapping 由定义域、陪域和单值图共同组成,并把每个输入送到唯一输出的映射。 f : X × Y → Z 的值 f ( X , Y ) ,其中输出字母表 Z 有限。
定义函数特征图 G f :顶点为 X 的支持,不同 x , x ′ 相邻,当且仅当存在 y ,使
(1) P ( x , y ) P ( x ′ , y ) > 0 , f ( x , y ) ≠ f ( x ′ , y ) . 一次、固定长、严格零错误的最少消息数仍为 χ ( G f ) 。与恢复整个 X 的图相比,只有那些即使共享 y 也不影响目标输出的边,才可删去。[1]
另有一个不同的渐近定理。对有限 IID 源,编码 X n ,译码端给定 Y n ,要求逐坐标函数向量 f n ( X n , Y n ) 的整块错误概率趋零 。其最优固定长率为条件图熵
(2) H G f ( X ∣ Y ) = min I ( X ; W ∣ Y ) , 其中 W 取 G f 的独立集、X ∈ W 几乎必然,并必须满足 Markov 条件 W − X − Y 。式 (2) 是 Orlitsky–Roche 定理;它扩展随机独立集图熵 公理库 图熵与随机独立集 Graph entropy · Körner graph entropy 以包含真实顶点的随机独立集定义图熵,证明稳定集多面体公式,并算出路径与均匀五边形,区分随机辅助信息、着色熵和固定长强积率。 ,不声称每个有限块长都严格零错误。[1, Theorem 7]
直觉
源恢复的标签要把所有仍可能的 X 分开;函数计算只要把会产生不同答案的输入分开。因此可以不区分“对象不同,但对本次任务永远等价”的输入。
这种等价必须逐个合法 y 检查。只有在某个 y 下函数值相同,不足以全局合并;只要另一个共同相容的 y 会产生不同值,两输入之间仍应有边。
图片加载失败
例子与边界
一份完整的支持与函数表
令 X ∈ { a , b , c } ,Z = 1 { X = c } ,目标为 f ( X , Y ) = Z ⊕ Y 。联合概率如下,六个格子都为正:
X
P ( X , Y = 0 )
P ( X , Y = 1 )
f ( X , 0 )
f ( X , 1 )
a
3 / 8
1 / 8
0
1
b
3 / 16
1 / 16
0
1
c
1 / 16
3 / 16
1
0
恢复整个 X 时,任何两个源值都与同一个 y 相容,冲突图为 K 3 ,需要三条消息。计算 f 时,a , b 在两个 y 下都给相同答案,因此边 a b 消失;a c , b c 仍是边。
编码器发送 e ( a ) = e ( b ) = 0 , e ( c ) = 1 ,也就是发送 Z 。译码器计算 e ( X ) ⊕ Y 。每个支持点都正确,消息数从3降为2。由于图中仍有边,一个消息不够,所以一次最优性也得到证明。
条件图熵可以完整算出
G f 的两个极大独立集为 { a , b } 与 { c } 。任一可行集合变量 W 都能扩成其中之一;这个确定后处理仍满足 W − X − Y ;对每个正概率 Y = y 应用数据处理不等式 公理库 数据处理不等式 Data processing inequality 对 Markov 链 X→Y→Z,有 I(X;Z)≤I(X;Y)。 再平均,便知它不增加条件互信息。因此最优可直接取 W 对应 Z ,
H G f ( X ∣ Y ) = I ( X ; Z ∣ Y ) = H ( Z ∣ Y ) . 从表中有 P ( Y = 0 ) = 5 / 8 ,P ( Z = 1 ∣ Y = 0 ) = 1 / 10 ;P ( Y = 1 ) = 3 / 8 ,P ( Z = 1 ∣ Y = 1 ) = 1 / 2 。于是
H ( Z ∣ Y ) = 5 8 h 2 ( 1 / 10 ) + 3 8 ≈ 0.668122 bit/symbol . 相比之下,完整恢复的条件熵 公理库 条件熵 Conditional entropy 已知一个随机变量后另一个随机变量剩余不确定性的平均值。 为
H ( X ∣ Y ) = H ( Z ∣ Y ) + 3 4 h 2 ( 1 / 3 ) ≈ 1.356844 . 第二项是 Z = 0 时还要辨认 a , b 的成本。目标函数不需要这项信息,所以它可以消失。
0.668122不等于严格零错固定长率
因为表中全支持,长度 n 的每个 Z 串都可能与任意 Y 串相容。若两个不同 Z 串被赋同一标签,固定同一个 Y 串,两个目标向量 Z n ⊕ Y n 必不同。因此严格零错必须区分全部 2 n 个 Z 串,固定长至少为 n 位;直接发 Z n 达到这个界。
所以同一问题中,一次最少消息数是2,严格零错固定长率是1,而允许块错误趋零时最优率约为0.668122。三个数不矛盾,它们使用不同的错误与资源标准。
推论与应用
一次着色与独立集为何足够
若相邻输入同色,式 (1) 的见证 y 会使译码器面对相同记录却需要输出不同函数值,故不可能正确。若色类独立,固定色类和 y 后,所有相容输入的函数值必相同;任选一个相容输入计算 f 即可。
随机独立集版本同样成立:给定 W = w , Y = y ,所有支持内的 x ∈ w 都给出同一函数值。因此存在确定恢复函数 g ,使 f ( X , Y ) = g ( W , Y ) 几乎必然。
Markov 条件不能省略。编码器只能按观察到的 X 选择清单,不能偷看当前 Y 后决定用哪一个 W 。仅写“W 是包含 X 的独立集”却让其条件分布依赖 Y ,会赋予编码端未声明的边信息。
趋零错误率的证明机制
固定一个满足条件的 P W ∣ X 。编码器用随机码本覆盖典型 X n ,寻找与它匹配的 W n ,候选码本大小约为 2 n I ( X ; W ) ;再用随机分箱,让译码端借助 Y n 消除约 I ( Y ; W ) 的描述成本。由 W − X − Y ,
I ( X ; W ) − I ( Y ; W ) = I ( X ; W ∣ Y ) . 译码端以高概率恢复 W n 后,逐坐标用 g ( W i , Y i ) 算出函数。典型性失败、覆盖失败和分箱冲突都只保证总概率趋零,因此不能把这个论证改名为每块严格无错。
反向证明把一个长块消息与其他坐标的边信息组合成单坐标辅助变量,利用源的无记忆性得到 Markov 条件,再用信息链式法则下界消息率。错误趋零使极限辅助变量满足函数值确定性;同一辅助值支持的输入因而构成式 (1) 的独立集,得到式 (2) 的下界。[1,2]
如果研究严格零错的函数块图 ,其边还要求存在一个完整的共同相容 Y n ,并至少一坐标输出不同。一般有零支持时,不能无条件把它直接写成 G f 的 OR 幂;OR 着色可提供充分方案,却可能加入不必要的冲突。这也是必须先从通信语义画图的原因。
参考资料
[1] Vishal Doshi, Devavrat Shah, Muriel Médard and Michelle Effros, Functional Compression through Graph Coloring , §II Definitions 2、4、6、Theorem 7;§V 的典型独立集覆盖与分箱分析,正式发表版本为 IEEE TIT 56(8), 2010。
[2] Alon Orlitsky and James R. Roche, Coding for Computing , IEEE Transactions on Information Theory 47(3), 2001, pp.903–917。本文式 (2) 为该定理;上述作者稿明确重述其条件与错误标准。