形式陈述
考虑有限字母表的离散无记忆网络,节点 () 每次输入 ,收到 ,转移律为 。源节点 向不同的终点 发送均匀消息,其他节点只能依据过去的本地观察选择当前输入;块错误趋零。
任何可达率都满足切集上界
每个 把源与目的地分开。这个条件互信息公理库互信息Mutual information用联合分布相对独立边缘乘积的 KL 散度量化统计依赖。把另一侧已发的输入当作已知,衡量一次网络使用中真正新增的跨界信息。最大化允许任意联合输入分布,是对真实分布式编码约束的放宽,因而给外界。
直觉
即便让切面同侧的所有节点完全合作,源消息仍必须穿过切面才能到终点。将一侧合并成超级发送者、另一侧合并成超级接收者,只会让任务更容易,所以容易任务的容量也限制原网络。
同一份输入分布要接受所有切面的检查。先对每个切面单独最大化再取最小,仍可能是上界,却通常更松;它允许不同切面各自使用不相容的最优分布。
从一段码到单字母上界
任取长度 的通信码公理库信道码Channel code把消息映为信道输入码字并从带噪输出恢复消息的编码—译码对。,Fano 不等式公理库Fano 不等式Fano's inequality用估计错误概率上界条件熵,从而把信息不足转化为推断下界。把可靠译码变成 。向切面外的节点公开它们的本地信息,并按时间展开互信息链式法则,可上界为
无记忆性消去更早信号的额外影响,因果编码保证当前输入只依赖允许的历史。令 为第 次使用的联合输入律,取同一平均律 。对固定转移律,每个切面的 都对联合输入律凹:其条件输出熵是凹函数,而给定全部输入后的输出熵是线性函数。因此Jensen 不等式公理库Jensen 不等式Jensen's inequality凸函数作用于平均值不超过函数值的相同加权平均。给出 。同一个 同时满足所有切面所需的放宽界,再对联合输入律最大化即得结论。证明只建立必要条件,没有构造达到它的码。
例子与边界
三节点中继有两条关键切面
源输入 ,中继输入 、观察 ,终点观察 。切 给
切 给 。前者允许中继和终点把观察汇总,后者允许源和中继像一个发送者那样合作;真实中继未必能同时实现两种理想合作。
无噪串联链的匹配例子
源到中继每次最多传 bit,中继到终点最多传 bit,且为相互独立的无噪链路。两切面分别为 与 ,所以 。中继逐块存储并转发,每次流水线传 bit,启动延迟占比趋零,因此达到上界,容量确为 。
换成一般有噪无线中继后,切集值未必可达。特别是同一个接收输出同时混合多个发送输入时,不能把每条画出的箭头独立当作一条给定容量的管道。
推论与应用
在独立无噪边网络中,该信息界退化成最大流最小割公理库最大流最小割定理Max-flow min-cut theorem以净跨割恒等式和残量可达集证明最大流等于最小割,并给出独立可检查的最优性证书。中的跨边容量和;而译码转发公理库译码转发中继Decode-forward relaying让中继先译出源消息再协同发送,以两段译码瓶颈给出一般中继信道的可达率。与压缩转发公理库压缩转发中继Compress-forward relaying让中继压缩自己的观察供终点联合解释,用描述质量与描述链路容量共同约束可达率。提供具体可达内界。只有内外界在相同模型与参数下吻合,才可宣称求得容量。
参考资料