“information cost 不超过通信,故立即得到 $R^{\mathrm{pub}} \varepsilon(\operatorname{DISJ} n)=\Omega(n)$;发送…”
把一份文件单独发送,可能需要一次完整的协议交互;把很多相互独立的文件合在一起,却能统一编码并分摊协调开销。摊销通信复杂度把这个现象变成一个极限问题:同时完成越来越多份独立任务时,每份平均需要多少通信?
“平均”指总成本除以副本数,不自动意味着对输入取平均通信长度。尤其在信息复杂度的经典等价定理中,可以对整批协议设置最坏通信长度上限,同时只在输入分布下平均错误率。区分这两种平均,是理解定理的第一步。[1]
形式陈述 ​
一个明确的多副本模型 ​
固定有限输入集合上的函数
独立的是不同输入对;同一个输入对里的
对每个坐标要求
概率平均整批输入及协议随机性。记满足这个要求的协议中,最小的最坏通信长度为
于是定义
这个定义允许批量协议利用分布知识,却不把输入分布限制成两方之间的乘积分布。对于同样的函数,更换
信息等于摊销通信:定理说的恰好是哪一件事 ​
令单副本协议的消息记录为
再对在分布
Braverman–Rao 的信息—摊销等价定理,在上述有限输入、固定分布及正的容错参数下给出
对常见的有界错误布尔任务,可取
这里不是外部信息成本。Bob 已知自己的输入
直觉
极限为什么存在,而不只是一个希望 ​
把一个
这是次可加性。由于输入集合有限,总能发送全部必要输入,故
也可以直接看懂这一点:选择一个长度为
所以摊销复杂度是一切有限批次单位成本的下确界。它不要求
下界方向:信息不能凭批量执行而消失 ​
对任意协议,内部信息成本不超过通信长度。若一个协议完成
在每坐标错误要求下成立。故
这一步的机制是互信息链式分解与坐标嵌入。链式分解把关于输入向量的信息摊到坐标;嵌入则用多副本协议构造一个单副本协议,使其平均信息成本至多为总成本的
若采用平均坐标错误的定义,还可以结合错误预算下信息复杂度的凸性,或直接使用随机置换化为前面的形式。这些是定理中的实质步骤,并非仅凭“熵具有可加性”就已完成证明。[1][2]
上界方向:为什么必须留下正的错误余量 ​
给定目标错误率
联合压缩并非把某一方的消息直接交给普通压缩器。交互中,消息的条件分布部分取决于发送方输入,接收方却拥有另一份相关信息。协议压缩要让双方协同重现这些消息,并支付协调所需的开销。
对固定的单副本协议,独立副本的信息密度之和在大批量下集中在其均值附近。压缩后的主要成本因而接近
为了保持最坏长度上限,证明还要设置硬截断:通信到达预算时停止,输出预定结果。截断事件与模拟失败事件在输入分布下的概率可以做得很小,并由
最后让
因此正容错参数不是装饰:它用于吸收模拟与截断的额外错误。零错误端点必须单独分析,不能把这段证明直接令
例子与边界
每坐标错误、平均坐标错误与整批错误 ​
这里每个坐标都允许错误概率
在当前独立同分布副本与公开随机数模型中,这两种要求有相同的最优成本:对满足平均要求的协议,先公开随机置换坐标,执行协议后再把输出恢复原序。输入分布不变,每个原坐标都均匀分担原来的错误率,而通信上限不增加。
但是,“整批所有答案同时正确的概率至少为
允许少量坐标出错,类似有损压缩中的平均失真;要求整批一个都不出错,则涉及更严格的块错误控制。二者不能共用一个未注明口径的“误差
一个精确可算的例子:传输公平比特的失真率 ​
令 Bob 没有输入,Alice 持有公平比特
但它的信息复杂度在允许错误率
下界来自 Fano 不等式:要把公平比特的错误率压到
虽然这个单次协议仍发送一位,其内部信息小于一位。大量独立比特可以通过有损块编码,把每位通信降到
例如
零错误端点:平均长度与硬上限会分道扬镳 ​
再看
然而,若要求整批协议零错误,并且最坏长度有硬上限,则每个
于是这个模型下
若改用期望码长,前缀编码可以使
推论与应用
与直接和、直接积分别有什么关系 ​
直接和关注多副本总成本相对于单副本成本如何增长;摊销复杂度则追问增长的最优线性系数。由于单次通信可能比信息成本大,不能从“信息等于摊销”直接推出对所有任务都有
直接积主要研究资源不足时整批成功率下降得多快,常常采用所有坐标同时正确的成功事件。它与每坐标分布错误率下的摊销模型相邻,却不是同一个结论。
实际阅读一条摊销定理时,最有用的核对是:输入对是否按乘积副本生成,错误保证按坐标还是按整批,成本取最坏还是期望,以及由谁输出。只有这些约定一致,单位成本与信息量的等式才有明确含义。
固定输入分布下的成本与错误约定属于分布通信复杂度模型;不能未经论证改成对每个输入取最坏值的要求。
参考资料
[1] Mark Braverman and Anup Rao, “Information Equals Amortized Communication”, IEEE Transactions on Information Theory 60(10), 6058–6069, 2014。作者预印本,第 6.2 节给出每坐标错误定义、等价定理与压缩/截断证明。
[2] Anup Rao and Amir Yehudayoff, Communication Complexity: and Applications, Cambridge University Press, 2020,信息复杂度、协议压缩与直接和相关章节。
[3] Thomas M. Cover and Joy A. Thomas, Elements of Information Theory, 2nd ed., Wiley, 2006,无损源编码、Fano 不等式与率失真理论。本文的公平比特例子对应二元 Hamming 失真。