“上面证明在随机损失分布下,任意确定学习器的平均遗憾很大。Yao 极小极大原理把它转成:对任意随机化学习器,存在某个确定损失序列使其期望遗憾同样大。即使不显式引用完整 minimax 定理,平…”
形式陈述 ​
有限算法—输入博弈 ​
设合法输入集
随机算法可视为
算法方想让损失小,输入方想让损失大。资源单位、输出约定、promise 域与错误类型必须在进入博弈前固定;若等式两侧使用不同算法类或成本口径,便不再是同一个矩阵博弈。
定理陈述 ​
有限矩阵博弈的 minimax 定理给出
左边先选择一份随机算法,再由对手挑它损失最大的固定输入;右边先选择输入分布,再允许确定性算法针对该分布优化,最后取最难分布。等式把“每个固定输入上的随机保证”转成“一个固定分布下所有确定性算法的平均保证”,同时保留相同的资源上限
在零一损失下,阈值形式是:存在成本至多
为什么反向需要 minimax ​
从随机算法到每个固定分布不需要 minimax。若随机算法对每个输入的错误至多
困难的是反向:已知每个
与
连接起来。混合策略
直觉
随机算法把自己的弱点分散在不同确定性策略上,输入对手则试图找到一份分布,让所有低成本确定性策略都暴露弱点。Minimax 说明在有限、同预算的零和博弈里,这两种混合方式达到同一个值;困难分布不是经验样本,而是输入方的最优混合策略。
量词顺序是原理的全部锋芒。逐个算法各挑一个坏输入,只得到随算法变化的反例,随机混合可能绕开它们;Yao 下界必须先固定同一分布,再证明每个低成本确定性算法都平均失败。这样才能反推出任何随机算法都有某个固定输入失败。
例子与边界
通信复杂度中的特化 ​
令
考虑一 bit XOR,
整数预算和“至多
查询与性质测试中的特化 ​
对固定长度的有限输入域,让
性质测试带有 yes/far promise 时,困难分布必须完全支持在合法域内。常见做法是以某个先验混合 yes 分布
一个常见错误是针对每棵树分别挑坏输入。这只证明每个确定性算法都有弱点,坏输入却可能随算法改变;随机混合恰能分散这些弱点。Yao 下界要求先固定一份对整个低成本算法类共同困难的分布,再量化所有确定性算法。
适用边界 ​
定理使用有限算法—输入矩阵。无限输入、无限精度消息或非紧策略空间需要拓扑、可测性与相应 minimax 条件;“同样是双方对抗”不足以无条件交换 min 与 max。
期望成本允许少量很长的运行,策略集合不再只是深度
推论与应用
用于下界的标准量词 ​
要证明资源
通信中
在通信中,Yao 把 public-coin worst-case complexity 化为最难输入分布上的确定性 distributional complexity;在查询与性质测试中,它把随机算法化为浅决策树分布。可复用的是有限博弈的量词转换,具体下界仍要由矩形、不可区分 transcript 或信息论证完成。
参考资料
- Andrew Chi-Chih Yao, “Probabilistic Computations: Toward a Unified Measure of Complexity,” FOCS, 1977, pp. 222–227.
- Eyal Kushilevitz and Noam Nisan, Communication Complexity, Cambridge University Press, 1997, Section 3.3.
- Anup Rao and Amir Yehudayoff, Communication Complexity and Applications, Cambridge University Press, 2020, Chapter 3.