Skip to content

概率放大

Probability amplification · Error reduction

独立重复并多数表决可把有界错误概率指数降低。

条目类型
原则

形式陈述

设随机算法每次独立运行都以概率至少 1/2+δ 输出正确答案,其中 δ>0。放大构造本身只是独立运行 r 次并取多数票;令 Xi 指示第 i 次出错后,可进一步用Chernoff 界量化尾概率:

Pr[i=1rXir/2]e2δ2r.

因此把常数错误降到 ε 只需 r=O(δ2log(1/ε))。BPP 用多数票;RP 的单侧错误通常重复后取“任一次接受”。独立性可由每轮使用新随机位保证。

直觉

只要单次正确率稳定高于一半,多次独立样本的平均就会集中在真实偏向附近,多数结果同时出错需要异常大的统计波动;概率放大由此把固定优势转化为指数小误差。不过聚合规则取决于误差类型:双边误差用多数票抵消两侧噪声,RP 型单边误差用 OR,coRP 型用 AND,零错误算法则通常通过重启降低超时概率。真正提供指数衰减的是独立性或足够弱相关性加上常数偏差。

独立重复与多数表决降低错误
例子与边界

单次正确率 2/3 时,重复 O(logn) 次可把长度 n 输入上的双边错误降到 nc;若要降到 2n,取 O(n) 次仍为多项式。RP 的单次漏报至多 1/2,重复 k 次后采用“任一次接受即接受”,漏报直接变为 2k。重复不会修复系统偏差、正确率恰为 1/2 或高度相关的试验;多数次数取奇数可避免平票,取偶数则必须明确规则并计入界中。

若各轮复用完全相同随机种子,重复结果相同,误差不会下降。偏差仅为 2n 时需要指数次数才能形成常数信号;对 RP 直接使用多数票仍保持零假阳性,但没有充分利用单边结构;采用“至少一次接受即接受”的 OR 规则,可把漏报率更直接地降为 2k

在学习问题中,重复运行能否降低 失败概率 $\delta$ 取决于输出能否验证或安全聚合。若有独立验证集,可从多个预测器中选择;对二元分类也可在附加条件下多数投票。任意回归器的参数平均、看不到真实风险的 learner 或高度相关的训练样本都不能无条件沿用 BPP 多数表决。若要让有限假设类的所有坏事件同时不发生,还应先把每个事件失败率压到约 δ/|H|,再使用并集界,而不是把并集本身误称为独立重复。

推论与应用

概率放大说明 BPP、RP 等类的具体常数阈值不重要,只要与 1/2 保持常数间隔即可。Chernoff 方法解释双边多数票的指数衰减;单侧错误则由独立事件概率直接相乘。它让BPPRP等定义中的常数具有鲁棒性,也能在多项式次 union bound 前把单次失败压到逆多项式或可忽略水平。

在亚线性模型中,重复的代价必须记回原资源。随机通信协议重复 r 次通常把通信量乘 r,并行执行还需单独报告轮数;随机查询算法会增加查询次数,复用相同随机查询则未必独立;性质测试器还要保持成员端的单侧接受或正确组合两侧错误。放大只改变错误参数,不会消除交互限制、适应性或 member/far gap。

放大同样出现在PCP 定理的参数调整中,但不能只把“重复”当成免费操作:证明 oracle 必须在随机选择前固定,重复验证还会增加随机位和查询次数。交互协议的并行重复也可能需要专门定理;只有能建立各轮独立性或足够弱相关性时,上述 Bernoulli 分析才可直接套用。

Boosting虽然也把弱保证变强,却不是对同一学习器独立运行后取普通多数。它每轮根据此前错误重加权训练样本,让下一个弱分类器面对不同分布,再以加权投票组合;其训练误差下降依赖势函数和弱优势,而不是本页的 IID Bernoulli 重复。

参考资料
  • Sanjeev Arora and Boaz Barak, Computational Complexity: A Modern Approach, Cambridge University Press, 2009,Ch. 7, error reduction for randomized computation。
  • Rajeev Motwani and Prabhakar Raghavan, Randomized Algorithms, Cambridge University Press, 1995,Ch. 4, tail inequalities and amplification by repetition。
关系图谱10 个相邻概念 · 3 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
类型化关系

被这些条目使用

并列辨析