Skip to content

定理Theorem

Chebyshev 不等式

Chebyshev's inequality

随机变量偏离均值至少给定距离的概率由方差除以距离平方控制。

形式陈述 ​

设随机变量 X 的期望存在且方差有限(等价于 E[X2]<∞)。则对任意 t>0,

Pr(|X−EX|≥t)≤Var(X)t2.

当 σ=Var(X)>0 时,取 t=kσ(k>0)得到标准差形式:偏离均值至少 k 个标准差的概率至多 1/k2。

直觉

这是"方差控制波动"的最直接定量化,证明只有一行:把非负随机变量 (X−EX)2 交给 Markov 不等式,注意事件 {|X−EX|≥t} 与 {(X−EX)2≥t2} 相同即可。取平方有两重作用:一是把上下两个方向的偏差合并成一个非负量,所以界天然是双侧的;二是让"跑远"付出平方级的代价——方差是一笔固定的能量预算,要在距离 t 之外安放概率质量,每单位质量花费 t2,于是远处的质量至多 Var(X)/t2。它对分布形状不作任何假设,这既是弱点(对具体分布往往很松),也是它的力量(不必指定完整分布,只需核实有限方差及所用上界)。

例子与边界

一个立见成效的计算:独立地掷 n≥1 次公平硬币,正面数 Sn 的均值为 n/2、方差为 n/4。代入 t=n/4 得

Pr(|Sn−n2|≥n4)≤n/4(n/4)2=4n,

正面比例偏离 1/2 超过四分之一的概率随 n 消失——只用一次代入就得到了大数律式的结论。

界在"只知方差"的前提下不能再改进:固定 k>1,取 X 以概率 12k2 各取 ±1、以概率 1−1k2 取 0,则 EX=0、Var(X)=1/k2,而 Pr(|X|≥1)=1/k2 恰好取等。但对具体的良态分布它通常很松:正态变量偏离两个标准差的真实概率约 4.6%,Chebyshev 只能给出 25%。

适用范围的边界同样清楚:若 X 可积但中心化二阶矩无穷,右端为无穷,界没有内容;Cauchy 分布连均值都不存在,不能写出这里以 EX 为中心的公式;当 t≤σ 时右端不小于 1,也没有内容——它只在几个标准差之外才开始说话。想要指数级衰减的尾界,必须补充独立性、指数矩或有界性等结构,改用Chernoff 方法或其专门化版本。

推论与应用

最经典的应用是弱大数律的初等证明:独立同分布样本的均值 X¯n 满足 Var(X¯n)=σ2/n,于是 Pr(|X¯n−μ|≥ε)≤σ2/(nε2)→0。同一个公式为Monte Carlo 样本均值提供非渐近、无需分布形状假设但通常较松的误差概率界。

若实值估计量序列 Tn 满足偏差 E[Tn]−θ→0,且 Var(Tn)→0,则 Chebyshev 给出依概率一致性。对任意 ε>0,最终偏差的绝对值小于 ε/2,故 Pr(|Tn−θ|≥ε)≤4Var(Tn)/ε2→0。反演方差界也可产生分布无关但较宽的置信集合。它只使用二阶矩,不提供正态形状、精确显著性或统一参数覆盖;要得到这些结论还需极限定理或更强模型。

它也是集中不等式家族的二阶矩基线;若掌握矩母函数,可转向 Chernoff 型指数界,Hoeffding 不等式则利用独立有界条件。在概率组合与随机算法中,Chebyshev 配合方差计算构成二阶矩方法;而只掌握均值与方差时,它常常就是唯一可靠的尾界。

参考资料
关系图谱17 个相邻概念 · 2 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
类型化关系