Skip to content

方差

Variance

随机变量相对其均值的平方偏差期望,也是最佳常数平方预测的剩余误差。

条目类型
定义

形式陈述

设实随机变量 X 具有有限二阶矩 E[X2]<。由 Cauchy–Schwarz 不等式,E|X|<,所以期望 m=EX 已有定义。方差为

Var(X)=E[(Xm)2].

展开平方并使用期望线性性,得到常用计算式

Var(X)=E[X2](EX)2.

这个等式只在二阶矩有限的前提下使用;不能把两个无穷量的形式差当作方差。

方差非负,并且

Var(aX+b)=a2Var(X).

平移 b 不改变离均值的距离,缩放 a 则把平方距离放大 a2 倍。Var(X)=0 当且仅当 X=EX 几乎必然成立。标准差

sd(X)=Var(X)

X 具有相同量纲,便于回到原测量尺度解释。

直觉

方差是“用一个常数预测 X”所无法消去的最小平方误差。对任意常数 c

Xc=(XEX)+(EXc),

交叉项取期望后为零,因此

E[(Xc)2]=Var(X)+(EXc)2.

均值由此成为平方损失下唯一的最佳常数预测,最小风险就是方差。这一恒等式比“平均离均值多远”更精确,也预告了 L2 投影、偏差—方差分解和条件期望的几何结构。

把分布看成总质量为一的物体,期望是质心,方差类似绕质心的转动惯量:距离中心两倍远的质量会贡献四倍。平方带来漂亮的代数和正交结构,却也让方差对极端尾部格外敏感;完整描述分布形状或风险还需要尾概率、分位数等信息。

例子与边界

XBernoulli(p),则 X2=X,所以

Var(X)=E[X2](EX)2=pp2=p(1p).

方差在 p=1/2 时达到 1/4,在 p 接近 01 时趋于零。这个变化具有预测含义:几乎总取同一值的比特容易预测,胜负各半时平方误差最大。

温标转换展示单位规则。若摄氏温度为 X,华氏温度为 Y=1.8X+32,则

Var(Y)=1.82Var(X),sd(Y)=1.8sd(X).

常数 32 只移动中心,不改变散布;标准差随单位线性变化,方差则带平方单位。

有限均值不保证有限方差。取 Pareto 分布

f(x)=αxα11[1,)(x),1<α<2.

它满足 EX<,但 E[X2]=,因此没有有限方差。这里平均位置存在,尾部波动却无法压缩成一个有限二阶尺度;任何依赖方差的误差界都需要改用更强尾部假设或稳健方法。

相同方差也不意味着相同风险形态。标准正态分布与 [3,3] 上的均匀分布都具有方差 1,前者无界而后者严格有界。方差控制的是一个二阶平均,不能单独决定尾概率、偏度或极端值行为。

推论与应用

对有限二阶矩变量,和的方差由协方差补齐:

Var(X+Y)=Var(X)+Var(Y)+2Cov(X,Y).

只要协方差为零,方差便可加。独立性足以推出零协方差,反向推论通常不成立。对一族变量,只知道每一对不相关即可消去二阶交叉项,但这仍不推出它们相互独立。

Chebyshev 不等式把二阶平均转成分布无关的尾界:

P(|XEX|t)Var(X)t2.

它通常不够锋利,却只要求有限方差。对共同均值、两两不相关且方差有统一上界的样本,样本均值方差按 1/n 衰减,配合 Chebyshev 即得到一类弱大数律。

给定信息后,总波动分解为

Var(X)=E[Var(XG)]+Var(E[XG]).

第一项是信息块内仍未解释的波动,第二项是不同信息块预测值之间的波动。该式既说明条件平均为何能降低平方误差,也构成统计中的组内—组间分解。

Monte Carlo 把 sd(X)/n 作为独立样本均值的基础波动尺度;固定置信度下的误差区间还需 Chebyshev、中心极限定理或集中不等式连接到概率陈述。平方损失下的估计风险同样要区分抽样方差、偏差平方与不可约噪声,预测值的方差无法单独代表泛化误差。

参考资料
  • Patrick Billingsley, Probability and Measure, 3rd ed., Wiley, 1995, Chapter 4.
  • Joseph K. Blitzstein and Jessica Hwang, Introduction to Probability, 2nd ed., CRC Press, 2019, Chapter 6.
  • Larry Wasserman, All of Statistics, Springer, 2004, Chapters 2–3.
关系图谱24 个相邻概念 · 2 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
类型化关系

使用的工具