“选择 $f(x)=x^2$ 可得 $(\mathbb EX)^2\le\mathbb E[X^2]$,从而方差非负;选择指数函数则是矩母函数与 Chernoff 界中的关键一步。$ \log…”
形式陈述 ​
设实随机变量
展开平方并使用期望线性性,得到常用计算式
这个等式只在二阶矩有限的前提下使用;不能把两个无穷量的形式差当作方差。
方差非负,并且
平移
与
直觉
方差是“用一个常数预测
交叉项取期望后为零,因此
均值由此成为平方损失下唯一的最佳常数预测,最小风险就是方差。这一恒等式比“平均离均值多远”更精确,也预告了
把分布看成总质量为一的物体,期望是质心,方差类似绕质心的转动惯量:距离中心两倍远的质量会贡献四倍。平方带来漂亮的代数和正交结构,却也让方差对极端尾部格外敏感;完整描述分布形状或风险还需要尾概率、分位数等信息。
例子与边界
若
方差在
温标转换展示单位规则。若摄氏温度为
常数
有限均值不保证有限方差。取 Pareto 分布
它满足
相同方差也不意味着相同风险形态。标准正态分布与
推论与应用
对有限二阶矩变量,和的方差由协方差补齐:
只要协方差为零,方差便可加。独立性足以推出零协方差,反向推论通常不成立。对一族变量,只知道每一对不相关即可消去二阶交叉项,但这仍不推出它们相互独立。
Chebyshev 不等式把二阶平均转成分布无关的尾界:
它通常不够锋利,却只要求有限方差。对共同均值、两两不相关且方差有统一上界的样本,样本均值方差按
给定信息后,总波动分解为
第一项是信息块内仍未解释的波动,第二项是不同信息块预测值之间的波动。该式既说明条件平均为何能降低平方误差,也构成统计中的组内—组间分解。
Monte Carlo 把
参考资料
- Patrick Billingsley, Probability and Measure, 3rd ed., Wiley, 1995, Chapter 4.
- Joseph K. Blitzstein and Jessica Hwang, Introduction to Probability, 2nd ed., CRC Press, 2019, Chapter 6.
- Larry Wasserman, All of Statistics, Springer, 2004, Chapters 2–3.