形式陈述

若实随机变量 $X,Y$$X,Y$ 具有有限二阶矩，协方差定义为

$$ \operatorname{Cov}(X,Y) =\mathbb E[(X-\mathbb EX)(Y-\mathbb EY)] =\mathbb E[XY]-\mathbb EX\,\mathbb EY. $$$$\mathrm{Cov}(X,Y)=\mathbb{E}[(X-\mathbb{E}X)(Y-\mathbb{E}Y)]=\mathbb{E}[XY]-\mathbb{E}X\mathbb{E}Y.$$

它双线性且对称，并满足

$$ |\operatorname{Cov}(X,Y)| \le\sqrt{\operatorname{Var}(X)\operatorname{Var}(Y)}. $$$$|\mathrm{Cov}(X,Y)|\le \sqrt{\mathrm{Var}(X)\mathrm{Var}(Y)}.$$

当两个方差非零时，相关系数 $\rho=\operatorname{Cov}(X,Y)/(\sigma_X\sigma_Y)$$\rho =\mathrm{Cov}(X,Y)/({\sigma }_X{\sigma }_Y)$ 位于 $[-1,1]$$[-1,1]$。和的方差为

$$ \operatorname{Var}\!\left(\sum_iX_i\right) =\sum_i\operatorname{Var}(X_i)+2\sum_{i<j}\operatorname{Cov}(X_i,X_j). $$$$\mathrm{Var}\left(\sum _i{X}_i\right)=\sum _i\mathrm{Var}(X_i)+2\sum _{i<j}\mathrm{Cov}(X_i,X_j).$$

直觉

协方差是两个中心化变量在 $L^2$$L^2$ 内积下的夹角与尺度信息，衡量它们是否倾向于同向线性波动。

例子与边界

独立且二阶矩有限推出协方差为零；逆命题一般不成立，例如 $X$$X$ 关于零对称且 $Y=X^2$$Y=X^2$ 时可不相关但明显依赖。相关系数只对仿射线性关系敏感，不能刻画一般非线性依赖。$|\rho|=1$$|\rho |=1$ 当且仅当中心化变量几乎必然线性相关。协方差依赖单位，相关系数无量纲；零方差时相关系数未定义。

推论与应用

协方差矩阵用于多元正态、主成分分析、误差传播、时间序列和随机过程；和方差公式说明独立性如何消除交叉项。

参考资料

• Patrick Billingsley, Probability and Measure, 3rd ed., Wiley, 1995，Ch. 4, covariance and covariance matrices。
• Sheldon Ross, A First Course in Probability, 10th ed., Pearson, 2019，Ch. 7, covariance, correlation, and sums。