协方差

中心化先去掉两个变量各自的基线，再观察偏差乘积的平均符号与大小：同向偏差贡献正值，反向偏差贡献负值。把平方可积随机变量视为向量时，协方差就是中心化后的内积，因此相关系数界是内积几何的直接投影。它只记录二阶线性共同变化，无法看见所有非线性依赖。

独立且二阶矩有限推出协方差为零；逆命题一般不成立，例如 $X$ 关于零对称且 $Y=X^2$ 时可不相关但明显依赖。相关系数只对仿射线性关系敏感，不能刻画一般非线性依赖。$|\rho |=1$ 当且仅当中心化变量几乎必然线性相关。协方差依赖单位，相关系数无量纲；零方差时相关系数未定义。

若 $X$ 在 $\{-1,0,1\}$ 上均匀，令 $Y=X^2$，则 $\mathbb{E}X=0$ 且 $\mathbb{E}[XY]=\mathbb{E}[X^3]=0$，所以 $\mathrm{Cov}(X,Y)=0$；但由 $Y$ 可判断 $X$ 是否为零，二者显然不独立。对 $S=X+Y$，展开平方得到

这展示交叉项为何是和的波动中不可忽略的部分。

协方差建立在期望公理库期望Expectation · Expected value实值或复值随机变量关于概率测度的 Lebesgue 积分，概括加权平均与总体质量平衡。与方差公理库方差Variance随机变量相对其均值的平方偏差期望，也是最佳常数平方预测的剩余误差。之上，独立性公理库独立性Statistical independence若干事件、σ-代数或随机元素的所有有限联合概率都按边缘概率乘积分解。在二阶矩有限时会使交叉项消失，但零协方差不能反推独立。对随机向量公理库随机向量Random vector · 多维随机变量一次随机试验同时输出有限多个实坐标所形成的可测映射。的坐标两两取协方差得到矩阵 $\mathrm{\Sigma }$；任意 $a$ 都满足 $a^{\mathsf{T}}\mathrm{\Sigma }a=\mathrm{Var}(a^{\mathsf{T}}X)\ge 0$，所以它是半正定矩阵公理库正定与半正定矩阵Positive definite matrix · Positive semidefinite matrix · PSD matrix由二次能量严格为正或非负定义的实对称与复 Hermitian 矩阵。。这条结构支撑主方向、线性回归误差和随机过程相关性分析。

估计量的渐近协方差决定 Wald 标准误，线性回归公理库线性回归统计模型Linear regression model · Linear model响应的条件均值由设计变量对未知系数线性表示，并显式规定误差结构的统计模型。中则由设计几何与误差协方差共同传播到系数。异方差或相关观测下，${\sigma }^2(X^{T}X{)}^{-1}$ 不再正确，需要 sandwich 或结构化估计；协方差公式本身不会验证条件均值模型。

在多元正态模型中，协方差矩阵与均值一起决定整个分布；这是正态族公理库正态分布Normal distribution · Gaussian distribution · 高斯分布具有指数平方密度、在仿射变换与独立求和下封闭的概率分布族。的特殊性质，不适用于任意联合分布。在线性误差传播中，协方差矩阵描述输入不确定性怎样被变换到输出；时间序列则把不同时刻之间的协方差排成随滞后变化的结构，用来区分短期噪声与持续相关。Monte Carlo 积分公理库Monte Carlo 积分Monte Carlo integration · Monte Carlo quadrature将积分改写为随机变量期望，以独立样本均值估计并用方差和概率假设量化随机误差。同时估计多个量或复用相关样本时，协方差决定线性组合与差值估计量的方差；这是随机误差的二阶结构，不是线性系统的矩阵条件数。