协方差

中心化先去掉两个变量各自的基线，再观察偏差乘积的平均符号与大小：同向偏差贡献正值，反向偏差贡献负值。把平方可积随机变量视为向量时，协方差就是中心化后的内积，因此相关系数界是内积几何的直接投影。它只记录二阶线性共同变化，无法看见所有非线性依赖。

偏相关理路偏相关与精度矩阵Partial correlation · Precision-matrix partial correlation以去除控制变量线性投影后的残差相关定义偏相关；只有在相应联合 Gaussian 条件下，零偏相关才等价于条件独立。进一步把两个变量对同一组控制变量的线性投影扣除，再比较残差。一般分布下它仍只记录线性残差关系；只有联合 Gaussian 等相应条件下，零偏相关才可解释成条件独立。

协方差随计量单位缩放：$\mathrm{Cov}(aX,bY)=ab\mathrm{Cov}(X,Y)$。相关系数用标准差消去尺度，得到无量纲量。两个方差非零时，$|\rho |=1$ 当且仅当中心化变量几乎必然成比例；若某个方差为零，标准化的分母也为零。

从样本估计相关时，还要处理估计误差。Fisher z 变换理路相关系数的 Fisher z 变换Fisher z transformation · Fisher correlation transform用反双曲正切稳定二元正态样本相关的一阶方差，再在变换尺度推断并返回相关尺度，明确 n−3 只是有限样本近似修正。在独立二元正态样本下，以反双曲正切稳定一阶方差；常用的 $1/(n-3)$ 是近似修正，不能推广成任意总体的精确方差公式。

令 $X$ 在 $\{-1,0,1\}$ 上均匀，$Y=X^2$。此时 $\mathbb{E}X=0$、$\mathbb{E}[XY]=\mathbb{E}[X^3]=0$，故 $\mathrm{Cov}(X,Y)=0$。但 $Y=0$ 恰好对应 $X=0$，所以两者有依赖关系。

这个例子还可算出 $\mathrm{Var}(X)=2/3$、$\mathrm{Var}(Y)=2/9$。对 $S=X+Y$，平方展开给出

从而 $\mathrm{Var}(S)=8/9$。若改看 $X+X$，交叉项为 $2\mathrm{Var}(X)$，总方差就成为 $4\mathrm{Var}(X)$；共同变化决定了相加时波动怎样叠加。

尾依赖系数理路尾依赖系数Tail dependence coefficient · 上尾与下尾依赖用同分位阈值下的条件事件极限衡量共同极端，计算上下尾例子，并展示零尾依赖、零相关和极限不存在的不同边界。还可在连续边缘下区分同样零相关的模型：以等概率混合$(U,U)$与$(U,1-U)$，仍有均匀边缘且协方差为零，但同方向上下尾系数均为$1/2$；独立均匀对则均为零。它比较逐渐收紧的条件事件，不是从二阶矩推断独立性。

协方差建立在期望理路期望Expectation · Expected value实值或复值随机变量关于概率测度的 Lebesgue 积分，概括加权平均与总体质量平衡。与方差理路方差Variance随机变量相对其均值的平方偏差期望，也是最佳常数平方预测的剩余误差。之上。独立理路独立性Statistical independence从概率表理解独立性，区分两两、相互和条件独立，并用可计算反例澄清零协方差与条件均值的限度。且二阶矩有限的变量满足 $\mathbb{E}[XY]=\mathbb{E}X\mathbb{E}Y$，所以交叉项为零。对随机向量理路随机向量Random vector · 多维随机变量一次随机试验同时输出有限多个实坐标所形成的可测映射。逐坐标取协方差得到矩阵 $\mathrm{\Sigma }$，它满足 $a^{\mathsf{T}}\mathrm{\Sigma }a=\mathrm{Var}(a^{\mathsf{T}}X)\ge 0$，因而是半正定矩阵理路正定与半正定矩阵Positive definite matrix · Positive semidefinite matrix · PSD matrix由二次能量严格为正或非负定义的实对称与复 Hermitian 矩阵。。

在线性变换 $Y=AX+b$ 下，中心化消去 $b$，直接得到 $\mathrm{Cov}(Y)=A\mathrm{Cov}(X)A^{\mathsf{T}}$。这也是线性回归理路线性回归统计模型Linear regression model · Linear model响应的条件均值由设计变量对未知系数线性表示，并显式规定误差结构的统计模型。误差传播的基础：满列秩设计下，系数误差是 $(X^{\mathsf{T}}X{)}^{-1}{X}^{\mathsf{T}}\epsilon$，将误差协方差代入这一公式，就得到相应的系数协方差。

多元正态分布理路正态分布Normal distribution · Gaussian distribution · 高斯分布具有指数平方密度、在仿射变换与独立求和下封闭的概率分布族。由均值向量与协方差矩阵确定；对一般分布，协方差记录的是二阶信息。时间序列将不同时刻的协方差按滞后排列，以描述相关性怎样随时间间隔变化。Monte Carlo 积分理路Monte Carlo 积分Monte Carlo integration · Monte Carlo quadrature将积分改写为随机变量期望，以独立样本均值估计并用方差和概率假设量化随机误差。复用相关样本估计两个量时，差值方差含有 $-2\mathrm{Cov}(X,Y)$，正相关因此可以减少差值估计的波动。