偏相关与精度矩阵 | Codeboy's Blog

形式陈述

两个量的相关有多少来自与第三组变量的共同线性变化？设中心化实变量 $X,Y$ 与中心化向量 $Z\in\mathbb R^k$ 有有限二阶矩， $\Sigma_{ZZ}$ 正定。记相应协方差块为 $\Sigma_{XZ},\Sigma_{YZ}$ 等，定义线性投影残差

R_X=X-\Sigma_{XZ}\Sigma_{ZZ}^{-1}Z,\qquad R_Y=Y-\Sigma_{YZ}\Sigma_{ZZ}^{-1}Z.

若两残差方差均为正，给定控制变量 $Z$ 的偏相关定义为

\rho_{XY\cdot Z} =\operatorname{Corr}(R_X,R_Y) =\frac{\Sigma_{XY}-\Sigma_{XZ}\Sigma_{ZZ}^{-1}\Sigma_{ZY}} {\sqrt{(\Sigma_{XX}-\Sigma_{XZ}\Sigma_{ZZ}^{-1}\Sigma_{ZX}) (\Sigma_{YY}-\Sigma_{YZ}\Sigma_{ZZ}^{-1}\Sigma_{ZY})}}.

这个定义只需要二阶矩和线性投影，不要求正态。它通常是一个固定数，与可能随 $z$ 变化的条件相关 $\operatorname{Corr}(X,Y\mid Z=z)$ 并非同一个对象。

直觉

分别用同一组控制变量线性预测 $X$ 和 $Y$ ，然后比较两份“尚未被线性解释的部分”。偏相关不是把某些观测删掉，而是在随机变量构成的内积空间里扣除共同的线性投影。

“控制”这个词容易让人以为所有影响都已消除。实际上，只消除了指定变量的一次线性组合。非线性关系、测量误差、遗漏变量和因果方向不会因为计算一个逆矩阵就消失。

在联合正态模型中，条件期望恰好线性，残差又独立于控制变量，线性扣除才与完整条件化吻合。这个额外结构解释了精度矩阵为何能表达 Gaussian 条件独立。

例子与边界

共同线性来源造成一半的边缘相关

取独立标准正态 $Z,\varepsilon_1,\varepsilon_2$ ，令

X=Z+\varepsilon_1,\qquad Y=Z+\varepsilon_2.

$\operatorname{Var}(X)=\operatorname{Var}(Y)=2$ ， $\operatorname{Cov}(X,Y)=1$ ，所以边缘相关为 $1/2$ 。投影到 $Z$ 后，两份残差分别是 $\varepsilon_1,\varepsilon_2$ ，偏相关为零。给定 $Z$ 后，两变量也确实独立。

非线性共同来源不会被一次投影扣净

将模型改为

X=Z^2+\varepsilon_1,\qquad Y=Z^2+\varepsilon_2,

仍令三个噪声独立标准正态。中心化后， $\operatorname{Cov}(X,Z)=\operatorname{Cov}(Y,Z)=0$ ，因为 $EZ^3=0$ 。线性投影完全没有扣掉 $Z^2-1$ ，因此

\rho_{XY\cdot Z}=\frac{\operatorname{Var}(Z^2)}{\operatorname{Var}(Z^2)+1}=\frac23.

但给定 $Z=z$ 后， $X=z^2+\varepsilon_1$ 与 $Y=z^2+\varepsilon_2$ 独立，条件相关为零。偏相关不等于一般的条件相关，由此可直接看见。

反方向也会失败：若 $U\sim\operatorname{Unif}(-1,1)$ 、 $X=U,Y=U^2$ ，而 $Z$ 与它们独立，则偏相关为零，却仍有 $Y=X^2$ 的确定依赖。非 Gaussian 情形下，零残差相关不足以表示条件独立。

加入控制变量也可能制造相关

令 $X,Y,\varepsilon$ 独立标准正态， $Z=X+Y+\varepsilon$ 。边缘上 $X,Y$ 独立；但 $\operatorname{Var}(Z)=3$ ， $\operatorname{Cov}(X,Z)=\operatorname{Cov}(Y,Z)=1$ ，故

\rho_{XY\cdot Z} =\frac{-1/3}{\sqrt{(2/3)(2/3)}}=-\frac12.

知道总和类变量后，一个分量偏大，会让另一个分量更可能偏小。这是条件化改变依赖结构的例子；不能把偏相关机械解释成“去掉混杂后剩下的因果作用”。

推论与应用

为什么系数是协方差乘逆矩阵

在平方可积随机变量的内积 $\langle A,B\rangle=E(AB)$ 下，最小化 $E(X-b^TZ)^2$ 的正规方程为

\Sigma_{ZZ}b=\Sigma_{ZX}.

这就是正交投影定理在有限维线性张成空间上的表现。残差与每个 $Z$ 坐标正交。展开 $E(R_XR_Y)$ 及两份残差平方，便得到形式陈述中的公式。

若只控制一个标准化变量 $Z$ ，公式简化成常用表达

\rho_{XY\cdot Z} =\frac{\rho_{XY}-\rho_{XZ}\rho_{YZ}} {\sqrt{(1-\rho_{XZ}^2)(1-\rho_{YZ}^2)}}.

若某一残差方差为零，说明该变量已由控制变量精确线性决定，偏相关分母为零，不能强行赋值为零。

精度矩阵中的负号

设整个向量 $(X_1,\ldots,X_p)$ 的协方差矩阵 $\Sigma$ 正定，令精度矩阵 $\Omega=\Sigma^{-1}$ 。控制除 $i,j$ 之外的全部坐标后，残差协方差是相应 Schur 补，其逆等于 $\Omega$ 的 $2\times2$ 主块。

若该主块写为 $\left(\begin{smallmatrix}a&c\\c&b\end{smallmatrix}\right)$ ，其逆为

\frac1{ab-c^2}\begin{pmatrix}b&-c\\-c&a\end{pmatrix}.

将交叉项除以两个对角项的平方根，得到

\rho_{ij\cdot\mathrm{rest}}=-\frac{\Omega_{ij}}{\sqrt{\Omega_{ii}\Omega_{jj}}}.

负号来自分块求逆，不是一个任意约定。这个代数式对有限二阶矩、正定协方差的一般分布都成立；它本身还没有给出条件独立结论。

Gaussian 情形的条件独立

若整个向量联合正态，残差与控制向量不相关便推出独立。Gaussian 条件分布中的协方差正好是上述残差协方差，不随控制值改变。因此

\rho_{ij\cdot\mathrm{rest}}=0 \quad\Longleftrightarrow\quad X_i\perp X_j\mid X_{\mathrm{rest}}.

样本中一个很小的估计值并不等于总体精确为零；若要据此判断关系，需要考虑估计误差、多重比较和协方差可逆性。定义、总体定理与数据决策应分开。

参考资料

Korbinian Strimmer，《Multivariate Statistics and Machine Learning》，Chapter 6，§6.6 中 Related quantity: partial correlation，精度矩阵公式、回归残差解释及 Gaussian 条件独立。
MIT OpenCourseWare，6.436J/15.085J，Lecture 15，§3 的 Gaussian 线性创新与独立性。

形式陈述 ​

共同线性来源造成一半的边缘相关 ​

非线性共同来源不会被一次投影扣净 ​

加入控制变量也可能制造相关 ​

为什么系数是协方差乘逆矩阵 ​

精度矩阵中的负号 ​

Gaussian 情形的条件独立 ​

反向链接