形式陈述
两个量的相关有多少来自与第三组变量的共同线性变化?设中心化实变量 X , Y 与中心化向量 Z ∈ R k 有有限二阶矩,Σ Z Z 正定。记相应协方差 理路 协方差 Covariance 两个随机变量中心化乘积的期望,衡量线性共同变化。 块为 Σ X Z , Σ Y Z 等,定义线性投影残差
R X = X − Σ X Z Σ Z Z − 1 Z , R Y = Y − Σ Y Z Σ Z Z − 1 Z . 若两残差方差均为正,给定控制变量 Z 的偏相关定义为
ρ X Y ⋅ Z = Corr ( R X , R Y ) = Σ X Y − Σ X Z Σ Z Z − 1 Σ Z Y ( Σ X X − Σ X Z Σ Z Z − 1 Σ Z X ) ( Σ Y Y − Σ Y Z Σ Z Z − 1 Σ Z Y ) . 这个定义只需要二阶矩和线性投影,不要求正态。它通常是一个固定数,与可能随 z 变化的条件相关 Corr ( X , Y ∣ Z = z ) 并非同一个对象。
直觉
分别用同一组控制变量线性预测 X 和 Y ,然后比较两份“尚未被线性解释的部分”。偏相关不是把某些观测删掉,而是在随机变量构成的内积空间里扣除共同的线性投影。
“控制”这个词容易让人以为所有影响都已消除。实际上,只消除了指定变量的一次线性组合。非线性关系、测量误差、遗漏变量和因果方向不会因为计算一个逆矩阵就消失。
在联合正态模型中,条件期望恰好线性,残差又独立于控制变量,线性扣除才与完整条件化吻合。这个额外结构解释了精度矩阵为何能表达 Gaussian 条件独立。
例子与边界
共同线性来源造成一半的边缘相关
取独立标准正态 Z , ε 1 , ε 2 ,令
X = Z + ε 1 , Y = Z + ε 2 . Var ( X ) = Var ( Y ) = 2 ,Cov ( X , Y ) = 1 ,所以边缘相关为 1 / 2 。投影到 Z 后,两份残差分别是 ε 1 , ε 2 ,偏相关为零。给定 Z 后,两变量也确实独立。
非线性共同来源不会被一次投影扣净
将模型改为
X = Z 2 + ε 1 , Y = Z 2 + ε 2 , 仍令三个噪声独立标准正态。中心化后,Cov ( X , Z ) = Cov ( Y , Z ) = 0 ,因为 E Z 3 = 0 。线性投影完全没有扣掉 Z 2 − 1 ,因此
ρ X Y ⋅ Z = Var ( Z 2 ) Var ( Z 2 ) + 1 = 2 3 . 但给定 Z = z 后,X = z 2 + ε 1 与 Y = z 2 + ε 2 独立,条件相关为零。偏相关不等于一般的条件相关,由此可直接看见。
反方向也会失败:若 U ∼ Unif ( − 1 , 1 ) 、X = U , Y = U 2 ,而 Z 与它们独立,则偏相关为零,却仍有 Y = X 2 的确定依赖。非 Gaussian 情形下,零残差相关不足以表示条件独立。
加入控制变量也可能制造相关
令 X , Y , ε 独立标准正态,Z = X + Y + ε 。边缘上 X , Y 独立;但 Var ( Z ) = 3 ,Cov ( X , Z ) = Cov ( Y , Z ) = 1 ,故
ρ X Y ⋅ Z = − 1 / 3 ( 2 / 3 ) ( 2 / 3 ) = − 1 2 . 知道总和类变量后,一个分量偏大,会让另一个分量更可能偏小。这是条件化改变依赖结构的例子;不能把偏相关机械解释成“去掉混杂后剩下的因果作用”。
推论与应用
为什么系数是协方差乘逆矩阵
在平方可积随机变量的内积 ⟨ A , B ⟩ = E ( A B ) 下,最小化 E ( X − b T Z ) 2 的正规方程为
Σ Z Z b = Σ Z X . 这就是正交投影定理 理路 Hilbert 空间投影定理 Hilbert projection theorem · Projection theorem Hilbert 空间中每个闭线性子空间都给出唯一的正交分解与最近点投影。 在有限维线性张成空间上的表现。残差与每个 Z 坐标正交。展开 E ( R X R Y ) 及两份残差平方,便得到形式陈述中的公式。
若只控制一个标准化变量 Z ,公式简化成常用表达
ρ X Y ⋅ Z = ρ X Y − ρ X Z ρ Y Z ( 1 − ρ X Z 2 ) ( 1 − ρ Y Z 2 ) . 若某一残差方差为零,说明该变量已由控制变量精确线性决定,偏相关分母为零,不能强行赋值为零。
精度矩阵中的负号
设整个向量 ( X 1 , … , X p ) 的协方差矩阵 Σ 正定,令精度矩阵 Ω = Σ − 1 。控制除 i , j 之外的全部坐标后,残差协方差是相应Schur 补 理路 Schur 补与静态凝聚 Schur complement · Static condensation 把内部变量的精确响应折入界面矩阵与右端,推导 Schur 补、恢复公式及最小能量性质,并逐项凝聚五节点链。 。把控制坐标作为被消元块,对右端仅保留 i , j 两坐标的线性系统做块消元,便得该 Schur 补的逆等于 Ω 的 2 × 2 主块。
若该主块写为 ( a c c b ) ,其逆为
1 a b − c 2 ( b − c − c a ) . 将交叉项除以两个对角项的平方根,得到
ρ i j ⋅ rest = − Ω i j Ω i i Ω j j . 负号来自分块求逆,不是一个任意约定。这个代数式对有限二阶矩、正定协方差的一般分布都成立;它本身还没有给出条件独立结论。
Gaussian 情形的条件独立
若整个向量联合正态 理路 多元正态分布 Multivariate normal distribution · Multivariate Gaussian distribution · Jointly Gaussian vector 以所有线性组合都正态刻画联合高斯向量,并由特征函数连接线性构造、退化支撑、全维密度与条件分布。 ,残差与控制向量不相关便推出独立。Gaussian 条件分布 理路 条件分布 Conditional distribution · Regular conditional distribution 给定观测值后随机量的概率律,以及它与原联合分布相容的核表示。 中的协方差正好是上述残差协方差,不随控制值改变。因此
ρ i j ⋅ rest = 0 ⟺ X i ⊥ X j ∣ X rest . 样本中一个很小的估计值并不等于总体精确为零;若要据此判断关系,需要考虑估计误差、多重比较和协方差可逆性。定义、总体定理与数据决策应分开。
参考资料