典型相关分析 | Codeboy's Blog

形式陈述

两组变量分别描述同一批对象的不同方面，能否找到两组中最相互呼应的线性组合？设中心化随机向量 $X\in\mathbb R^p$ 、 $Y\in\mathbb R^q$ 有有限二阶矩，协方差分块为

\operatorname{Cov}\begin{pmatrix}X\\Y\end{pmatrix} =\begin{pmatrix}\Sigma_{XX}&\Sigma_{XY}\\\Sigma_{YX}&\Sigma_{YY}\end{pmatrix},

且两个组内矩阵 $\Sigma_{XX},\Sigma_{YY}$ 正定。第一典型相关为

\rho_1=\max_{a,b}a^T\Sigma_{XY}b, \qquad a^T\Sigma_{XX}a=b^T\Sigma_{YY}b=1.

约束使 $a^TX$ 和 $b^TY$ 方差为一，所以目标就是它们的相关系数。后续典型对在各自组内与此前各典型变量不相关的条件下，继续最大化跨组相关。共有 $m=\min(p,q)$ 个典型相关，按

1\ge\rho_1\ge\cdots\ge\rho_m\ge0

排列。每对可选相对符号使相关非负；同时反转 $a,b$ 不改变相关。这个总体定义不要求联合正态。

直觉

若直接最大化协方差，把某个变量的单位从米换成毫米就可能改变答案。单位方差约束先把尺度影响去掉，再问两个组合的起伏有多一致。

每组内部的相关还会导致重复计数。白化先把组内方向变成单位方差且彼此不相关，随后只剩下一个纯粹的跨组匹配问题。奇异值分解找出的第一对方向，是这个匹配最强的一对；后面的对在不重复前面组内信息的条件下继续匹配。

典型系数的正负、大小依赖变量尺度和坐标表示，典型相关却不随组内可逆线性换坐标而改变。解释时应同时看组合的含义，而不只看一个很大的相关数。

例子与边界

非对角协方差也能手工白化

设标准化潜在变量 $U=(U_1,U_2)^T$ 、 $V=(V_1,V_2)^T$ 各有单位协方差，交叉协方差为 $\operatorname{diag}(0.8,0.3)$ 。定义

X=\begin{pmatrix}2&0\\1&1\end{pmatrix}U, \qquad Y=\begin{pmatrix}1&0\\0&3\end{pmatrix}V.

于是

\Sigma_{XX}=\begin{pmatrix}4&2\\2&2\end{pmatrix},\quad \Sigma_{YY}=\begin{pmatrix}1&0\\0&9\end{pmatrix},\quad \Sigma_{XY}=\begin{pmatrix}1.6&0\\0.8&0.9\end{pmatrix}.

容易验证， $X_1/2$ 和 $X_2-X_1/2$ 各方差为一且不相关； $Y_1$ 和 $Y_2/3$ 也是如此。跨组相关矩阵恰为对角矩阵。因此两个典型对为

(X_1/2,Y_1),\qquad(X_2-X_1/2,Y_2/3),

对应典型相关 $0.8$ 与 $0.3$ 。如果只查看原始 $X_2$ 与 $Y_2$ 的相关，会得到 $0.9/\sqrt{2\cdot9}\approx0.2121$ ，没有去除 $X_2$ 中与第一方向重复的部分。

高维样本里的“完美相关”可能只是几何必然

用 $n$ 个样本估计 CCA 时，两组中心化数据的列空间都位于 $\mathbb R^n$ 的 $n-1$ 维中心化子空间。若两组分别满列秩 $p,q$ ，且

p+q>n-1,

它们的列空间必有非零交集。因此存在非零样本得分向量同时写成 $Xa$ 和 $Yb$ ，标准化后样本相关恰为一。

例如 $n=6,p=q=3$ 时，两个三维列空间位于五维空间，至少共享一维。即使两组总体独立，样本第一典型相关也会被这种维数关系强迫为一。这不是发现了完美总体关系。

奇异与不唯一

若组内协方差奇异，标准白化逆不存在，需要先限制到非退化支撑或明确采用正则化版本。若奇异值重复，对应典型方向只能确定到子空间旋转；系数的某一种数值写法不是唯一答案。

总体联合协方差只需半正定，因此允许典型相关为一，对应两个组共享某个几乎必然相同的线性分量。若整个联合协方差正定，则所有典型相关严格小于一。

推论与应用

白化把统计目标变成 SVD

利用正定矩阵的对称平方根，令

u=\Sigma_{XX}^{1/2}a,\qquad v=\Sigma_{YY}^{1/2}b,\qquad K=\Sigma_{XX}^{-1/2}\Sigma_{XY}\Sigma_{YY}^{-1/2}.

约束变成 $\|u\|=\|v\|=1$ ，目标变成 $u^TKv$ 。对

K=P\operatorname{diag}(\rho_1,\ldots,\rho_m)Q^T

作奇异值分解，最大值就是第一奇异值，第一对系数为

a_1=\Sigma_{XX}^{-1/2}p_1,\qquad b_1=\Sigma_{YY}^{-1/2}q_1.

正交的后续奇异向量给出组内不相关的后续典型变量，并满足

\operatorname{Cov}(a_i^TX,a_j^TX)=\delta_{ij},\quad \operatorname{Cov}(b_i^TY,b_j^TY)=\delta_{ij},\quad \operatorname{Cov}(a_i^TX,b_j^TY)=\rho_i\delta_{ij}.

任何两个单位方差变量的相关都不超过一，故 $K$ 的奇异值也不超过一。白化矩阵可以使用其他等价因子；不同白化之间只差正交变换，不改变奇异值。

特征值形式与数值含义

消去 $b$ 后，典型系数也满足

\Sigma_{XY}\Sigma_{YY}^{-1}\Sigma_{YX}a =\rho^2\Sigma_{XX}a.

这是广义特征值问题，特征值是典型相关的平方。理论上它与白化 SVD 等价；在接近奇异的样本协方差下，显式求逆会放大误差，应使用合适分解并报告正则化假设，而非只输出一个相关值。

CCA 与 PCA 问的问题不同

PCA在一组变量中寻找方差大的方向；CCA 在两个组之间寻找方差归一化后的高相关方向。某方向在两组中都只有很小方差，却可能非常一致，因而被 CCA 选中；这不代表它必然解释很多原始总方差。

实际分析应把拟合样本的典型相关与新样本表现分开。系数一旦用数据选出，再在同一数据上评价，就包含选择带来的乐观偏差。高维情形中的单位相关尤其需要独立验证或有依据的正则化，不能按事先固定的单个相关系数解释。

参考资料

Korbinian Strimmer，《Multivariate Statistics and Machine Learning》，Chapter 6，§§6.1–6.2，组内白化、交叉相关与 SVD 典型相关。

形式陈述 ​

非对角协方差也能手工白化 ​

高维样本里的“完美相关”可能只是几何必然 ​

奇异与不唯一 ​

白化把统计目标变成 SVD ​

特征值形式与数值含义 ​

CCA 与 PCA 问的问题不同 ​