主成分分析

中心化确定“围绕哪里变化”，主方向确定“沿哪里变化最多”。投影得分是样本在新坐标轴上的坐标，重构则用这些坐标返回原来的特征空间。方向只有 $d$ 个分量，得分却随样本而变；把两者都叫作“主成分”容易混淆模型参数和数据表示。

对一条固定直线，每个样本的最近点是垂足。转动直线时，保留的平方长度与丢掉的平方长度之和始终等于样本到均值的平方距离。因此，让投影展开得最充分与让残差最短是同一个优化问题。均值通常不在原点，主轴也应随均值一起平移。

图中实心圆是原数据，空心方点是投影重构，叉号是均值。相同的横纵尺度使垂直关系保持可见；虚线长度对应本例实际丢失的误差，而不是示意箭头。

四个原始样本的完整计算 ​

取四个二维样本，按行排列为

每列减去自己的均值后，列和均为零。逐项相乘得到

$X^{\mathrm{\top }}X$ 的特征多项式是 $t^2-15t+14=(t-14)(t-1)$。因而可以选

两个奇异值为 $\sqrt{14}$ 与 $1$；经验总方差是 $15/4$。保留首方向时，四个得分与中心化重构分别是

例如首个样本的得分为 $6/\sqrt{13}$，它在主方向上保留的位移为 $(12/13,18/13)$。加回均值，四个原尺度重构点是

被丢掉的第二方向得分为

每一行残差都与 $(2,3)$ 垂直。因为 $v_2$ 是单位向量，总平方误差为 $(25+1+25+1)/(4\cdot 13)=1$，每样本平均平方误差为 $1/4$，保留方差比例为 $14/15$。该平均误差以一个二维样本为单位；若按八个标量坐标平均，则为 $1/8$。

均值、尺度与不唯一性 ​

$X_1$ 的秩为一，但上述 $\hat{D}$ 的秩为二：均值 $(7/2,3)$ 不平行于主方向。PCA 给原数据的最佳仿射一维重构，不能据此称 $\hat{D}$ 是原矩阵 $D$ 的最佳秩一逼近。

分母从 $n$ 改成 $n-1$ 时，需 $n\ge 2$；所有特征值同乘 $n/(n-1)$，主方向、重构与方差比例不变。按列标准化则改变了距离的尺度，通常也改变主方向。本例除以各列经验标准差后，协方差成为

首方向在标准化坐标中变成 $(1,1)/\sqrt{2}$。这是一个不同的优化问题，解码时还须恢复各列尺度。零方差列不能直接除以标准差。

方向的整体符号任意，重特征值空间中的正交基也任意；这些变化未必改变投影。如果 $0<k<d$ 且 ${\lambda }_k>{\lambda }_{k+1}$，首 $k$ 维子空间唯一。若相等并为正，跨越截断位置的重根允许不同最优子空间，也允许不同重构。若 $k$ 已涵盖所有正特征值，额外零方向可以任意选择，训练重构仍完全相同。$k=0$ 时所有样本重构为均值；$k\ge \mathrm{rank}X$ 时误差为零。若 $X=0$，任意方向都最优，方差比例的分母为零，应报告“总方差为零”而不计算 $0/0$。

最大方差与最小误差为什么等价 ​

令 $P=W{W}^{\mathrm{\top }}$。每一行的 $XP$ 与 $X(I-P)$ 正交，逐行应用 Pythagoras 等式，得到

$XW$ 的列均值仍为零，所以最后的迹正好是投影坐标的方差总和。在 $C$ 的完整正交特征基中设 $a_i=\Vert W^{\mathrm{\top }}{v}_i{\Vert }^2$，有 $0\le a_i\le 1$、$\sum _i{a}_i=k$，且 $\mathrm{tr}(W^{\mathrm{\top }}CW)=\sum _i{\lambda }_i{a}_i$。对 $0<k<d$，将遗漏的前 $k$ 项与选入的后项比较：

最后用的是权重总和为 $k$。$W=V_k$ 取到等号，代回 Pythagoras 等式即得尾部奇异值平方和；$k=0,d$ 的结论直接成立。严格谱隙时，等号迫使前 $k$ 个权重全为一、其余全为零，也就固定了投影子空间。

为什么最佳仿射平面可以取为经过均值？对任意基点 $a$ 和投影 $P$，拟合到 $a+\mathrm{im}P$ 的残差满足

交叉项因 ${\mathbf{1}}^{\mathrm{\top }}X=0$ 消失。固定 $P$ 后取 $a=\mu$ 就使第二项为零，再优化 $P$ 即得到 PCA。SVD 条目还证明：同一个 $X_k$ 在所有秩至多 $k$ 的矩阵中也使 Frobenius 误差最小，而不只是在投影形式的候选中最优。

稠密实现的步骤与代价 ​

一种直接实现是先计算均值并中心化，再形成 $C=X^{\mathrm{\top }}X/n$，对这个实对称矩阵作完整特征分解，按特征值降序取前 $k$ 个方向，最后按需要计算得分和重构。在固定精度、每次标量算术视为常数代价的模型下，中心化需要 $O(nd)$ 次运算，形成协方差需要 $O(n{d}^2)$，标准稠密完整特征分解需要 $O(d^3)$；这里计的是算术复杂度，不是随精度增长的位复杂度。

得到 $V_k$ 后，低维投影 $Z=X{V}_k$ 的矩阵乘法需要 $O(ndk)$ 次运算。若还要显式输出全部 $n\times d$ 重构坐标，计算 $Z{V}_k^{\mathrm{\top }}$ 再加回均值需要 $O(ndk+nd)$；即使 $k=0$，写出均值重构仍需 $O(nd)$。由于 $k\le d$，这条完整稠密流程的总时间为 $O(n{d}^2+d^3)$。保留中心化数据、协方差、完整特征方向及得分需要 $O(nd+d^2)$ 存储，显式重构也不改变这个量级；拟合后仅保存模型参数 $\mu ,V_k$ 则只需 $O(d+dk)$。也可以直接对 $X$ 作 SVD 并取右奇异向量，避免显式形成协方差矩阵。

用训练坐标处理新样本 ​

对新样本列向量 $x$，固定训练时保存的 $\mu ,V_k$，计算 $z=V_k^{\mathrm{\top }}(x-\mu )$，再用 $\hat{x}=\mu +V_{k}z$ 重构。本例若 $x=(5,5{)}^{\mathrm{\top }}$，则 $z=9/\sqrt{13}$，$\hat{x}=(127/26,66/13{)}^{\mathrm{\top }}$，残差 $(3/26,-2/26{)}^{\mathrm{\top }}$ 与首方向正交。把新样本加入后重算均值会改变坐标系统，已属于重新拟合。

PCA 的得分协方差为 $V_k^{\mathrm{\top }}C{V}_k=\mathrm{diag}({\lambda }_1,\dots ,{\lambda }_k)$，所以训练得分两两不相关；不相关并不意味着独立。最大化训练方差也不保证保留预测目标所需的信息，或保证估计到总体的真实主方向。这些目标需要额外的数据模型与验证。核主成分分析公理库核主成分分析kernel principal component analysis · kernel PCA · KPCA在特征空间中心化 Gram 矩阵并求谱方向，给出规范化与样本外投影。把同样的中心化和谱投影搬到核特征空间，但通常不能像本页这样直接得到输入坐标中的唯一重构。