核主成分分析

普通 PCA 寻找中心化向量方差最大的方向；KPCA 做同一件事，只是向量位于由核决定的特征空间。非线性来自 $\varphi$，谱问题本身仍是一个中心化 Gram 矩阵的线性代数问题。

双侧乘 $H$ 同时减去行均值、列均值并加回总均值，确保每个 ${\psi }_i$ 的和为零。只减一次全局常数或只中心化原始输入，都会留下特征空间均值，首个成分可能主要记录偏移而非变异。

$K_c$ 的非零特征值等于经验协方差非零特征值的 $m$ 倍，这解释了方程中的 $m{\lambda }_{\ell }$。特征向量只确定到符号；同一主方向把 $v_{\ell }$ 乘 $-1$ 会让所有坐标同时变号，却不改变重构子空间、方差或任意成对距离。重根时甚至只能唯一确定整个特征子空间，不能逐列比较两个实现的向量。

在一维取训练点 $(0,1,2)$ 与线性核 $k(x,z)=xz$。原 Gram 矩阵为

特征均值为 1，故

唯一正特征值是 $2=m{\lambda }_1$，所以 ${\lambda }_1=2/3$；可取 $v_1=(1,0,-1{)}^{\mathrm{\top }}/\sqrt{2}$。归一化公式给 $u_1=-1$，训练坐标为 $(1,0,-1)$，与中心化输入 $(-1,0,1)$ 只差主成分任意的整体符号。

对样本外点 $x$，必须按训练均值中心化核向量：

投影是

对上例 $x=3$，中心化核向量为 $(-2,0,2{)}^{\mathrm{\top }}$，投影为 $-2$，与 $u_1(3-1)=-2$ 完全一致。

零特征值方向不能除以 $\sqrt{m{\lambda }_{\ell }}$，应丢弃；显著负特征值表示核不 PSD 或数值误差过大。KPCA 只给特征空间坐标，一般没有唯一输入空间 pre-image；把近似逆映射当作算法自带输出会越过定义边界。

KPCA 可提取非线性低维坐标，用于可视化、降噪或后续预测。保留成分的方差比例要基于 $K_c$ 的非负特征值，并说明经验协方差采用 $1/m$ 而非 $1/(m-1)$，否则特征值尺度会不同。

样本外公式必须沿用训练集的均值，不可把查询点加入后重新中心化，否则每次查询都改变基底。大样本时完整特征分解成本高，可用迭代或 Nyström 近似；近似谱误差和中心化方式需要一起验证。