奇异值分解 | Codeboy's Blog

形式陈述

设 $V,W$ 是有限维实或复内积空间， $T:V\to W$ 是线性映射， $r=\operatorname{rank}T$ 为其秩。则存在 $V$ 的正交规范基 $v_1,\dots,v_n$ 、 $W$ 的正交规范基 $u_1,\dots,u_m$ ，以及唯一确定的实数 $\sigma_1\ge\sigma_2\ge\cdots\ge\sigma_r>0$ ，使得

Tv_i=\sigma_i u_i\quad(1\le i\le r),\qquad Tv_i=0\quad(r<i\le n).

用矩阵语言：任意 $A\in F^{m\times n}$ （ $F=\mathbb R$ 或 $\mathbb C$ ）都可分解为

A=U\Sigma V^*,

其中 $U,V$ 分别是 $m\times m$ 与 $n\times n$ 的酉矩阵（实情形为正交矩阵）， $\Sigma$ 是对角线上依次放 $\sigma_1,\dots,\sigma_r$ 、其余位置为零的 $m\times n$ 非负对角型矩阵。数 $\sigma_i$ 称为 $T$ 的奇异值；若记 $T^*$ 为 $T$ 的伴随算子，则 $\sigma_i^2$ 恰为 $T^*T$ （等价地 $TT^*$ ）的非零特征值， $v_i$ 可取为 $T^*T$ 的特征向量。正奇异值的个数等于 $\operatorname{rank}T$ 。奇异值组（连同重数）由 $T$ 唯一确定，但两组基 $u_i,v_i$ 一般不唯一。

直觉

特征分解要求定义域与到达域是同一空间，还要求算子足够特殊（正规）才能配上正交特征基；而实际遇到的线性映射往往是长方形的、任意的。奇异值分解的出发点是一次让步：既然一组基不够用，就允许输入端与输出端各自挑选一组正交规范基。在这两组量身定做的坐标系下，任何线性映射都呈现出所能想象的最简形式——把第 $i$ 个输入方向送到第 $i$ 个输出方向并伸缩 $\sigma_i$ 倍。几何图像是：单位球经 $T$ 映成一个（可能退化的）椭球， $\sigma_i$ 是椭球半轴的长度， $u_i$ 指向半轴方向， $v_i$ 是该半轴的原像方向。它与谱定理的类比在于都用正交基把映射化成对角形，但类比在关键处失效：SVD 用的是两组不同的基，所以对任意映射成立，代价是 $v_i$ 一般不是 $T$ 的特征向量，分解不再提供"不变方向"的信息。

剪切矩阵的单位圆依次经过 V*、Σ 和 U 映成椭圆 — SVD 把单位圆变为椭圆

例子与边界

取剪切矩阵 $A=\begin{pmatrix}1&1\\0&1\end{pmatrix}$ 。它的两个特征值都是 $1$ ，但 $A^*A=\begin{pmatrix}1&1\\1&2\end{pmatrix}$ 的特征多项式为 $\lambda^2-3\lambda+1$ ，特征值 $(3\pm\sqrt5)/2$ ，故奇异值为

\sigma_1=\frac{1+\sqrt5}{2}\approx1.618,\qquad \sigma_2=\frac{\sqrt5-1}{2}\approx0.618,

且 $\sigma_1\sigma_2=1=|\det A|$ 。这个例子同时说明两件事：剪切不正规、不能正交对角化，却照样有 SVD；奇异值一般不等于特征值的绝对值——只有正规算子才满足 $\sigma_i=|\lambda_i|$ （按适当排序）。

分解的非唯一性是常见误解来源。即使奇异值互不相同，仍可把 $(u_i,v_i)$ 同时换成 $(-u_i,-v_i)$ （复情形乘任意单位模常数）；若某个奇异值重复出现，则对应的奇异向量可在整个子空间内任取正交规范组，只有 $\Sigma$ （按降序约定）是唯一的。另一个边界：奇异值对小扰动稳定（相邻矩阵的奇异值差不超过扰动的算子范数），而特征值可能剧烈变动，这正是数值计算偏爱 SVD 的原因之一。

推论与应用

SVD 的存在性证明就是把有限维谱定理用在自伴半正定算子 $T^*T$ 上，因此它可视为谱定理向任意（含长方形）映射的延伸。截断分解得到的 $A_k=\sum_{i\le k}\sigma_i u_i v_i^*$ 按 Eckart–Young 定理是算子范数与 Frobenius 范数下最佳的秩 $k$ 逼近，逼近误差（算子范数）恰为 $\sigma_{k+1}$ ；这是主成分分析（PCA）、数据压缩与降噪的理论根基。

Moore–Penrose 伪逆 $A^+=V\Sigma^+U^*$ 给出最小二乘问题的最小范数解；怎样选择数值秩并用QR 或 SVD 计算，由数值页面承担。四个基本子空间也由 $u_i,v_i$ 直接给出正交规范基。

对可逆方阵，二范数条件数 $\kappa_2=\sigma_{\max}/\sigma_{\min}$ 度量求解线性方程组对扰动的敏感程度；秩亏矩阵的相应条件数视为无穷。 $\|A\|_2=\sigma_{\max}$ 与 Frobenius 范数的统一尺度见矩阵范数，完整的右端和矩阵扰动界见线性系统条件数。

参考资料

Sheldon Axler, Linear Algebra Done Right, 4th ed. (2024), singular values and SVD.
Jim Hefferon, Linear Algebra (2020/2026 site), singular value decomposition.

形式陈述 ​

反向链接

形式陈述