奇异值分解

SVD 为输入端与输出端分别选取正交规范基。先用 $V^{\ast }$ 读出输入坐标，再由 $\mathrm{\Sigma }$ 把第 $i$ 个坐标缩放 ${\sigma }_i$ 倍，最后用 $U$ 把结果放到输出方向上。它描述的是输入方向与输出方向的配对，因此同样适用于长方矩阵。

量子奇异值变换公理库量子奇异值变换Quantum singular value transformation · QSVT在投影酉接口上交替原门与逆门，实现有界奇偶多项式的奇异值响应，明确左右空间、额外实部辅助、查询次数和输入误差，并用非对称矩阵区分A立方。保留这种两端配对，并在给定块编码接口下把奇异值改成有界多项式响应。奇三次响应得到 $A{A}^{\ast }A$，通常不是普通 $A^3$；偶次响应则留在输入一侧，须另外说明零空间上多项式常数项的作用。

几何上，单位球经 $T$ 映成一个可能退化的椭球。正奇异值是半轴长度，$u_i$ 指向输出半轴，输入单位向量 $v_i$ 则被送到半轴端点 ${\sigma }_i{u}_i$。$\ker T$ 中的方向全部被压成零。特征向量研究在同一空间中保持的方向，奇异向量则记录两端哪些方向彼此对应。

取剪切矩阵 $A=\left(\begin{array}{cc}1& 1\\ 0& 1\end{array}\right)$。它的两个特征值都是 $1$，但 $A^{\ast }A=\left(\begin{array}{cc}1& 1\\ 1& 2\end{array}\right)$ 的特征多项式为 ${\lambda }^2-3\lambda +1$，特征值 $(3\pm \sqrt{5})/2$，故奇异值为

且 ${\sigma }_1{\sigma }_2=1=|\det A|$。剪切无法对角化公理库对角化Diagonalization在线性算子存在由特征向量构成的基时把其矩阵化为对角形。，SVD 却准确给出它的最大拉伸量与最小拉伸量。这里两个特征值的模都为 $1$，奇异值却一大一小，乘积为 $1$，对应面积保持。对正规算子，酉特征分解使 $T^{\ast }T$ 的特征值成为 $|{\lambda }_i{|}^2$，于是奇异值正好是按大小排列的 $|{\lambda }_i|$。

等式 $T{v}_i={\sigma }_i{u}_i$ 保留了基的选择自由。把 $(u_i,v_i)$ 同时乘以同一个单位模标量，等式仍成立；对重复的正奇异值，可在右奇异子空间中另选正交规范基，再用 $u_i=T{v}_i/{\sigma }_i$ 确定匹配的左基。零空间中的左右基则可独立选择。降序排列的奇异值始终相同。

若矩阵条目为整数，还可以研究Smith 正规形公理库PID 上的 Smith 正规形Smith normal form over a PID · Smith normal formPID 上的矩阵可经可逆行列变换化为满足整除链的对角形，且对角因子在相伴意义下唯一。，但所保留的信息不同。$\mathrm{diag}(2,3)$ 的奇异值为 $3,2$，整数 Smith 因子却为 $1,6$。SVD 使用实或复正交规范坐标测量长度伸缩；Smith 形使用环上可逆行列变换保留整除与商模信息。

奇异值还有定量的扰动界：同型矩阵 $A,B$ 的第 $i$ 个奇异值满足 $|{\sigma }_i(A)-{\sigma }_i(B)|\le \Vert A-B{\Vert }_2$，这里按降序排列并补入零奇异值。输入矩阵的微小扰动因此只会造成同等尺度的奇异值变化。

以有限维谱定理公理库有限维谱定理Finite-dimensional spectral theorem有限维复正规算子存在正交规范特征基；实数情形对应自伴算子。为已知结果，可以完整构造 SVD。$T^{\ast }T$ 自伴且半正定，故有正交规范特征基 $v_i$ 与非负特征值 ${\sigma }_i^2$。对正特征值定义 $u_i=T{v}_i/{\sigma }_i$，则

零特征值对应 $\Vert T{v}_i{\Vert }^2=⟨v_i,T^{\ast }T{v}_i⟩=0$，所以 $T{v}_i=0$。把已构造的 $u_1,\dots ,u_r$ 扩充为 $W$ 的正交规范基，便得到形式陈述中的全部等式；$T^{\ast }T$ 的谱又保证奇异值及其重数唯一。

截断 SVD 的两种最优性 ​

对整数 $0\le k<r$，令 $A_k=\sum _{i=1}^k{\sigma }_i{u}_i{v}_i^{\ast }$，其中 $k=0$ 时取零矩阵。它不仅丢掉较小的伸缩方向，还在所有同型、秩至多 $k$ 的矩阵 $B$ 中达到

两种矩阵范数公理库矩阵范数与诱导算子范数Matrix norm · Induced matrix norm · Operator norm of a matrix用诱导范数和常用可计算矩阵范数度量线性映射的放大能力，并区分算子范数、Frobenius 范数与谱半径。分别度量全部坐标的总平方误差与单位输入上的最大误差。$A-A_k$ 的奇异值恰为被丢掉的尾部奇异值，所以它达到等式右端。还需证明其他秩至多 $k$ 的矩阵不能更好；两个范数的下界采用不同机制。

先证明 Frobenius 下界。对任意候选 $B$，令 $P$ 为到 $\mathrm{im}{B}^{\ast }$ 的正交投影公理库正交投影Orthogonal projection把向量映到子空间上最近点并使误差与子空间正交的线性算子。，$q=\mathrm{rank}B\le k$。由于 $B=BP$，分解

的两部分在 Frobenius 内积中正交：前者每一行在投影补空间，后者每一行在投影空间。因此

把右奇异向量扩充成输入空间的完整正交基，并将 ${\sigma }_i$ 补零，记 $a_i=\Vert P{v}_i{\Vert }^2$。投影性质给出 $0\le a_i\le 1$、$\sum _i{a}_i=q$，以及 $\Vert AP{\Vert }_F^2=\sum _i{\sigma }_i^2{a}_i$。若 $q\ge 1$，利用降序排列可得

$q=0$ 时 $P=0$，相同上界直接成立。于是 $\Vert AP{\Vert }_F^2\le \sum _{i\le q}{\sigma }_i^2\le \sum _{i\le k}{\sigma }_i^2$，从总能量中减去这部分，就得到所需的尾部平方和下界。这一证明同时说明：固定候选的行空间后，先换成 $AP$ 只会改善误差；剩下的问题是把有限的维数分配给最大的奇异方向。

再证明算子范数下界。在 $(k+1)$ 维子空间 $E=\mathrm{span}(v_1,\dots ,v_{k+1})$ 上，$B{|}_E$ 的秩至多为 $k$，由秩—零化度定理公理库秩–零化度定理Rank–nullity theorem有限维线性映射的定义域维数等于核维数与像维数之和。，其核中必有非零向量。归一化后得到单位向量 $x\in E\cap \ker B$。写 $x=\sum _{i\le k+1}{c}_i{v}_i$，由左奇异向量正交得

秩限制迫使 $B$ 在这 $k+1$ 个方向中漏掉至少一个组合，而 $A$ 对该组合的拉伸至少为 ${\sigma }_{k+1}$。这就完成了另一种范数的证明。若 $k\ge r$，取 $B=A$ 时两种误差均为零；若 $A=0$，也直接落在这一情形。

对大矩阵，可先用随机线性组合寻找一个较小列空间，再在其中做截断 SVD。随机化 SVD公理库随机化奇异值分解Randomized SVD · 随机 SVD用随机矩阵寻找近似列空间，再在其中做截断 SVD，分别量化子空间遗漏与秩截断的误差。将误差拆成子空间遗漏与空间内截断两项，并以完整五阶例子说明：小矩阵的截断最优性仍成立，但这种受限最优性不保证得到原矩阵在全空间中的最佳秩 $k$ 逼近。

何时最佳逼近唯一 ​

当 $0<k<r$ 且 ${\sigma }_k>{\sigma }_{k+1}$ 时，Frobenius 最优矩阵唯一。事实上 $q<k$ 会少保留一个正奇异值，不能达到最优；$q=k$ 时，设 $t=\sum _{i>k}{a}_i=\sum _{i\le k}(1-a_i)$，上面的能量损失至少为 $({\sigma }_k^2-{\sigma }_{k+1}^2)t$。达到等号必须有 $t=0$，即 $P$ 恰为前 $k$ 个右奇异方向的投影。第一步 Pythagoras 等号又要求 $B=AP$，于是 $B=A_k$。若 ${\sigma }_k={\sigma }_{k+1}>0$，可以在对应重奇异子空间内选择不同的截断方向，得到不同的 Frobenius 最优矩阵。

算子范数的最优矩阵即使有谱隙也未必唯一。例如 $A=\mathrm{diag}(2,1)$，对任意 $|t|\le 1$，$B_t=\mathrm{diag}(2+t,0)$ 都是秩一矩阵，且 $\Vert A-B_t{\Vert }_2=max(|t|,1)=1$。只有 $t=0$ 达到 Frobenius 最优值，因为其误差平方为 $1+t^2$。因此，“截断 SVD 最优”与“所有最优解只能是该截断”是不同的陈述。

主成分分析公理库主成分分析Principal component analysis · PCA · 线性主成分分析从中心化数据的最大方差方向得到得分与仿射重构，并证明它最小化欧氏平方重构误差。将此定理用于中心化数据：保留右奇异方向给出得分，尾部平方和给出重构误差。原数据还需加回均值，因此得到的是仿射低维拟合，不能直接把原数据的重构矩阵称为秩 $k$ 矩阵。

伪逆与扰动尺度 ​

Moore–Penrose 伪逆 $A^{+}=V{\mathrm{\Sigma }}^{+}{U}^{\ast }$ 把正奇异值取倒数、把零方向留为零，因此 $A^{+}b$ 给出最小二乘问题公理库最小二乘与正规方程Least squares · Normal equations将目标向量正交投影到矩阵列空间，并以残差正交条件导出正规方程。的最小范数解。带噪计算可以按阈值截断小奇异值，以控制取倒数带来的放大，具体算法见QR 与 SVD 求解公理库用 QR 与 SVD 求最小二乘Least squares via QR · Least squares via SVD · Numerical least squares以 QR 作为满列秩最小二乘的默认计算路线，并用 SVD 处理秩亏、欠定和最小范数解。。正奇异值对应的 $v_i,u_i$ 分别生成 $\mathrm{im}{T}^{\ast }$ 与 $\mathrm{im}T$，其余基向量分别生成 $\ker T$ 与 $\ker T^{\ast }$。

对 $m\times n$ 矩阵，若 $m,n\ge 1$，将奇异值补零至 $min\{m,n\}$ 项后，有 $\Vert A{\Vert }_2={\sigma }_{max}$；若行数或列数为零，则 $A$ 是零算子、范数为零，不对空奇异值列表取最大值。它与 Frobenius 范数的统一尺度见矩阵范数公理库矩阵范数与诱导算子范数Matrix norm · Induced matrix norm · Operator norm of a matrix用诱导范数和常用可计算矩阵范数度量线性映射的放大能力，并区分算子范数、Frobenius 范数与谱半径。。对 $n\ge 1$ 的可逆 $n\times n$ 方阵，二范数条件数 ${\kappa }_2={\sigma }_{max}/{\sigma }_{min}$ 度量求解线性方程组公理库线性方程组System of linear equations可写为矩阵方程 Ax=b 的有限个一次方程系统。对扰动的敏感程度；同样正维数下的秩亏方阵，其相应条件数视为无穷。完整的右端和矩阵扰动界见线性系统条件数公理库线性方程组的条件数与扰动Conditioning of linear systems · Matrix condition number把一般问题条件性具体化为可逆线性系统的右端、系数矩阵与联合扰动界。。