奇异值分解

SVD 为输入端与输出端分别选取正交规范基。先用 $V^{\ast }$ 读出输入坐标，再由 $\mathrm{\Sigma }$ 把第 $i$ 个坐标缩放 ${\sigma }_i$ 倍，最后用 $U$ 把结果放到输出方向上。它描述的是输入方向与输出方向的配对，因此同样适用于长方矩阵。

量子奇异值变换理路量子奇异值变换Quantum singular value transformation · QSVT在投影酉接口上交替原门与逆门，实现有界奇偶多项式的奇异值响应，明确左右空间、额外实部辅助、查询次数和输入误差，并用非对称矩阵区分A立方。保留这种两端配对，并在给定块编码接口下把奇异值改成有界多项式响应。奇三次响应得到 $A{A}^{\ast }A$，通常不是普通 $A^3$；偶次响应则留在输入一侧，须另外说明零空间上多项式常数项的作用。

几何上，单位球经 $T$ 映成一个可能退化的椭球。正奇异值是半轴长度，$u_i$ 指向输出半轴，输入单位向量 $v_i$ 则被送到半轴端点 ${\sigma }_i{u}_i$。$\ker T$ 中的方向全部被压成零。特征向量研究在同一空间中保持的方向，奇异向量则记录两端哪些方向彼此对应。

取剪切矩阵 $A=\left(\begin{array}{cc}1& 1\\ 0& 1\end{array}\right)$。它的两个特征值都是 $1$，但 $A^{\ast }A=\left(\begin{array}{cc}1& 1\\ 1& 2\end{array}\right)$ 的特征多项式为 ${\lambda }^2-3\lambda +1$，特征值 $(3\pm \sqrt{5})/2$，故奇异值为

且 ${\sigma }_1{\sigma }_2=1=|\det A|$。剪切无法对角化理路对角化Diagonalization在线性算子存在由特征向量构成的基时把其矩阵化为对角形。，SVD 却准确给出它的最大拉伸量与最小拉伸量。这里两个特征值的模都为 $1$，奇异值却一大一小，乘积为 $1$，对应面积保持。对正规算子，酉特征分解使 $T^{\ast }T$ 的特征值成为 $|{\lambda }_i{|}^2$，于是奇异值正好是按大小排列的 $|{\lambda }_i|$。

等式 $T{v}_i={\sigma }_i{u}_i$ 保留了基的选择自由。把 $(u_i,v_i)$ 同时乘以同一个单位模标量，等式仍成立；对重复的正奇异值，可在右奇异子空间中另选正交规范基，再用 $u_i=T{v}_i/{\sigma }_i$ 确定匹配的左基。零空间中的左右基则可独立选择。降序排列的奇异值始终相同。

若矩阵条目为整数，还可以研究Smith 正规形理路PID 上的 Smith 正规形Smith normal form over a PID · Smith normal formPID 上的矩阵可经可逆行列变换化为满足整除链的对角形，且对角因子在相伴意义下唯一。，但所保留的信息不同。$\mathrm{diag}(2,3)$ 的奇异值为 $3,2$，整数 Smith 因子却为 $1,6$。SVD 使用实或复正交规范坐标测量长度伸缩；Smith 形使用环上可逆行列变换保留整除与商模信息。

奇异值还有定量的扰动界：同型矩阵 $A,B$ 的第 $i$ 个奇异值满足 $|{\sigma }_i(A)-{\sigma }_i(B)|\le \Vert A-B{\Vert }_2$，这里按降序排列并补入零奇异值。输入矩阵的微小扰动因此只会造成同等尺度的奇异值变化。

以有限维谱定理理路有限维谱定理Finite-dimensional spectral theorem有限维复正规算子存在正交规范特征基；实数情形对应自伴算子。为已知结果，可以完整构造 SVD。$T^{\ast }T$ 自伴且半正定，故有正交规范特征基 $v_i$ 与非负特征值 ${\sigma }_i^2$。对正特征值定义 $u_i=T{v}_i/{\sigma }_i$，则

零特征值对应 $\Vert T{v}_i{\Vert }^2=⟨v_i,T^{\ast }T{v}_i⟩=0$，所以 $T{v}_i=0$。把已构造的 $u_1,\dots ,u_r$ 扩充为 $W$ 的正交规范基，便得到形式陈述中的全部等式；$T^{\ast }T$ 的谱又保证奇异值及其重数唯一。

截断 SVD 的两种最优性 ​

对整数 $0\le k<r$，令 $A_k=\sum _{i=1}^k{\sigma }_i{u}_i{v}_i^{\ast }$，其中 $k=0$ 时取零矩阵。它不仅丢掉较小的伸缩方向，还在所有同型、秩至多 $k$ 的矩阵 $B$ 中达到

两种矩阵范数理路矩阵范数与诱导算子范数Matrix norm · Induced matrix norm · Operator norm of a matrix用诱导范数和常用可计算矩阵范数度量线性映射的放大能力，并区分算子范数、Frobenius 范数与谱半径。分别度量全部坐标的总平方误差与单位输入上的最大误差。$A-A_k$ 的奇异值恰为被丢掉的尾部奇异值，所以它达到等式右端。还需证明其他秩至多 $k$ 的矩阵不能更好；两个范数的下界采用不同机制。

先证明 Frobenius 下界。对任意候选 $B$，令 $P$ 为到 $\mathrm{im}{B}^{\ast }$ 的正交投影理路正交投影Orthogonal projection把向量映到子空间上最近点并使误差与子空间正交的线性算子。，$q=\mathrm{rank}B\le k$。由于 $B=BP$，分解

的两部分在 Frobenius 内积中正交：前者每一行在投影补空间，后者每一行在投影空间。因此

把右奇异向量扩充成输入空间的完整正交基，并将 ${\sigma }_i$ 补零，记 $a_i=\Vert P{v}_i{\Vert }^2$。投影性质给出 $0\le a_i\le 1$、$\sum _i{a}_i=q$，以及 $\Vert AP{\Vert }_F^2=\sum _i{\sigma }_i^2{a}_i$。若 $q\ge 1$，利用降序排列可得

$q=0$ 时 $P=0$，相同上界直接成立。于是 $\Vert AP{\Vert }_F^2\le \sum _{i\le q}{\sigma }_i^2\le \sum _{i\le k}{\sigma }_i^2$，从总能量中减去这部分，就得到所需的尾部平方和下界。这一证明同时说明：固定候选的行空间后，先换成 $AP$ 只会改善误差；剩下的问题是把有限的维数分配给最大的奇异方向。

再证明算子范数下界。在 $(k+1)$ 维子空间 $E=\mathrm{span}(v_1,\dots ,v_{k+1})$ 上，$B{|}_E$ 的秩至多为 $k$，由秩—零化度定理理路秩–零化度定理Rank–nullity theorem有限维线性映射的定义域维数等于核维数与像维数之和。，其核中必有非零向量。归一化后得到单位向量 $x\in E\cap \ker B$。写 $x=\sum _{i\le k+1}{c}_i{v}_i$，由左奇异向量正交得

秩限制迫使 $B$ 在这 $k+1$ 个方向中漏掉至少一个组合，而 $A$ 对该组合的拉伸至少为 ${\sigma }_{k+1}$。这就完成了另一种范数的证明。若 $k\ge r$，取 $B=A$ 时两种误差均为零；若 $A=0$，也直接落在这一情形。

对大矩阵，可先用随机线性组合寻找一个较小列空间，再在其中做截断 SVD。随机化 SVD理路随机化奇异值分解Randomized SVD · 随机 SVD用随机矩阵寻找近似列空间，再在其中做截断 SVD，分别量化子空间遗漏与秩截断的误差。将误差拆成子空间遗漏与空间内截断两项，并以完整五阶例子说明：小矩阵的截断最优性仍成立，但这种受限最优性不保证得到原矩阵在全空间中的最佳秩 $k$ 逼近。

何时最佳逼近唯一 ​

当 $0<k<r$ 且 ${\sigma }_k>{\sigma }_{k+1}$ 时，Frobenius 最优矩阵唯一。事实上 $q<k$ 会少保留一个正奇异值，不能达到最优；$q=k$ 时，设 $t=\sum _{i>k}{a}_i=\sum _{i\le k}(1-a_i)$，上面的能量损失至少为 $({\sigma }_k^2-{\sigma }_{k+1}^2)t$。达到等号必须有 $t=0$，即 $P$ 恰为前 $k$ 个右奇异方向的投影。第一步 Pythagoras 等号又要求 $B=AP$，于是 $B=A_k$。若 ${\sigma }_k={\sigma }_{k+1}>0$，可以在对应重奇异子空间内选择不同的截断方向，得到不同的 Frobenius 最优矩阵。

算子范数的最优矩阵即使有谱隙也未必唯一。例如 $A=\mathrm{diag}(2,1)$，对任意 $|t|\le 1$，$B_t=\mathrm{diag}(2+t,0)$ 都是秩一矩阵，且 $\Vert A-B_t{\Vert }_2=max(|t|,1)=1$。只有 $t=0$ 达到 Frobenius 最优值，因为其误差平方为 $1+t^2$。因此，“截断 SVD 最优”与“所有最优解只能是该截断”是不同的陈述。

主成分分析理路主成分分析Principal component analysis · PCA · 线性主成分分析从中心化数据的最大方差方向得到得分与仿射重构，并证明它最小化欧氏平方重构误差。将此定理用于中心化数据：保留右奇异方向给出得分，尾部平方和给出重构误差。原数据还需加回均值，因此得到的是仿射低维拟合，不能直接把原数据的重构矩阵称为秩 $k$ 矩阵。

伪逆与扰动尺度 ​

Moore–Penrose 伪逆 $A^{+}=V{\mathrm{\Sigma }}^{+}{U}^{\ast }$ 把正奇异值取倒数、把零方向留为零，因此 $A^{+}b$ 给出最小二乘问题理路最小二乘与正规方程Least squares · Normal equations将目标向量正交投影到矩阵列空间，并以残差正交条件导出正规方程。的最小范数解。带噪计算可以按阈值截断小奇异值，以控制取倒数带来的放大，具体算法见QR 与 SVD 求解理路用 QR 与 SVD 求最小二乘Least squares via QR · Least squares via SVD · Numerical least squares以 QR 作为满列秩最小二乘的默认计算路线，并用 SVD 处理秩亏、欠定和最小范数解。。正奇异值对应的 $v_i,u_i$ 分别生成 $\mathrm{im}{T}^{\ast }$ 与 $\mathrm{im}T$，其余基向量分别生成 $\ker T$ 与 $\ker T^{\ast }$。

对 $m\times n$ 矩阵，若 $m,n\ge 1$，将奇异值补零至 $min\{m,n\}$ 项后，有 $\Vert A{\Vert }_2={\sigma }_{max}$；若行数或列数为零，则 $A$ 是零算子、范数为零，不对空奇异值列表取最大值。它与 Frobenius 范数的统一尺度见矩阵范数理路矩阵范数与诱导算子范数Matrix norm · Induced matrix norm · Operator norm of a matrix用诱导范数和常用可计算矩阵范数度量线性映射的放大能力，并区分算子范数、Frobenius 范数与谱半径。。对 $n\ge 1$ 的可逆 $n\times n$ 方阵，二范数条件数 ${\kappa }_2={\sigma }_{max}/{\sigma }_{min}$ 度量求解线性方程组理路线性方程组System of linear equations可写为矩阵方程 Ax=b 的有限个一次方程系统。对扰动的敏感程度；同样正维数下的秩亏方阵，其相应条件数视为无穷。完整的右端和矩阵扰动界见线性系统条件数理路线性方程组的条件数与扰动Conditioning of linear systems · Matrix condition number把一般问题条件性具体化为可逆线性系统的右端、系数矩阵与联合扰动界。。

若任务是比较两份同型数据的全部伸缩长度，奇异值Frobenius总误差界理路奇异值的Frobenius总误差界Mirsky singular value perturbation inequality · Frobenius singular-value variation · Hermitian dilation perturbation bound用Hermitian扩张完整核对矩形矩阵的正负谱与零重数，证明全部有序奇异值的平方误差由矩阵Frobenius误差控制。把有序奇异值的平方差总和控制在矩阵元素的平方误差内。其证明通过Hermitian扩张核对正负谱对、矩形维数差与零重数；它补充逐项扰动保证，不重复这里的低秩最佳逼近问题。

若目标从“秩至多 k 的最佳逼近”改为“平方误差加核范数惩罚”，奇异值软阈值理路核范数近端映射与奇异值软阈值Nuclear norm proximal map · Singular value soft thresholding · 核范数近端收缩推导核范数的完整次微分，以谱范数残差证明奇异值软阈值的唯一最优性，并区分核惩罚、截断SVD和逐项稀疏。会将保留的奇异值也减去阈值。该页在同一非对角矩阵上比较截断与收缩，并给出矩阵次微分证书；当只观测部分条目时，补全证书理路矩阵补全的优化间隙与唯一性证书Matrix completion certificate · Nuclear norm completion dual certificate · 核范数补全证书以掩码近端梯度求解带核惩罚的观测损失，用支持受限的谱范数对偶点认证误差，再以切空间严格证书证明精确补全唯一性。另检查观测支撑和切空间，不能由本页的全观测 Eckart–Young 定理直接推出。

有限维中所有值域都闭，伪逆因而对每个数据向量都有定义。转到无限维紧算子的奇异系统理路紧算子的奇异系统Singular system of a compact operator · Compact operator SVD · 紧算子左右奇异展开为一般紧算子构造两端的完整奇异方向，证明范数收敛与截断误差，并求完 Volterra 算子的混合边界奇异系统。，正左奇异向量覆盖的是值域闭包；例如 $D{e}_n=n^{-1}{e}_n$ 的数据 $y=\sum n^{-1}{e}_n$ 属于 ${\ell }^2$，形式逆的系数却全为一，不属于 ${\ell }^2$。Picard 判据理路Picard 判据与紧算子的最小范数逆Picard criterion · Picard solvability condition · Moore–Penrose inverse of a compact operator以余核正交和加权平方和同时判定精确可解性，给出最小二乘逆的真正定义域，并算出 Green 数据的 q>5/2 阈值。用加权平方和准确补上这个定义域检查，并保留本页最小范数解的核分量选择。