形式陈述
设 同型,,令 。把两份奇异值理路奇异值分解Singular value decomposition · SVD任意有限维线性映射都可在正交规范基下表示为非负对角伸缩。按降序排列并补零至 项:
则
这称为Mirsky奇异值扰动不等式的Frobenius版本。右边是矩阵元素的总平方误差理路矩阵范数与诱导算子范数Matrix norm · Induced matrix norm · Operator norm of a matrix用诱导范数和常用可计算矩阵范数度量线性映射的放大能力,并区分算子范数、Frobenius 范数与谱半径。。这里没有正规性、正定性、满秩或谱隙假设;方阵不正规也完全可以使用。若有零行数或零列数,采用空奇异值列表,左右两边都为零,单独结束。
与SVD页已有的逐项二范数界相比,本页把所有变化放进同一个Frobenius预算。它也不等于“截断SVD是最佳低秩近似”:这里 都已给定,不在一族低秩矩阵中寻找最优者。
直觉
长方矩阵没有自己的普通特征值列表,却有输入端与输出端。把两端放到一个更大的空间,令矩阵把输入送到输出、让伴随把输出送回输入,就得到Hermitian矩阵
每个正奇异值在这里出现两次,分别是 与 。扰动的元素也出现两次,位于两个非对角块。因此套用实谱的平方和界后,两边的倍数二恰好抵消。维数不等和秩不足留下的零方向必须一并计数,否则容易多出或少掉一份因子二。
图中只画固定的 满列秩例子。若输入秩下降,正负谱对会同时移到零处;五个特征值的总数保持不变。
例子与边界
非方阵的取等与严格不等
取两个 矩阵
奇异值分别为 、,都已降序。两项变化是 ,所以平方和为 ;矩阵差只有这两项非零,Frobenius平方也为 ,取到等号。
再把第二行方向转到第三列:
,所以奇异值仍为 ,左边仍是 。矩阵差却在 三处非零,给出
奇异值只记录伸缩长度,未记录输入方向怎样转动。因此误差界可以很松;不能倒过来用奇异值距离上界矩阵距离。
秩能突变,绝对奇异值误差仍很小
令 、,。秩从一变为二,但只有第二个奇异值从零变为 ,两边平方都等于 。定理不保证精确秩在小扰动下保持,也没有给零奇异值定义一个相对误差。
固定阈值下的“数值秩”是另一个可认证的问题。例如已知 ,每项差都不超过 ;若某个 ,才可确定 。若 ,可确定它低于阈值。落在灰区内的项应报告不确定,不能凭舍入后的零或非零强行分类。
推论与应用
正负谱对与全部零重数的证明
由SVD取一对左右单位奇异向量 、。当 时,
这些向量正交规范。核则为 ;若 ,其维数为 。因此完整升序谱可以统一写成
其中两端列表内已经包含 份零,总零数为 。 也使用完全相同的长度和次序,即使它与 的秩不同,按序对应仍有效。
两份扩张都Hermitian,所以Hoffman–Wielandt的有序实谱界理路Hoffman–Wielandt谱匹配平方和界Hoffman–Wielandt theorem · Hoffman-Wielandt inequality · Frobenius spectral matching bound由酉基重叠的双随机权重证明正规矩阵谱的一一匹配平方和界,并区分实谱排序、复谱指派和非正规失败。给
除以二完成证明。这里是把矩形问题转换成更大的Hermitian问题;并未宣称矩形矩阵本身是正规矩阵,也不需要它与另一矩阵共用奇异向量。
增添一行数据时,可比较两种误差尺度
令
零行使两份数据同型,不改变原先非零奇异值。 的奇异值为 ,而
其特征值为 ,所以新奇异值为 。本页直接对数据矩阵给出
因为增添行的Frobenius范数是 。若改对Gram矩阵使用谱扰动界,所得预算为 ,控制的对象是奇异值的平方。不能拿这个四直接当成同一个误差对象,也不能在没有正下界时简单除以小奇异值来恢复相对精度。Gram中的秩一结构可交给久期方程理路秩一谱更新的久期方程与消去Rank-one secular equation · Diagonal plus rank-one eigenproblem · Secular equation deflation把Hermitian秩一更新化为单调有理方程,先处理重极点和零分量,再用精确符号隔离全部新根并核对重数。更新谱,本页则负责数据变化到伸缩长度总误差的保证。
验收一份数值SVD需先认证重构的含义
设 ,其中 已核验为完整酉矩阵, 为同型非负对角矩阵且已排序。若原矩阵到重构矩阵的可靠Frobenius误差上界为 ,则 中的数作为奇异值列表,其总平方误差至多 。若测得残差还有误差上界 ,必须将其加到残差范数上,再平方。
正交性条件不能以“重构残差小”代替。对 ,若交付 ,重构残差为零,但报告的两个奇异值一都错了;原因是 不酉, 并不是这份重构的奇异值。近似酉的情形可先做有误差预算的正交化,再用本页证书。奇异向量和奇异子空间的准确性还需间隔及方向信息,不能由这份长度列表的证书代替。
参考资料