Skip to content

定理Theorem

奇异值的Frobenius总误差界

Mirsky singular value perturbation inequality · Frobenius singular-value variation · Hermitian dilation perturbation bound

用Hermitian扩张完整核对矩形矩阵的正负谱与零重数,证明全部有序奇异值的平方误差由矩阵Frobenius误差控制。

形式陈述 ​

设 A,B∈Cm×n 同型,m,n≥1,令 q=min(m,n)。把两份奇异值按降序排列并补零至 q 项:

σ1(A)≥⋯≥σq(A)≥0,σ1(B)≥⋯≥σq(B)≥0.

则

∑i=1q(σi(A)−σi(B))2≤‖A−B‖F2.

这称为Mirsky奇异值扰动不等式的Frobenius版本。右边是矩阵元素的总平方误差。这里没有正规性、正定性、满秩或谱隙假设;方阵不正规也完全可以使用。若有零行数或零列数,采用空奇异值列表,左右两边都为零,单独结束。

与SVD页已有的逐项二范数界相比,本页把所有变化放进同一个Frobenius预算。它也不等于“截断SVD是最佳低秩近似”:这里 A,B 都已给定,不在一族低秩矩阵中寻找最优者。

直觉

长方矩阵没有自己的普通特征值列表,却有输入端与输出端。把两端放到一个更大的空间,令矩阵把输入送到输出、让伴随把输出送回输入,就得到Hermitian矩阵

H(A)=(0m×mAA∗0n×n).

每个正奇异值在这里出现两次,分别是 +σ 与 −σ。扰动的元素也出现两次,位于两个非对角块。因此套用实谱的平方和界后,两边的倍数二恰好抵消。维数不等和秩不足留下的零方向必须一并计数,否则容易多出或少掉一份因子二。

图中只画固定的 3×2 满列秩例子。若输入秩下降,正负谱对会同时移到零处;五个特征值的总数保持不变。

例子与边界

非方阵的取等与严格不等 ​

取两个 2×3 矩阵

A=(300010),B0=(14/50006/50).

奇异值分别为 (3,1)、(14/5,6/5),都已降序。两项变化是 −1/5,1/5,所以平方和为 2/25;矩阵差只有这两项非零,Frobenius平方也为 2/25,取到等号。

再把第二行方向转到第三列:

B1=(14/500006/5).

B1B1∗=diag(196/25,36/25),所以奇异值仍为 (14/5,6/5),左边仍是 2/25。矩阵差却在 (1,1),(2,2),(2,3) 三处非零,给出

‖A−B1‖F2=1/25+1+36/25=62/25.

奇异值只记录伸缩长度,未记录输入方向怎样转动。因此误差界可以很松;不能倒过来用奇异值距离上界矩阵距离。

秩能突变,绝对奇异值误差仍很小 ​

令 A=(100000)、Bε=(1000ε0),0<ε<1。秩从一变为二,但只有第二个奇异值从零变为 ε,两边平方都等于 ε2。定理不保证精确秩在小扰动下保持,也没有给零奇异值定义一个相对误差。

固定阈值下的“数值秩”是另一个可认证的问题。例如已知 ‖A−B‖F≤η,每项差都不超过 η;若某个 σi(B)>τ+η,才可确定 σi(A)>τ。若 σi(B)<τ−η,可确定它低于阈值。落在灰区内的项应报告不确定,不能凭舍入后的零或非零强行分类。

推论与应用

正负谱对与全部零重数的证明 ​

由SVD取一对左右单位奇异向量 Avi=σiui、A∗ui=σivi。当 σi>0 时,

H(A)12(uivi)=σi12(uivi),H(A)12(ui−vi)=−σi12(ui−vi).

这些向量正交规范。核则为 ker⁡A∗⊕ker⁡A;若 rankA=r,其维数为 (m−r)+(n−r)=m+n−2r。因此完整升序谱可以统一写成

−σ1(A),…,−σq(A),0,…,0⏟|m−n|项,σq(A),…,σ1(A).

其中两端列表内已经包含 q−r 份零,总零数为 2(q−r)+|m−n|=m+n−2r。B 也使用完全相同的长度和次序,即使它与 A 的秩不同,按序对应仍有效。

两份扩张都Hermitian,所以Hoffman–Wielandt的有序实谱界给

2∑i=1q(σi(A)−σi(B))2≤‖H(A)−H(B)‖F2=2‖A−B‖F2.

除以二完成证明。这里是把矩形问题转换成更大的Hermitian问题;并未宣称矩形矩阵本身是正规矩阵,也不需要它与另一矩阵共用奇异向量。

增添一行数据时,可比较两种误差尺度 ​

令

X0=(100200),X=(100211).

零行使两份数据同型,不改变原先非零奇异值。X0 的奇异值为 (2,1),而

X∗X=(2115)=diag(1,4)+(1,1)T(1,1).

其特征值为 γ±=(7±13)/2,所以新奇异值为 (γ+,γ−)。本页直接对数据矩阵给出

(γ+−2)2+(γ−−1)2≤2,

因为增添行的Frobenius范数是 2。若改对Gram矩阵使用谱扰动界,所得预算为 ‖X∗X−X0∗X0‖F2=4,控制的对象是奇异值的平方。不能拿这个四直接当成同一个误差对象,也不能在没有正下界时简单除以小奇异值来恢复相对精度。Gram中的秩一结构可交给久期方程更新谱,本页则负责数据变化到伸缩长度总误差的保证。

验收一份数值SVD需先认证重构的含义 ​

设 A~=UΣV∗,其中 U,V 已核验为完整酉矩阵,Σ 为同型非负对角矩阵且已排序。若原矩阵到重构矩阵的可靠Frobenius误差上界为 η,则 Σ 中的数作为奇异值列表,其总平方误差至多 η2。若测得残差还有误差上界 ηR,必须将其加到残差范数上,再平方。

正交性条件不能以“重构残差小”代替。对 A=2I2,若交付 U=2I2,Σ=I2,V=I2,重构残差为零,但报告的两个奇异值一都错了;原因是 U 不酉,Σ 并不是这份重构的奇异值。近似酉的情形可先做有误差预算的正交化,再用本页证书。奇异向量和奇异子空间的准确性还需间隔及方向信息,不能由这份长度列表的证书代替。

参考资料
关系图谱13 个相邻概念 · 2 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
类型化关系