形式陈述
小残差究竟认证了哪三件事
设 ,,取实数 并定义残差 。用二范数理路矩阵范数与诱导算子范数Matrix norm · Induced matrix norm · Operator norm of a matrix用诱导范数和常用可计算矩阵范数度量线性映射的放大能力,并区分算子范数、Frobenius 范数与谱半径。度量时,首先有
它保证靠近某个特征值理路特征值与特征向量Eigenvalue and eigenvector满足 Tv=λv 且 v 非零的标量 λ 与向量 v。,还没有辨认是哪一个。若已指定目标谱子空间 ,令 为其正交投影理路正交投影Orthogonal projection把向量映到子空间上最近点并使误差与子空间正交的线性算子。,并已知互补谱与 的距离
则
互补空间为零时左侧为零,直接结束,无需对空谱取最小值。若目标是简单特征值的单位特征向量 ,左侧就是 ,不受符号或复相位选择影响。
第三,当 是 Rayleigh 商时,存在 Hermitian 扰动 使 ,且所有这样的扰动中最小二范数恰为 。这是指定候选特征对的结构化后向误差。
谱坐标同时给出距离与角度
用谱定理理路有限维谱定理Finite-dimensional spectral theorem有限维复正规算子存在正交规范特征基;实数情形对应自伴算子。写 ,其中 正交规范,。则
以所有距离的最小值下界每项,得到谱距离界。只对目标空间以外的项求和,则得到 ,即方向界。分母确实是候选值到互补谱的距离,不能无说明地换成任意一对近似特征值之差。
Rayleigh 商条件给出 。若 ,置
它 Hermitian 且 ,在正交基 下只有二阶块 ,其余方向作用为零,所以 。任何可行扰动都满足 ,故范数至少为 。 时取 ,证明同样完成。
直觉
残差小意味着方程闭合得好。Hermitian 的正交谱坐标防止不同错误分量互相抵消,因而能保证附近确有谱点;但若两个谱点靠得很近,沿它们之间旋转也只产生很小残差。
方向误差因此一定需要间隔。重特征值内部没有唯一轴可追踪,正确对象是整个特征空间;把所有单位向量强行与某一条选定轴比较,会把合法的基变化误判成失败。
图中红色分量是正交投影误差,不是残差 r。定理把两者通过谱间隔联系起来,不能把它们直接画成同一向量。
例子与边界
用已知参考谱认证受扰动的顶端方向
取 ,令
候选值 ,残差 ,范数为 。与 的矩阵比较,Weyl 界理路Hermitian 特征值的有序扰动界Weyl eigenvalue perturbation bound · Weyl monotonicity theorem从变分原理证明 Hermitian 特征值按序配对的绝对误差界,并在同一三阶扰动中核验尺度与谱隙。给 、、,三个区间分离。
因此距 不超过 的目标是唯一的顶端特征值 。其余两根到 的距离至少为 ,所以对应单位向量 满足
时,谱误差界为 ,正弦角界为 。证书没有用到未知的精确特征向量;它所需的间隔下界来自已知参考谱和扰动范数。
没有间隔,小残差可以对应大角度
取 、,。Rayleigh 商为 ,残差范数为 ,但 与任一坐标特征轴的角度都为 。若把目标指定为 ,互补距离也为 ,本页只给平凡上界 ,准确反映了缺少分离的信息。
推论与应用
用于幂迭代理路幂迭代Power method · Power iteration反复应用矩阵并归一化,以谱隙筛出唯一主模特征方向,同时用残差判断所得特征对。或逆迭代理路Hermitian 特征问题的逆迭代与 Rayleigh 商迭代Inverse iteration · Shifted inverse iteration · Rayleigh quotient iteration · 逆迭代与 Rayleigh 商迭代通过求解移位线性系统放大目标附近的特征方向,并用动态 Rayleigh 移位获得 Hermitian 问题的局部三次收敛。验收时,应分别记录归一化、Rayleigh 商、原矩阵残差、目标识别依据和互补间隔下界。多个候选可能都靠近同一个真特征值,单独的残差包围不保证已经找全谱。
若浮点残差 的计算误差有上界 ,只能安全使用 。严格数值证书还需对间隔使用可靠下界;直接把两项打印小数相减不等于验证了谱隙。一般停止与误差的区别见残差与误差估计理路残差、误差估计与停止准则Residual and error estimation · Stopping criterion区分可计算残差与未知真误差,并说明把缺陷转成误差界和停止证书所需的条件。,谱簇的基不变版本见子空间残差界理路谱簇子空间的残差与间隔界Invariant subspace residual bound · Davis–Kahan sin theta theorem · Subspace angle residual certificate把近似子空间的残差投到互补谱块,证明 Frobenius 与分隔区间下的二范数角度界,避免追踪重根内部任意基。。
参考资料