Skip to content

定义Definition

矩阵函数的 Fréchet 导数

Fréchet derivative of a matrix function

推导非交换矩阵扰动的一阶响应、块三角函数恒等式和范数条件数,并手算指数与平方根的方向导数。

形式陈述 ​

标量微分常写 f(a+e)=f(a)+f′(a)e+O(e2)。把 a,e 换成矩阵时,它们一般不交换,乘法顺序会改变答案。怎样计算 矩阵函数真正的一阶变化?

设 f 在 A∈Cn×n 的谱邻域解析。其 Fréchet 导数是关于矩阵 E 线性的映射 Lf(A,E),满足

f(A+E)=f(A)+Lf(A,E)+o(‖E‖),E→0.

这是一般Fréchet 可微性在矩阵空间上的应用。解析条件进一步使局部余项为 O(‖E‖2)。导数的输入是一整块方向矩阵,输出也是矩阵;它不是把 f′ 作用在 A 后简单右乘 E。

对 f(z)=zk,逐项展开一阶项得

Lf(A,E)=∑j=0k−1AjEAk−1−j.

特别地,平方映射的导数是 AE+EA,只有在 AE=EA 时才能合并成 2AE。

用一个块矩阵同时装入函数与导数 ​

解析矩阵函数满足

f((AE0A))=(f(A)Lf(A,E)0f(A)).

对多项式,这直接来自块矩阵幂的右上块。对解析函数,可在包住谱的围道上使用解析函数演算:块 resolvent 的右上块是 (zI−A)−1E(zI−A)−1,积分后恰给出一阶导数。因此恒等式不限于在原点有收敛幂级数的函数。

这个恒等式既是数学表达,也是核验方向导数的办法。大型问题通常不显式形成 2n 阶矩阵,而使用函数专属的导数算法。

绝对和相对条件数 ​

选定矩阵范数后,绝对条件数为

κabs(f,A)=‖Lf(A)‖=maxE≠0‖Lf(A,E)‖‖E‖.

当 ‖A‖≠0 且 ‖f(A)‖≠0 时,相对条件数为

κrel(f,A)=‖Lf(A)‖‖A‖‖f(A)‖.

若某个分母为零,应改报绝对或混合尺度的敏感性,而不把上式硬赋予通常的相对误差含义。

直觉

在 Ak 的一阶变化中,扰动 E 可以占据 k 个因子位置中的任意一个。其左边、右边保留不同数量的 A。标量乘法可以交换,所有位置给出同一项;矩阵乘法不能交换,这些位置必须分别保留。

对指数,有更紧凑的连续表达:

Lexp(A,E)=∫01e(1−s)AEesAds.

扰动在演化的不同时间进入,再由左右两段传播。若 A 与 E 交换,才可以把被积式化成 eAE。

图中上下两个非对角方向得到相同的差商,而直接左乘 eA 会给它们不同的系数。这是一次足以看出非交换性的两维试验。

例子与边界

两个非对角位置都等于 e−1 ​

取

A=(0001),E=(0110).

积分的 (1,2) 元为 ∫01esds=e−1;(2,1) 元为 ∫01e1−sds=e−1。故

Lexp(A,E)=(0e−1e−10).

而 eAE=(01e0),两个非对角元素都错。把 A,E 放进上面的 4×4 块指数,右上块恰能再次验证这个结果。

一般地,对对角矩阵 A=diag(λi),有

[Lf(A,E)]ij=f[λi,λj]Eij,f[λi,λj]={f(λi)−f(λj)λi−λj,λi≠λj,f′(λi),λi=λj.

重复特征值对应差商的连续极限,导数再次出现。数值上,两特征值很近时也不应直接相减再除以一个很小的数。

对上述指数例,四个 Frobenius 正交坐标方向上的增益分别是 1,e−1,e−1,e,所以 ‖Lexp(A)‖F→F=e,相对条件数为 e/1+e2。这个数描述所有单位扰动方向中的最坏增益,不只描述我们挑出的非对角 E。

平方根的导数化为矩阵方程 ​

设 S=A1/2 为主平方根,其谱实部为正。对 S2=A 求一阶变化,得到

SL+LS=E.

这是系数对 (S,−S) 的 Sylvester 方程。两谱位于不同的开半平面,故 L 唯一。若 S=diag(2,3),则

L=(E11/4E12/5E21/5E22/6).

标量公式 E/(2A) 若按单侧矩阵乘法解释,会把非对角除数错误地写成 4 或 6,而正确值是左右两个根之和 5。

有限差分是核验工具,步长要有尺度 ​

中心差分 [f(A+hE)−f(A−hE)]/(2h) 在精确运算下具有二阶截断误差。但浮点中两次函数值相减会放大求值误差,h 过小反而不准确。可用一组递减步长观察二阶区间,再与块恒等式或 Sylvester 解交叉核验,不能以某一个极小步长的结果充当真值。

推论与应用

导数把两类问题连在一起。一方面,它给灵敏度和梯度提供数学目标;另一方面,它解释数值结果为何可能有小后向误差却较大的前向误差:输入误差经过 Lf(A) 放大。

对一个特定实现做自动微分,得到的是该实现计算路径的导数近似。它是否准确代表 Lf(A,E),还取决于原算法的稳定性、分支判定和停止规则。块恒等式提供独立核验入口,Sylvester 求解则使平方根等函数的导数无需重新解整个非线性问题。

参考资料
  • Nicholas J. Higham and Lijing Lin, Matrix Functions: A Short Course, 2013, §3.3:Fréchet 导数、块恒等式和条件数。作者版本
  • Nicholas J. Higham, “What Is a Fréchet Derivative?”, 2020:非交换幂级数导数、指数积分与条件数。作者文章
关系图谱12 个相邻概念 · 2 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
类型化关系