Hessian 矩阵 | Codeboy's Blog

形式陈述

设 $U\subseteq\mathbb R^n$ 为开集， $f:U\to\mathbb R$ 在 $x\in U$ 的邻域内二阶可微。二阶 Fréchet 导数

D^2f(x):\mathbb R^n\times\mathbb R^n\to\mathbb R

是连续双线性映射。它在标准基下的矩阵表示称为 $f$ 在 $x$ 的 Hessian：

\nabla^2f(x)=H_f(x) =\left[ \frac{\partial^2f}{\partial x_i\partial x_j}(x) \right]_{i,j=1}^n.

采用列梯度约定时，Hessian 也是梯度映射的Jacobian：

H_f(x)=J_{\nabla f}(x).

对方向 $h,k\in\mathbb R^n$ ，双线性形式与矩阵对应为

D^2f(x)[h,k]=h^{\mathsf T}H_f(x)k.

二阶 Fréchet 导数只要在该点存在，就已经是对称双线性映射，因此本定义中的 $H_f(x)$ 是实对称矩阵；不必再假设二阶导数连续。若从坐标偏导出发验证，常用的充分条件是 $f\in C^2(U)$ 。只要相关混合偏导在点附近存在并在该点连续，Schwarz–Clairaut 定理也保证对应条目相等。

二阶 Taylor 展开给出 Hessian 的局部模型意义。若 $f$ 在 $x$ 二阶 Fréchet 可微，则当 $h\to0$ 时

f(x+h)=f(x)+\nabla f(x)^{\mathsf T}h +\frac12h^{\mathsf T}H_f(x)h+o(\|h\|^2).

这一 Peano 余项可直接从梯度的可微性得到。写 $\nabla f(x+k)=\nabla f(x)+H_f(x)k+r(k)$ ，其中 $\|r(k)\|=o(\|k\|)$ 。对

q(t)=f(x+th)-f(x)-t\nabla f(x)^{\mathsf T}h-\tfrac12t^2h^{\mathsf T}H_f(x)h

用链式法则，有 $q'(t)=r(th)^{\mathsf T}h$ 。当 $h$ 足够小时，其绝对值在 $0<t<1$ 上至多为 $\varepsilon\|h\|^2$ ；中值定理便给出 $|q(1)|\le\varepsilon\|h\|^2$ 。这控制所有方向，不要求邻域内二阶导数连续；仅列出坐标轴上的二阶偏导则不能代替这一条件。

直觉

梯度描述局部斜坡，Hessian 描述斜坡本身如何随方向变化。二次型 $h^{\mathsf T}Hh$ 是沿方向 $h$ 的二阶弯曲率：正值表示该方向向上弯，负值表示向下弯，零值则需要更高阶项才能判断。

Hessian 的非对角条目记录变量之间的耦合。如果 $\partial_{ij}f$ 很大，改变 $x_j$ 会显著改变沿 $x_i$ 的斜率。把 Hessian 只看成一串“二阶偏导”会掩盖它作为坐标无关双线性形式的作用；作线性换基后矩阵改变，同一个双线性形式由相应的合同变换表示。

例子与边界

取

f(x,y)=x^2+2xy+3y^2-4x.

则

\nabla f(x,y)= \begin{pmatrix}2x+2y-4\\2x+6y\end{pmatrix}, \qquad H_f= \begin{pmatrix}2&2\\2&6\end{pmatrix}.

Hessian 的主子式为 $2>0$ 、行列式为 $8>0$ ，所以它正定。解 $\nabla f=0$ 得唯一驻点 $(3,-1)$ ，并且对任意非零 $h$ 都有 $h^{\mathsf T}H_fh>0$ ，故该点是严格全局极小点。因为 $f$ 本身就是二次函数，Taylor 二次模型在这里没有余项。

鞍点例子 $g(x,y)=x^2-y^2$ 的 Hessian 为

H_g=\begin{pmatrix}2&0\\0&-2\end{pmatrix}.

在原点梯度为零，但沿 $x$ 轴函数增大、沿 $y$ 轴函数减小，Hessian 的正负特征值准确揭示了鞍形。

对复合 $f(x)=\phi(Ax+b)$ ，若 $\phi:\mathbb R^m\to\mathbb R$ 二阶可微，则

\nabla^2f(x)=A^{\mathsf T}\nabla^2\phi(Ax+b)A.

这个公式说明线性特征映射如何把输出空间的曲率拉回输入空间。

边界与失败情形

二阶偏导在一点都存在，其排列成的矩阵可能不对称；此时它不是本页定义的二阶 Fréchet 导数矩阵。定义

f(x,y)= \begin{cases} \dfrac{xy(x^2-y^2)}{x^2+y^2},&(x,y)\ne(0,0),\\ 0,&(x,y)=(0,0), \end{cases}

可算得 $f_{xy}(0,0)=-1$ 而 $f_{yx}(0,0)=1$ 。混合偏导缺少邻域连续性，Clairaut 定理的正则性条件没有满足。此时把条目强行对称化会改变实际的迭代偏导信息，也不能声称存在对称的二阶 Fréchet 导数。

驻点处 Hessian 半正定只给必要条件，不一定给严格极小。例如 $f(x)=x^4$ 在零点有 $f'(0)=0$ 、 $f''(0)=0$ ，零点仍是严格极小；而 $g(x)=x^3$ 同样有前两阶导数为零，却不是极值。Hessian 退化时必须考察高阶项或其他结构。

在非驻点处，正定 Hessian 表示局部凸曲率，却不能把该点称为极小点，因为一阶线性项仍主导下降方向。全局凸性也需要在凸域内每一点 Hessian 半正定，而不是只检查一个位置。

二阶 Fréchet 导数是给定线性坐标结构上的双线性形式，其存在不需另选内积；把微分表示成梯度向量才使用内积。Hessian 的矩阵表达依赖坐标，一般流形上，直接对坐标偏导再求偏导不会按张量规律变换，需要联络定义协变 Hessian；本页限于 Euclidean 空间的标准坐标结构。

推论与应用

若 $\nabla f(x_*)=0$ 且 $H_f(x_*)$ 正定，则 $x_*$ 是严格局部极小；若负定则为严格局部极大；若同时有正负方向则为鞍点。这个二阶判别来自 Taylor 展开，而不是矩阵符号本身的孤立规则。

Newton 法求解驻点时使用

H_f(x_k)s_k=-\nabla f(x_k),

并令 $x_{k+1}=x_k+s_k$ 。信赖域二次子问题在有限球内处理不定 Hessian，以半正定移位和互补关系认证模型全局解；外层信赖域法再比较实际与预测下降，决定是否接受。实际大规模计算常用Hessian–向量积 $H_f(x)v$ ，无需显式存储整个 $n\times n$ 矩阵。

参考资料

Shane Arora, Hazel Browne, Daniel Daners, An alternative approach to Fréchet derivatives, Theorem 5.1：二阶 Fréchet 导数在一点存在即对称；访问于 2026-10-06。
Walter Rudin, Principles of Mathematical Analysis, 3rd ed., McGraw-Hill, 1976，Ch. 9。
Michael Spivak, Calculus on Manifolds, Westview Press, 1965，Ch. 2。
Jorge Nocedal and Stephen J. Wright, Numerical Optimization, 2nd ed., Springer, 2006，Ch. 2–4。

形式陈述 ​

边界与失败情形 ​

反向链接

形式陈述

边界与失败情形