Hessian 矩阵

形式陈述 ​

设 $U\subseteq {\mathbb{R}}^n$ 为开集，$f:U\to \mathbb{R}$ 在 $x\in U$ 的邻域内二阶可微。二阶 Fréchet 导数

$$D^{2}f(x):{\mathbb{R}}^n\times {\mathbb{R}}^n\to \mathbb{R}$$

是连续双线性映射。它在标准基下的矩阵表示称为 $f$ 在 $x$ 的 Hessian：

$${\mathrm{\nabla }}^{2}f(x)=H_f(x)={[\frac{{\partial }^{2}f}{\partial x_i\partial x_j}(x)]}_{i,j=1}^n.$$

采用列梯度公理库梯度Gradient标量函数微分在内积下对应的向量。约定时，Hessian 也是梯度映射的Jacobian公理库Jacobian 矩阵Jacobian matrix多元映射各偏导数组成并表示其导数的矩阵。：

$$H_f(x)=J_{\mathrm{\nabla }f}(x).$$

对方向 $h,k\in {\mathbb{R}}^n$，双线性形式与矩阵对应为

$$D^{2}f(x)[h,k]=h^{\mathsf{T}}{H}_f(x)k.$$

若 $f\in C^2(U)$，Schwarz–Clairaut 定理保证混合偏导交换，故 $H_f(x)$ 是实对称矩阵。更弱地，只要相关混合偏导在点附近存在并在该点连续，也可得到对应条目相等。

二阶 Taylor 展开给出 Hessian 的局部模型意义。若 $f$ 在 $x$ 二阶 Fréchet 可微，则当 $h\to 0$ 时

$$f(x+h)=f(x)+\mathrm{\nabla }f(x{)}^{\mathsf{T}}h+\frac{1}{2}{h}^{\mathsf{T}}{H}_f(x)h+o(\Vert h{\Vert }^2).$$

这一定义同时控制所有方向；仅列出坐标轴方向的二阶偏导，不能自动得到统一的 $o(\Vert h{\Vert }^2)$ 余项。

直觉 ​

梯度描述局部斜坡，Hessian 描述斜坡本身如何随方向变化。二次型 $h^{\mathsf{T}}Hh$ 是沿方向 $h$ 的二阶弯曲率：正值表示该方向向上弯，负值表示向下弯，零值则需要更高阶项才能判断。

Hessian 的非对角条目记录变量之间的耦合。如果 ${\partial }_{ij}f$ 很大，改变 $x_j$ 会显著改变沿 $x_i$ 的斜率。把 Hessian 只看成一串“二阶偏导”会掩盖它作为坐标无关双线性形式的作用；换坐标后矩阵改变，二阶局部几何由相应的合同变换保留。

例子与计算 ​

取

$$f(x,y)=x^2+2xy+3y^2-4x.$$

则

$$\mathrm{\nabla }f(x,y)=\left(\begin{array}{c}2x+2y-4\\ 2x+6y\end{array}\right),H_f=\left(\begin{array}{cc}2& 2\\ 2& 6\end{array}\right).$$

Hessian 的主子式为 $2>0$、行列式为 $8>0$，所以它正定。解 $\mathrm{\nabla }f=0$ 得唯一驻点 $(3,-1)$，并且对任意非零 $h$ 都有 $h^{\mathsf{T}}{H}_{f}h>0$，故该点是严格全局极小点。因为 $f$ 本身就是二次函数，Taylor 二次模型在这里没有余项。

鞍点例子 $g(x,y)=x^2-y^2$ 的 Hessian 为

$$H_g=\left(\begin{array}{cc}2& 0\\ 0& -2\end{array}\right).$$

在原点梯度为零，但沿 $x$ 轴函数增大、沿 $y$ 轴函数减小，Hessian 的正负特征值准确揭示了鞍形。

对复合 $f(x)=\varphi (Ax+b)$，若 $\varphi :{\mathbb{R}}^m\to \mathbb{R}$ 二阶可微，则

$${\mathrm{\nabla }}^{2}f(x)=A^{\mathsf{T}}{\mathrm{\nabla }}^2\varphi (Ax+b)A.$$

这个公式说明线性特征映射如何把输出空间的曲率拉回输入空间。

边界与失败情形 ​

二阶偏导在一点都存在，不保证 Hessian 对称。定义

$$f(x,y)=\{\begin{array}{ll}{\displaystyle \frac{xy(x^2-y^2)}{x^2+y^2}},& (x,y)\ne (0,0),\\ 0,& (x,y)=(0,0),\end{array}$$

可算得 $f_{xy}(0,0)=-1$ 而 $f_{yx}(0,0)=1$。混合偏导缺少邻域连续性，Clairaut 定理的正则性条件没有满足。此时把条目强行对称化会改变实际的迭代偏导信息，也不能声称存在对称的二阶 Fréchet 导数。

驻点处 Hessian 半正定只给必要条件，不一定给严格极小。例如 $f(x)=x^4$ 在零点有 $f^{\prime }(0)=0$、$f^{″}(0)=0$，零点仍是严格极小；而 $g(x)=x^3$ 同样有前两阶导数为零，却不是极值。Hessian 退化时必须考察高阶项或其他结构。

在非驻点处，正定 Hessian表示局部凸曲率，却不能把该点称为极小点，因为一阶线性项仍主导下降方向。全局凸性也需要在凸域内每一点 Hessian 半正定，而不是只检查一个位置。

Hessian 依赖坐标和度量。一般流形上，直接对坐标偏导再求偏导不会按张量规律变换，需要联络定义协变 Hessian；本页限于 Euclidean 空间的标准坐标结构。

推论与应用 ​

若 $\mathrm{\nabla }f(x_{\ast })=0$ 且 $H_f(x_{\ast })$ 正定，则 $x_{\ast }$ 是严格局部极小；若负定则为严格局部极大；若同时有正负方向则为鞍点。这个二阶判别来自 Taylor 展开，而不是矩阵符号本身的孤立规则。

Newton 法求解驻点时使用

$$H_f(x_k)s_k=-\mathrm{\nabla }f(x_k),$$

并令 $x_{k+1}=x_k+s_k$。信赖域方法则在受限半径内最小化二次模型，允许 Hessian 不定或模型只在局部可靠。实际大规模计算常用 Hessian—向量积 $H_f(x)v$，无需显式存储整个 $n\times n$ 矩阵。

参考资料

• Walter Rudin, Principles of Mathematical Analysis, 3rd ed., McGraw-Hill, 1976，Ch. 9。
• Michael Spivak, Calculus on Manifolds, Westview Press, 1965，Ch. 2。
• Jorge Nocedal and Stephen J. Wright, Numerical Optimization, 2nd ed., Springer, 2006，Ch. 2–4。