梯度

梯度把移动方向与一阶变化联系起来：沿单位向量 $v$ 走小步 $t>0$，有 $f(a+tv)-f(a)=t⟨\mathrm{\nabla }f(a),v⟩+o(t)$。在相同步长下，内积最大者给出最大的一阶增量。选定内积既规定了“单位步长”，也把微分这一线性泛函表示成梯度向量。

对 $f(x,y)=x^2+3y^2$，$\mathrm{\nabla }f=(2x,6y)$。在梯度非零的点，沿等值线移动的一阶变化为零，所以切向量与梯度正交。在驻点则要继续考察高阶变化：$f(x,y)=x^2-y^2$ 在原点梯度为零，沿横轴上升、沿纵轴下降，是鞍点。

对 $f(x,y)=x^2+4xy+5y^2$，

在点 $(1,0)$，单位方向 $v=(0,1)$ 的方向导数为 $4$；沿梯度归一化方向则达到最大值 $\sqrt{20}$。换用 $M=\mathrm{diag}(1,4)$ 给出的内积后，同一微分 $2h_1+4h_2$ 由梯度 $M^{-1}(2,4{)}^{\mathsf{T}}=(2,1{)}^{\mathsf{T}}$ 表示，因为 $(2,1)Mh=2h_1+4h_2$。改变度量后，“等长的步子”对应不同的坐标位移，最速方向也随之改变。

多元微分理路多元函数导数Derivative in several variables · Jacobian derivativeFréchet 导数在有限维 Euclidean 坐标中的 Jacobian、梯度与方向导数表示。先产生协向量，内积空间理路内积空间Inner product space带正定对称双线性形式或正定 Hermitian 半双线性形式的向量空间。再把它识别为梯度。凸优化利用梯度的支撑不等式判断全局最优，切空间理路切空间Tangent space在一点由曲线速度或函数导子等价定义的局部线性空间。上的 Riemann 度量则把同一构造推广到流形。预条件和自然梯度本质上都是更换内积后重新解释最速方向。

在统计模型理路统计模型与参数Statistical model · Statistical parameter对可观测数据候选分布族、参数化坐标与待推断分布泛函的统一刻画。中，log likelihood 对参数的梯度称为score理路Score 与 Fisher 信息Score function · Fisher information对数似然的局部参数导数、其模型内二次平均，以及零均值和曲率等式成立的正则条件。。在允许交换微分与积分等正则性条件下，对密度积分为 $1$ 的等式求导，可得到 score 的期望为零；Hessian理路Hessian 矩阵Hessian matrix · Hessian标量函数二阶 Fréchet 导数在坐标中的矩阵表示，用于描述局部曲率与二次近似。则记录对数似然的二阶曲率。

约束优化把梯度与允许的移动方向结合：等式约束下可投影到切空间，在线梯度下降理路在线梯度下降online gradient descent · OGD在每轮凸损失揭示后走一个投影次梯度步，并以距离势函数控制 regret。则在每轮损失揭示后作负梯度或次梯度步，再投影回可行集。梯度 boosting理路Gradient BoostingGradient boosting · 梯度提升在函数空间中逐阶段拟合当前损失的负梯度，以基学习器之和构造回归或分类预测器。把训练样本上的预测值视为坐标，让新基学习器拟合经验损失的负梯度，逐步修正当前预测。

势场与 PDE 把梯度解释为空间变化的驱动力；在 Riemann 流形上连续沿负梯度运动，便得到依赖所选度量的梯度流。

在守恒数值计算中，可把一点梯度换成满足精确两点链式法则的离散梯度理路离散梯度保能量方法Discrete gradient method用两点链式法则与反对称结构构造精确保能量更新，并在四次势能上解出一个完整隐式步。。它用新旧状态间的能量差定义方向，再与反对称动力学配合，使隐式一步保持能量。