梯度

梯度不是微分本身，而是借助内积把线性泛函表示成向量后的结果。单位方向 $v$ 上的方向导数是 $⟨\mathrm{\nabla }f,v⟩$，所以内积的对齐界表明梯度方向给出该度量下最快上升。换一把尺子会改变“最快”的方向，正因梯度包含度量选择。

对 $f(x,y)=x^2+3y^2$，$\mathrm{\nabla }f=(2x,6y)$，等值线的切向量与梯度正交。梯度为零只是无约束局部极值的必要条件，不是充分条件：$f(x,y)=x^2-y^2$ 在原点梯度为零却是鞍点。换用加权内积 $⟨x,y{⟩}_M=x^{T}My$ 时，同一微分对应的梯度变为 $M^{-1}{\mathrm{\nabla }}_{\mathrm{E}\mathrm{u}\mathrm{c}\mathrm{l}\mathrm{i}\mathrm{d}}f$。在无限维空间中，并非每个线性泛函都由内积向量表示，需 Hilbert 结构与连续性。

对 $f(x,y)=x^2+4xy+5y^2$，

在点 $(1,0)$，单位方向 $v=(0,1)$ 的方向导数为 $4$；沿梯度归一化方向则达到最大值 $\Vert \mathrm{\nabla }f(1,0)\Vert =\sqrt{20}$。若只求两个偏导而忽略所用坐标基和内积，在流形或非正交坐标中会得到错误的“梯度向量”。

多元微分公理库多元函数导数Derivative in several variables · Jacobian derivativeFréchet 导数在有限维 Euclidean 坐标中的 Jacobian、梯度与方向导数表示。先产生协向量，内积空间公理库内积空间Inner product space带正定对称双线性形式或正定 Hermitian 半双线性形式的向量空间。再把它识别为梯度。凸优化利用梯度的支撑不等式判断全局最优，切空间公理库切空间Tangent space在一点由曲线速度或函数导子等价定义的局部线性空间。上的 Riemann 度量则把同一构造推广到流形。预条件和自然梯度本质上都是更换内积后重新解释最速方向。

统计似然把参数视为坐标时，score公理库Score 与 Fisher 信息Score function · Fisher information对数似然的局部参数导数、其模型内二次平均，以及零均值和曲率等式成立的正则条件。 是 log likelihood 对参数的梯度，其期望为零与信息等式依赖交换微分、积分等正则性；Hessian公理库Hessian 矩阵Hessian matrix · Hessian标量函数二阶 Fréchet 导数在坐标中的矩阵表示，用于描述局部曲率与二次近似。记录二阶局部曲率。它们属于具体统计模型公理库统计模型与参数Statistical model · Statistical parameter对可观测数据候选分布族、参数化坐标与待推断分布泛函的统一刻画。的推断接口，不能从一般梯度公理直接推出估计一致或检验有效。

约束极值把梯度投影到允许方向，在线梯度下降公理库在线梯度下降online gradient descent · OGD在每轮凸损失揭示后走一个投影次梯度步，并以距离势函数控制 regret。则在每轮损失揭示后走负梯度或次梯度步，并用到比较器的距离控制 regret。梯度 boosting公理库Gradient BoostingGradient boosting · 梯度提升 · 梯度提升树在函数空间中逐阶段拟合当前损失的负梯度，以基学习器之和构造回归或分类预测器。是在函数空间中沿经验损失的负梯度方向逐步加入基学习器；这里的“梯度”仍依赖所选函数表示与内积，并不把它变成分类风险的直接保证。无论静态还是在线，梯度为零只是一阶驻点信息，不能说明样本外泛化。

势场与 PDE 把梯度解释为空间变化的驱动力；在 Riemann 流形上连续沿负梯度运动，便得到依赖所选度量的梯度流。