梯度下降法

在欧氏内积下，单位方向 $d$ 的一阶变化是 $⟨\mathrm{\nabla }f(x),d⟩$；其最小值由 $d=-\mathrm{\nabla }f(x)/\Vert \mathrm{\nabla }f(x)\Vert$ 取得，所以负梯度是局部最陡下降方向。算法把曲面在当前点换成切平面，沿最有利方向走有限距离，再重新线性化。步长决定“相信这一局部模型多远”：太小会浪费查询，太大则可能越过谷底并反复振荡。

“最陡”依赖坐标几何。把变量某一坐标放大一千倍，欧氏梯度方向和安全步长都会改变，即使原问题的可行解没有本质变化。预条件、自然梯度或镜像下降所做的核心工作，就是换一种衡量方向长度的几何。梯度下降仍因状态少、单步便宜而是基准方法，但单步局部最陡不意味着给定查询预算下全局最快。

考虑各向异性二次函数

从 $x_0=(1,1)$ 出发，取 $\alpha =1/4$，更新矩阵为 $\mathrm{diag}(3/4,0)$，所以

且函数值从 $5/2$ 降到 $9/32$，再降到 $81/512$。高曲率的第二坐标一步归零，低曲率坐标每轮乘 $3/4$；这一轨迹能逐项复算，也显示最坏曲率如何限制所有坐标共享的步长。若改取 $\alpha =1/2=2/L$，第二坐标每轮乘 $-1$，永不衰减；若再增大，绝对值超过一并发散。端点 $2/L$ 因而不能包含在一般严格下降区间内。

梯度下降也有结构边界。$f(x)=x^3$ 没有下界，沿负梯度走不能产生有限极小点；非凸有下界目标可能收敛到鞍点或局部极小。约束问题直接更新后可能离开可行域，需要投影、近端或其他约束处理。有限精度下，接近解时相减消去与梯度噪声会使函数值不再单调；实现不能在出现 NaN 后仍返回“收敛”。若 $L$ 只靠低估样本得到，固定步长也没有全局保证。

在 $L$-光滑凸目标上，固定步长 $1/L$ 配合一阶凸下界，可以证明函数值误差为 $O(1/k)$；若再有强凸性，则得到几何率。这些是单独的收敛定理公理库梯度下降收敛定理Gradient descent convergence theorem · Convergence rate of gradient descent分别给出光滑凸与光滑强凸目标上梯度下降的次线性和几何函数值收敛率。，需要解存在、精确梯度和明确常数，不能写进算法定义后省略条件。对一般光滑非凸且有下界的目标，逐步下降求和只保证某个迭代的梯度范数平方达到 $O(1/k)$ 量级，不保证全局最优。

工程上，梯度下降可作为自动微分模型的最小可靠基线：记录 $f(x_k)$、$\Vert g_k\Vert$、步长和回溯次数，便能区分曲率错估、求值故障与真正停滞。批量随机梯度用有噪声估计替代 $g_k$ 后属于另一算法族，其步长衰减、方差与期望收敛结论都要重做；把“梯度”一词相同当作同一定理，是常见的假设泄漏。