梯度下降法

当 $\mathrm{\nabla }f(x)\ne 0$ 时，在欧氏内积下，单位方向 $d$ 的一阶变化是 $⟨\mathrm{\nabla }f(x),d⟩$；其最小值由 $d=-\mathrm{\nabla }f(x)/\Vert \mathrm{\nabla }f(x)\Vert$ 取得，所以负梯度是局部最陡下降方向。若梯度为零，所有单位方向的一阶变化都为零，归一化方向没有定义；这时算法按驻点残差处理，不能由一阶信息挑出唯一最陡方向。算法把曲面在当前点换成切平面，沿最有利方向走有限距离，再重新线性化。步长决定“相信这一局部模型多远”：太小会浪费查询，太大则可能越过谷底并反复振荡。

“最陡”依赖坐标几何。把变量某一坐标放大一千倍，欧氏梯度方向和安全步长都会改变，即使原问题的可行解没有本质变化。预条件、自然梯度或镜像下降所做的核心工作，就是换一种衡量方向长度的几何。梯度下降仍因状态少、单步便宜而是基准方法，但单步局部最陡不意味着给定查询预算下全局最快。

考虑各向异性二次函数

从 $x_0=(1,1)$ 出发，取 $\alpha =1/4$，更新矩阵为 $\mathrm{diag}(3/4,0)$，所以

且函数值从 $5/2$ 降到 $9/32$，再降到 $81/512$。高曲率的第二坐标一步归零，低曲率坐标每轮乘 $3/4$；这一轨迹能逐项复算，也显示最坏曲率如何限制所有坐标共享的步长。若改取 $\alpha =1/2=2/L$，第二坐标每轮乘 $-1$，永不衰减；若再增大，绝对值超过一并发散。端点 $2/L$ 因而不能包含在一般严格下降区间内。

梯度下降也有结构边界。$f(x)=x^3$ 没有下界，沿负梯度走不能产生有限极小点；非凸有下界目标可能收敛到鞍点或局部极小。约束问题直接更新后可能离开可行域，需要投影、近端或其他约束处理。有限精度下，接近解时相减消去与梯度噪声会使函数值不再单调；实现不能在出现 NaN 后仍返回“收敛”。若 $L$ 只靠低估样本得到，固定步长也没有全局保证。

在 $L$-光滑凸目标上，固定步长 $1/L$ 配合一阶凸下界，可以证明函数值误差为 $O(1/k)$；若再有强凸性，则得到几何率。这些是单独的收敛定理理路梯度下降收敛定理Gradient descent convergence theorem · Convergence rate of gradient descent分别给出光滑凸与光滑强凸目标上梯度下降的次线性和几何函数值收敛率。，需要解存在、精确梯度和明确常数，不能写进算法定义后省略条件。对一般光滑非凸且有下界的目标，逐步下降求和只保证某个迭代的梯度范数平方达到 $O(1/k)$ 量级，不保证全局最优。

工程上，梯度下降可作为自动微分模型的最小可靠基线：记录 $f(x_k)$、$\Vert g_k\Vert$、步长和回溯次数，便能区分曲率错估、求值故障与真正停滞。批量随机梯度用有噪声估计替代 $g_k$ 后属于另一算法族，其步长衰减、方差与期望收敛结论都要重做；把“梯度”一词相同当作同一定理，是常见的假设泄漏。

训练记录需要隐私保护时，DP-SGD理路差分隐私随机梯度下降DP-SGD · Differentially private SGD逐样本裁剪、抽样与高斯扰动组成的训练算法，并将实际采样规则和全部训练轮次纳入隐私核算。先逐样本裁剪，再对抽样梯度和加入高斯噪声，最后更新参数。裁剪给出单条记录的最坏影响界，抽样与多轮核算给出最终隐私参数；这些条件与本页的下降或收敛条件分别承担不同任务，噪声更新不能直接继承确定性下降结论。

接到随机oracle时，要重新核对输出和预算 ​

随机梯度下降理路随机梯度下降Stochastic gradient descent · SGD · 随机梯度法在已知历史下用无偏随机梯度更新，推导凸目标期望界与二次噪声底，并按真实梯度查询比较批量和停止保证。把每轮精确梯度换成给定过去后无偏的随机方向。它在常步长二次模型中有可精算的末点噪声底，平均输出与小批量则各自改变误差和查询账；本页精确梯度的逐步下降结论不能直接跨过去。区分两者的实际办法是检查oracle返回的到底是整梯度还是一次随机样本，并记录初始化、每步调用与最终输出规则。