加速梯度法

普通梯度下降每轮丢弃上一方向，只保留当前位置。加速法把连续几轮的一致移动解释成“尚未走够”，将查询点向前外推；若新梯度仍支持这个趋势，历史位移便减少低曲率方向的拖延。与此同时，梯度步负责用局部二次模型校正外推，避免动量完全脱离目标。

图中 ${\beta }_k=(t_k-1)/t_{k+1}$；几何示意取 $\beta =3/4$，使从 $x_k$ 到 $y_{k+1}$ 的位移与前一步同向、长度为其 $3/4$。它把第 $k$ 轮的外推与下一轮的梯度步连在一起，使用与上面更新式相同的下标，实际系数仍由 $t_k$ 递推确定。

加速不是保证每一步函数值更低的惯性小技巧。它依靠特定权重把函数值误差与一个辅助点到解的距离组合成势函数；单项可能上升，只要组合量下降即可。系数趋近一意味着后期会保留较长记忆，也解释了模型突然改变、常数错估或有限精度扰动时为何容易过冲。重启会在检测到不良外推时清空记忆，但何时重启是额外策略。

重球法理路重球法Heavy-ball method · Polyak momentum · Polyak heavy-ball method在当前梯度步中保留上一位移，按二次模态审计稳定域、最优谱半径和瞬态，并给强凸非二次三周期边界。同样保存历史位移，但在当前主点查询梯度，而本页从外推点查询梯度。两个查询位置产生不同递推；重球的二次最优谱参数还可能在同样强凸光滑的非二次目标上形成三周期，不能继承本页特定权重的势函数结论。

取 $f(x)=x^2/2$，真实最小光滑常数为 $1$，但假设只掌握安全上界 $L=4$，从 $x_0=1$ 开始。前两轮因 $t_1-1=0$ 与梯度下降相同：

$t_2=(1+\sqrt{5})/2\approx 1.618$、$t_3\approx 2.194$，于是

相同步长的普通梯度下降第三点是 $0.421875$。这条轨迹真实展示外推获得的增益，也展示加速不会凭空修正过度保守的 $L$；若使用紧常数 $L=1$，两种方法都在一次梯度步到达零，根本没有可加速的余地。

边界同样具体。低估 $L$ 会使梯度校正步越过二次上模型，动量随后可能放大误差；固定目标上的加速函数值也可能短暂上升或越过极小点。非凸目标没有本页势函数，照搬系数只是一种启发式。随机梯度噪声会被长记忆累积，需要不同分析。若停止测试只看 $f(x_k)-f(x_{k-1})$，振荡可能制造假停机；应结合梯度映射、预算和最佳已见函数值。

若 $f$ 为 $L$-光滑凸目标且存在极小点 $x^{\ast }$，上述更新满足

其证明与常数见Nesterov 加速率理路Nesterov 加速率Nesterov acceleration rate · Accelerated gradient convergence rate以势函数证明加速梯度在光滑凸目标上的最优二次反比函数值率。。这把达到函数值精度 $\epsilon$ 所需的一阶查询从梯度下降的 $O(1/\epsilon )$ 降到 $O(1/\sqrt{\epsilon })$，并在加速率条目所说明的一阶线性张成模型和高维最坏情形中达到最优阶。结论针对函数值，不自动说明主序列或外推序列的每个点都单调收敛。

复合目标把第一行替换成近端梯度步便得到 FISTA 型方法；强凸参数已知时可改用常动量获得 $O(\sqrt{L/\mu }\log \left(1/\epsilon \right))$ 复杂度。两种变体的更新与证明常数不同，本页不把它们伪装成同一行参数开关。实现时最小可审计记录包括当前 $L$、回溯次数、$t_k$、主/外推点函数值和停止原因。

复合外推的可执行入口 ​

FISTA复合加速法理路FISTA 复合加速法FISTA · Fast iterative shrinkage-thresholding algorithm以近端主点、外推查询点和递推权重组成复合凸加速，并用势函数而非逐轮下降证明函数值速率。把外推查询与精确prox结合，保留本页的主点/查询点区分，并完整证明非光滑三点式。它还给出只增不减的回溯常数规则：这种特定规则可以保留原来的 $t_k$递推；若允许接受曲率下降，则需要重新检查权重。耦合Lasso例同时展示主目标非单调与残差构造的gap更早反增，两种现象应分开记录。