形式陈述
在点 给定下降方向 ,即
取常数 。正步长 满足 Wolfe 条件,若
且
弱曲率第一式是 Armijo 条件,要求实际下降至少达到线性预测的一小部分;第二式防止步长小到新点仍保持几乎同样陡的负斜率。强 Wolfe 条件把第二式换成
同时限制越过一维谷底后的正斜率。这里 ,需要计算梯度公理库梯度Gradient标量函数微分在内积下对应的向量。。这些是不等式验收规格,不是搜索步长的完整算法;bracketing、zoom、插值、求值预算与失败状态必须另行实现。
直觉
只要求函数值比起点低,会接受极小步长,算法看似每轮成功却几乎不动。Armijo 条件排除“下降太少相对于步长”的候选,但对趋零步长仍可能成立;曲率条件进一步要求沿当前方向的负斜率已经显著变平,说明这一步真正消耗了可用下降。两者把过大与过小步长夹在一个可接受区间内。
强曲率条件关注方向导数绝对值,因此不会接受越过谷底太远、斜率已变成很大正数的点。弱条件则允许一定的正斜率,只保证它不再像起点那样负。拟 Newton 分析特别需要的是位移 与梯度差 的正曲率内积;弱 Wolfe 已足以给出它,强 Wolfe 主要增强实际线搜索的控制。常数常取 很小、 接近一,但它们不是无关紧要的装饰。
例子与边界
令 ,在 取方向 ,并设 。此时
Armijo 条件化为
弱曲率要求 ,即 ;强曲率给 ,再与 Armijo 相交仍得 。 一步到极小点; 虽通过 Armijo,却因仍太陡而被曲率条件拒绝; 的斜率绝对值尚可,却因函数下降不足被 Armijo 拒绝。每项条件都排除了另一项放过的真实候选。
若 不是下降方向,右侧线性模型没有下降空间,标准存在性定理不适用。若沿射线函数不下有界、梯度不连续、目标不可微,或求值返回 NaN,也可能找不到 Wolfe 步。有限预算内失败应显式返回,而不是静默接受最后一次试探。噪声函数与梯度还会让两项不等式互相矛盾,需要带容差的随机线搜索理论,不能直接降低精度继续套确定性证明。
推论与应用
记
弱 Wolfe 曲率条件给
这条严格正性使BFGS 更新公理库BFGS 更新BFGS update · Broyden-Fletcher-Goldfarb-Shanno update以满足割线方程的对称秩二修正更新 Hessian 或逆 Hessian 正定近似。的分母有效并保持正定近似。对拟 Newton 法公理库拟 Newton 法Quasi-Newton method · Variable metric method由相邻梯度差逐步近似 Hessian 或其逆,从而构造曲率缩放搜索方向的方法族。,线搜索还提供全局化外壳:远离解时控制下降,接近解且完整步被接受后,局部割线近似才有机会表现超线性速度。
当 沿方向连续可微、 为下降方向且 沿正射线有下界时,可证明存在满足弱 Wolfe 的区间。这个存在性结论不等于任意实现都能在有限求值内找到它;插值失准、浮点舍入或错误梯度都能造成失败。实际日志至少应保留函数/梯度求值次数、最终括区间、验收残差与失败原因,才能区分目标问题和搜索器问题。
参考资料
- Philip Wolfe, “Convergence Conditions for Ascent Methods,” SIAM Review 11(2), 1969, 226–235,original sufficient-decrease and curvature conditions。
- Jorge Nocedal and Stephen J. Wright, Numerical Optimization, 2nd ed., Springer, 2006,§§3.1–3.5,Wolfe conditions, existence, and zoom algorithm。
- Roger Fletcher, Practical Methods of Optimization, 2nd ed., Wiley, 1987,§2.6,inexact line searches and curvature conditions。