线搜索的 Wolfe 条件

在起点，用切线预测下降量为 $-\alpha {\varphi }^{\prime }(0)>0$。Armijo 要求实际下降 $\varphi (0)-\varphi (\alpha )$ 至少达到预测量的 $c_1$ 倍。它不是“只要下降一点就行”，而是把下降量与所走的步长联系起来。

但 Armijo 自己不能防止原地挪动。可微性给出 $\varphi (\alpha )=\varphi (0)+\alpha {\varphi }^{\prime }(0)+o(\alpha )$，所以所有足够小的正步都会通过 Armijo。此时方向导数仍接近原来的负数，沿同一方向明明还有下降空间，搜索却可能过早停下。

弱曲率补上这一缺口：因为 $c_2{\varphi }^{\prime }(0)$ 比 ${\varphi }^{\prime }(0)$ 更接近零，新点的负斜率必须已经有所缓和。强曲率还限制越过谷底后的正斜率。正向缩放方向不改变可接受的实际位移：改用 $\tilde{p}=cp$、$c>0$，同时令 $\tilde{\alpha }=\alpha /c$，新点及 Armijo 中的乘积不变，两端方向导数同乘 $c$，曲率条件也不变。因此不能仅凭步长参数的裸数值判断进展。它限制的是沿当前方向的导数，而不是直接限制“距极小点多少米”；没有额外曲率假设时，不能把导数阈值解释成距离阈值。

图中的带状区间只是该例的精确计算结果。一般非凸目标的可接受步长可能分成多个区间，不能把这幅图的单区间形状当作定义。

同一个抛物线，分清三种验收 ​

取 $f(x)=x^2/2$、$x=1$、$p=-1$，则

先保留参数，逐项解不等式：Armijo 等价于 $0<\alpha \le 2(1-c_1)$；弱曲率等价于 $\alpha \ge 1-c_2$；强曲率等价于 $1-c_2\le \alpha \le 1+c_2$。

现在令 $c_1=0.1,c_2=0.5$。弱 Wolfe 的可接受范围是 $[0.5,1.8]$，强 Wolfe 的范围是 $[0.5,1.5]$。

$0.2$ 说明“足够下降”不等于“走得足够远”；$1.7$ 区分弱、强曲率；$1.9$ 则说明曲率条件不能替代函数值检查。

为什么存在满足条件的步长 ​

假设 $\varphi$ 在整条正射线上连续可微、下有界，且 ${\varphi }^{\prime }(0)<0$。导数不可能一直小于 $c_2{\varphi }^{\prime }(0)<0$：否则由中值定理公理库中值定理Mean value theorem由等高端点与内部极值导出平均变化率，区分 Lagrange、Rolle、Cauchy 版本并给出可计算的增量界。，$\varphi (\alpha )\le \varphi (0)+c_2{\varphi }^{\prime }(0)\alpha$，会趋向负无穷，与下有界矛盾。

因而存在第一次达到水平 $c_2{\varphi }^{\prime }(0)$ 的正时刻 ${\alpha }_{\ast }$。连续性保证这个首次时刻存在，且此前 ${\varphi }^{\prime }(t)<c_2{\varphi }^{\prime }(0)$。再对 $[0,{\alpha }_{\ast }]$ 应用中值定理，得到

所以它满足 Armijo；同时 ${\varphi }^{\prime }({\alpha }_{\ast })=c_2{\varphi }^{\prime }(0)$，也满足强曲率。这个证明说明了两个条件相容的原因，并未假定目标函数凸或沿射线只有一个谷底。

若改为 $\varphi (\alpha )=-\alpha$，函数没有下界，导数始终为 $-1$；任何正步都通过 Armijo，却没有一步通过曲率条件。方向不下降、函数不可微或导数不连续时，也不能直接调用上述存在性结论。

曲率条件如何进入 BFGS ​

设 $s=\alpha p$、$y=\mathrm{\nabla }f(x+s)-\mathrm{\nabla }f(x)$。弱 Wolfe 直接给出

因此，在当前矩阵正定的前提下，BFGS 更新公理库BFGS 更新BFGS update · Broyden-Fletcher-Goldfarb-Shanno update以满足割线方程的对称秩二修正更新 Hessian 或逆 Hessian 正定近似。所需的正曲率条件成立，更新可以继续保持正定。强 Wolfe 不是这条结论的必要条件；弱曲率已经足够。强 Wolfe 在非线性共轭梯度分析中也有用途，但仍须配合相应的方向生成规则和光滑性假设。线搜索与拟 Newton 法公理库拟 Newton 法Quasi-Newton method · Variable metric method由相邻梯度差逐步近似 Hessian 或其逆，从而构造曲率缩放搜索方向的方法族。在此通过一个可核对的内积相接，而不只是“常常配合使用”。

验收规则怎样变成搜索 ​

只会把步长不断缩小的 Armijo 回溯，可能永远无法修复“步长太小、曲率不合格”。例如从上面抛物线的 $\alpha =0.25$ 开始反复减半，导数 $\alpha -1$ 只会更接近 $-1$，永远达不到 $-0.5$ 的曲率门槛。Wolfe 搜索通常先扩张试探步长，找到值得进一步搜索的括区间，再在区间内用插值与保守收缩进行 zoom；每次候选仍须实际检查函数值和方向导数，插值预测不能代替验收。[2]

数学存在性也不等于任意浮点程序都能在任意预算内找到步长。实现应区分“已满足条件”和“达到求值上限”，并记录两项不等式的残差及函数、梯度求值次数。若目标或梯度带噪声，得到的是另一种观测模型，需要相应的容差或概率保证；简单沿用精确不等式并不能自动保留证明。

在目标下有界、梯度具有适当 Lipschitz 正则性，且下降方向与负梯度的夹角一致远离直角等条件下，Wolfe 步可以参与推出梯度范数趋零的全局收敛分析。“全局”表示从允许的初值出发，而不是保证找到非凸函数的全局最小值。接近解时能否接受完整步、能否超线性收敛，还依赖拟 Newton 更新本身的条件。