BFGS 更新

第一项先从旧矩阵中移除沿 $s_k$ 的旧曲率预测，第二项再植入观测到的新关系 $s_k\mapsto y_k$；其余方向尽量保留旧信息。修正是秩二的，所以比重算 Hessian 便宜。对称性使它仍可解释为二次模型，割线条件让最近一次梯度变化被精确复现，正定性则保证下一搜索方向下降。

正定保持可以直接看出。对任意非零 $z$，

前两项由 $B_k$-内积下的 Cauchy–Schwarz 非负；若恰为零，则 $z$ 与 $s_k$ 共线，而最后一项因 $s_k^T{y}_k>0$ 严格为正。因此 $B_{k+1}$ 仍是正定矩阵公理库正定与半正定矩阵Positive definite matrix · Positive semidefinite matrix · PSD matrix由二次能量严格为正或非负定义的实对称与复 Hermitian 矩阵。。曲率条件不是避免除零的技术细节，而是方向性质的核心。

取

则 $s^{T}y=2>0$，且

直接相乘得 $B_{1}s=(2,1{)}^T=y$，割线条件成立；首个顺序主子式为 $2$、行列式为 $2$，故矩阵正定。逆公式给

而 $B_1{H}_1=I$，可逐项复核两种更新确实一致。这不是换数字展示同一标量公式：非对角项具体显示一个方向的曲率观测如何改变耦合方向。

若改成 $y=(-1,0{)}^T$，则 $s^{T}y=-1$，更新的最后分母为负，正定证明完全失效。非凸目标上负曲率对很常见；常用选择是跳过更新、Powell 阻尼或改用容许不定近似的 SR1，但每种策略都改变实际算法，必须记录。若 $s^{T}y$ 虽正却接近舍入误差，两个大秩一项相减会损害对称性和条件数。线搜索失败、梯度不一致或变量尺度悬殊同样会污染曲率对。

若 $p_k$ 是下降方向且步长满足弱 Wolfe 曲率条件公理库线搜索的 Wolfe 条件Wolfe conditions · Wolfe line-search conditions · Strong Wolfe conditions以充分下降与方向导数曲率两项不等式判定线搜索步长是否可接受。，则

所以线搜索为 BFGS 正定更新提供可验证的曲率证书。对光滑强凸目标，在标准有界水平集与线搜索条件下可建立全局收敛；在极小点附近再加 Hessian 正定及 Lipschitz 等条件，完整 BFGS 通常具有超线性局部收敛。函数值下降、矩阵正定与超线性速度是三层不同结论。

大规模问题使用 L-BFGS 保存最近 $m$ 组 $(s_i,y_i)$，通过双循环递推计算 $H_k{g}_k$，把存储从 $O(n^2)$ 降到 $O(mn)$。它复用了 BFGS 的曲率对，却不显式形成本页矩阵；有限记忆会丢弃旧方向信息，因此不能直接声称与完整 BFGS 有相同有限终止性质。实现还应定期检查 $s^{T}y$、对称误差和搜索方向内积，发现失效时给出可审计状态。