拟 Newton 法

Newton 法用局部二次模型的精确曲率重新缩放梯度，但形成、存储和分解 Hessian 可能昂贵。拟 Newton 法从已经支付的两次梯度中提取曲率：沿实际位移 $s_k$，梯度变化 $y_k$ 近似 ${\mathrm{\nabla }}^{2}f(x_k)s_k$。割线方程要求下一矩阵至少在刚走过的方向上复现这一观测，而对未观测方向作最小、结构化的修改。

当 $g_k\ne 0$ 时，正定近似使 $g_k^T{p}_k=-g_k^T{B}_k^{-1}{g}_k<0$，从而方向可交给下降线搜索；矩阵若变成不定，方向可能上升。拟 Newton 的优势不是“无二阶信息”，而是用梯度差积累近似二阶信息。它比普通梯度下降多存状态并承担矩阵代数成本，却常在局部显著减少迭代数；是否更省时间取决于维数、稀疏性与梯度代价。

取一维

从 $x_0=1$、$B_0=1$ 出发，方向 $p_0=-2$。若线搜索接受 ${\alpha }_0=1/4$，则 $x_1=1/2$、$g_1=5/8$，所以

一维割线方程唯一确定新曲率。下一方向

比未缩放的 $-0.625$ 保守；取完整步得到 $x_2=3/11$，函数值从 $f(1/2)=0.140625$ 降到约 $0.03857$。$B_1$ 是区间上平均 Hessian，而非 $f^{″}(x_1)=1.75$ 或 $f^{″}(x_0)=4$，说明割线数据只约束走过方向。

多维中一条割线不足以唯一决定矩阵，必须选择更新准则。若 $s_k^T{y}_k\le 0$，正定保持可能失败；这在非凸区域、错误梯度或不合适步长下都会出现。线搜索找不到可接受步时，方法应返回失败或采用明确的阻尼策略，不能除以接近零的曲率继续。局部超线性结论还需要解附近 Hessian Lipschitz、极小点 Hessian 正定、步长最终为一及 Dennis–Moré 型逼近条件，不能由“用了梯度差”自动推出。

不同更新由同一接口产生不同方法。BFGS 更新理路BFGS 更新BFGS update · Broyden-Fletcher-Goldfarb-Shanno update以满足割线方程的对称秩至多二的修正更新 Hessian 或逆 Hessian 正定近似。在割线、对称与正定要求下选取特定低秩修正，可作为本页外层方法的矩阵更新部件；它只返回新矩阵，不替外层选择方向、步长或停止条件。DFP、SR1 则采用不同的矩阵距离或秩结构。SR1 未必保持正定，采用它时须另行处理不定方向，或配合信赖域；不能直接继承正定近似下的下降线搜索保证。把这些公式都称作“拟 Newton”可以共享全局框架，但比较时必须报告维护 $B$ 还是 $H$、是否跳过曲率对、线搜索条件和有限精度重启。

若目标是严格凸二次型，精确线搜索下经典 BFGS 与共轭方向结构相关，并在精确算术中至多 $n$ 步恢复解；一般非线性问题只在局部近似这个情形。有限内存 L-BFGS 不存 $n\times n$ 矩阵，而保留最近若干 $(s_i,y_i)$ 并用双循环计算 $H_k{g}_k$，适合大规模稠密变量。有限内存是成本选择，不改变曲率条件和线搜索失败边界。