Newton 非线性方程法

形式陈述 ​

对标量方程 $f(x)=0$，给定初值 $x_0$，Newton 迭代在 $f^{\prime }(x_k)\ne 0$ 时计算

$$x_{k+1}=x_k-\frac{f(x_k)}{f^{\prime }(x_k)}.$$

它输入函数、导数、初值、尺度化容差和最大迭代数，输出近似根或明确的失败状态。每步需要一次函数和导数求值以及常数次标量运算；实现还要拒绝过小导数、非有限结果和越出允许定义域的更新。

对方程组 $F:{\mathbb{R}}^n\to {\mathbb{R}}^n$，Newton 步不是显式形成 Jacobian 的逆，而是求解线性方程组公理库线性方程组System of linear equations可写为矩阵方程 Ax=b 的有限个一次方程系统。

$$J_F(x_k)s_k=-F(x_k),x_{k+1}=x_k+s_k.$$

一次稠密无结构线性求解通常需要 $O(n^3)$ 运算，实际成本则由 Jacobian 的稀疏性、结构、组装和线性求解精度决定。直接计算 $J_F(x_k{)}^{-1}$ 会增加工作量并放大数值风险，不能替代解线性系统。

若标量根 $x_{\ast }$ 是简单根，$f$ 在其邻域二次连续可微，且初值足够接近 $x_{\ast }$，则迭代定义良好并局部二次收敛：

$$\underset{k\to \mathrm{\infty }}{lim}\frac{|x_{k+1}-x_{\ast }|}{|x_k-x_{\ast }{|}^2}=\left|\frac{f^{″}(x_{\ast })}{2f^{\prime }(x_{\ast })}\right|.$$

向量情形的对应条件是 $J_F(x_{\ast })$ 可逆、Jacobian 在邻域内 Lipschitz 连续，并从足够近的初值出发。若只近似求解 Newton 线性系统，可要求

$$\Vert J_F(x_k)s_k+F(x_k)\Vert \le {\eta }_k\Vert F(x_k)\Vert ;$$

迫使 ${\eta }_k\to 0$ 才能恢复超线性行为，这说明内层线性求解误差会直接进入外层迭代。

停止时应同时检查尺度化残差和步长，例如 $\Vert F(x_k)\Vert$ 与 $\Vert s_k\Vert$ 是否分别达到目标，并保留最大迭代、奇异 Jacobian、非有限数和线性求解失败等退出原因。小残差只有结合局部逆界或条件数才能推出小解误差，不能单独作为无条件证书。

直觉 ​

Newton 法在当前点用切线或切平面替代弯曲的非线性对象，然后走到这个线性模型的零点。靠近简单根时，线性部分恰好被 Newton 步抵消，剩下的是二阶 Taylor 余项，因此旧误差平方后才进入下一步。这幅图像也解释了限制：离根太远时切线可能指向错误区域，导数接近零时交点会被推得极远，Jacobian 奇异时甚至没有唯一的线性修正方向。

向量 Newton 的核心动作是“解一个局部线性问题”，不是“套一个矩阵公式”。这一区别在大规模问题中尤其重要：保留线性系统形式，才能选择适合结构的分解、迭代求解和预条件，而不必制造一个稠密逆矩阵。

例子与边界 ​

求 $\sqrt{2}$ 可令 $f(x)=x^2-2$。从 $x_0=1$ 出发，

$$x_{k+1}=\frac{1}{2}(x_k+\frac{2}{x_k})$$

依次得到 $1.5,1.416666\dots ,1.414215686\dots$。简单根附近有

$$|e_{k+1}|\approx \frac{1}{2\sqrt{2}}|e_k{|}^2,$$

所以进入局部区间后正确位数迅速增加。这个例子同时是一个不动点迭代，但二次速度来自 Newton 构造令根处迭代导数为零，而不是所有不动点公式都会拥有的性质。

取实函数 $f(x)=x^{1/3}$。对任意 $x_k\ne 0$，Newton 更新化为

$$x_{k+1}=x_k-\frac{x_k^{1/3}}{\frac{1}{3}{x}_k^{-2/3}}=-2x_k,$$

轨道离根越来越远；根处导数又不存在。这是“函数有根”却不满足局部二次收敛假设的真实失败，而不是容差选择问题。

若 $x_{\ast }$ 是重数 $m>1$ 的根，普通 Newton 法一般只线性收敛，渐近因子为 $(m-1)/m$。已知重数时，修正公式 $x_{k+1}=x_k-mf(x_k)/f^{\prime }(x_k)$ 可恢复二次收敛；未知重数则不能假装简单根理论仍然成立。阻尼更新 $x_{k+1}=x_k+{\alpha }_k{s}_k$ 可以限制过大的步长，但只有配合明确的接受准则和全局化条件，才比“随手取小 ${\alpha }_k$”多一层保证。

推论与应用 ​

逆函数定理公理库逆函数定理Inverse function theorem导数可逆的光滑映射在该点邻域内存在光滑局部逆。解释非奇异 Jacobian 为何在根附近提供唯一局部解，Jacobian 矩阵公理库Jacobian 矩阵Jacobian matrix多元映射各偏导数组成并表示其导数的矩阵。则给出每步线性化的坐标表示。Newton 法把这些局部结构变成计算过程，但不会把局部定理自动升级为任意初值的全局收敛。

隐式时间步进、非线性边值问题和约束方程常在每个外层步骤内调用 Newton 求解。此时停止容差不能孤立选择：内层解得过粗会污染外层误差，解得远超外层精度又浪费工作。优化中的 Newton 法求的是梯度方程并使用 Hessian，目标与全局化规则不同，不应与本页的非线性求根定义混为同一算法。

参考资料

• NIST Digital Library of Mathematical Functions, §3.8 Nonlinear Equations.
• C. T. Kelley, Iterative Methods for Linear and Nonlinear Equations, SIAM, 1995, Ch. 5.
• Peter Deuflhard, Newton Methods for Nonlinear Problems: Affine Invariance and Adaptive Algorithms, Springer, 2011.