隐式 ODE 方法与非线性步求解

形式陈述 ​

考虑常微分方程时间步进公理库常微分方程时间步进框架Time-stepping method for ODE · ODE integrator · Numerical time integration将常微分方程初值问题离散为时间网格上的数值状态与一步或多步更新，并分离流映射、误差层和退出状态。

$$y^{\prime }(t)=f(t,y(t)),y(t_n)\approx y_n.$$

后向 Euler 用新时刻的未知状态计算右端：

$$y_{n+1}=y_n+h_{n}f(t_{n+1},y_{n+1}).$$

因此一步并不是把已知量代入公式，而是求非线性方程

$$G_n(z)=z-y_n-h_{n}f(t_{n+1},z)=0,y_{n+1}=z.$$

这里的“隐式”描述新状态在离散方程中的依赖位置，不表示要形成任何矩阵逆，也不保证方程能被任意初值轻易解出。离散方法规定的是 $G_n(z)=0$；实际算法还必须规定如何选初始猜测、怎样近似求根以及求解失败时如何退出。

对后向 Euler，Newton 第 $m$ 次内迭代求解线性系统公理库线性方程组System of linear equations可写为矩阵方程 Ax=b 的有限个一次方程系统。

$$[I-h_n{J}_f(t_{n+1},z^{(m)})]{\delta }^{(m)}=-G_n(z^{(m)}),z^{(m+1)}=z^{(m)}+{\delta }^{(m)}.$$

一般对角隐式 Runge–Kutta stage 可写为

$$G_i(Z_i)=Z_i-{\xi }_i-h_n{a}_{ii}f(t_n+c_i{h}_n,Z_i)=0,$$

其中 ${\xi }_i$ 只含已经完成的 stages。它的 Jacobian 具有统一形式

$$J_{G_i}=I-h_n{a}_{ii}{J}_f.$$

全隐式 Runge–Kutta 会把所有 stages 联立，产生维数为 stage 数乘状态维数的块系统；BDF 则把若干历史状态放进 $G_n$，但“每步求一个代数方程”的结构相同。

Newton 每次更新 Jacobian 并重新分解，局部收敛快，单次迭代却可能昂贵。Chord 方法在若干内迭代甚至若干时间步内固定 Jacobian 或其分解，减少构造与分解成本，但线性模型变旧后收敛会变慢。直接不动点迭代

$$z^{(m+1)}=y_n+h_{n}f(t_{n+1},z^{(m)})$$

只有在相应映射局部收缩时才可靠；例如 $f$ 对 $y$ 的 Lipschitz 常数为 $L$ 时，$h_{n}L<1$ 是后向 Euler 这一迭代的简单充分条件。刚性问题恰可能让该条件迫使很小步长，所以“离散公式隐式”不等于“用固定点迭代也稳健”。

初始猜测通常由 $y_n$、显式 Euler 或过去状态外推得到。好的预测既减少 Newton 次数，也帮助迭代落在与连续轨道相连的解支上；它不能替代残差检查。阻尼 Newton、线搜索或信赖域可以在完整 Newton 步使残差恶化时提供全局化，但接受规则必须明确，不能只把更新乘上一个随意常数。

内层求解无需追求超出外层离散精度许多的精确度。若最终近似 $\tilde{z}$ 满足

$$G_n(\tilde{z})=r_{\mathrm{alg}},$$

且 $J_{G_n}^{-1}$ 在相关邻域有界，则代数状态误差一阶近似为 $J_{G_n}^{-1}{r}_{\mathrm{alg}}$。实际容差应经过分量尺度化，并让这项误差只占单步误差预算的一部分。容差过紧会在每步浪费非线性与线性迭代；容差过松会把代数误差注入数值轨道，甚至破坏预期阶和稳定表现。

“精确求解”是分析中把离散方程视为已求到根；“非精确求解”保留受控的非线性或线性残差；线性隐式方法则先线性化右端，每个 stage 只解形如 $(I-\gamma h_n{J}_n)w=q$ 的系统。三者的离散映射并不相同，不能因为都调用线性求解器就视作同一种方法。

成本应分开记录函数求值、Jacobian 构造、矩阵分解、三角求解或 Krylov 迭代。对无结构稠密 $d\times d$ Jacobian，一次分解通常为 $O(d^3)$，随后每个右端的求解为 $O(d^2)$；大规模问题的成本则由稀疏结构公理库稀疏矩阵表示与运算Sparse matrix · CSR matrix · CSC matrix只存非零项及其位置，以稀疏模式组织矩阵运算、图结构、重排序与填充成本。、矩阵—向量乘和预条件公理库预条件Preconditioning · Preconditioner用易应用的近似逆改变等价线性系统的尺度与 Krylov 几何，并计入构造、存储和每步应用成本。决定。若步长、方法系数和 Jacobian 保持不变，同一 Newton 矩阵的分解可以直接复用；其中任何一项变化后，旧分解只能作为 chord 近似或预条件器使用，并由收敛监测决定何时更新。

一步只有在非线性残差、更新量和线性求解状态都满足尺度化标准后才能接受。若 Newton 达到迭代上限、Jacobian 近奇异、线性求解失败、残差持续增大或出现非有限值，应保留 $t_n,y_n$，报告失败原因并缩短步长或更换全局化策略；把最后一次内迭代直接当作 $y_{n+1}$ 会把失败伪装成时间离散误差。

直觉 ​

显式方法从当前位置向前画一条已知的箭头，隐式方法则要求落脚点与“落脚点自己给出的箭头”相容。这个自洽条件通常没有闭式答案，所以每个时间步都包含一个小型求根问题。外层时间网格决定要走到哪些时刻，内层求解器决定每个落脚点是否真正满足离散规则。

Jacobian 描述改变候选落脚点会怎样改变自洽残差。复用 Jacobian 或分解，相当于连续几步沿用一张局部地形图；地形变化缓慢时很省成本，步长突变或非线性增强时，旧地图会让 Newton 修正失准。求解器因而需要用收敛速度决定何时更新，而不是固定地“每步重算”或“永远复用”。

例子与边界 ​

对线性衰减测试方程

$$y^{\prime }=\lambda y,\mathrm{Re}\lambda <0,$$

后向 Euler 的一步只需求解

$$(1-h\lambda )y_{n+1}=y_n.$$

这条机制及其与前向公式的刚性对照由Euler 方法公理库Euler 方法Euler method · Forward Euler · Backward Euler以前向与后向 Euler 建立一阶时间步进基线，并用局部缺陷、全局误差和测试方程放大因子揭示适用边界。页承担；本页只强调线性问题会把隐式步化成线性系统，而非线性右端才需要内层求根。即使数值模态保持衰减，放大因子与精确的 $e^{h\lambda }$ 仍可能相差很大，所以稳定表现不能替代精度检查。

这个比较也不能概括成“隐式方法无条件稳定”。后向 Euler 对标量左半平面测试方程具有特定的绝对稳定性质；其他隐式公式可能拥有不同稳定域，非正规矩阵和非线性系统还会引入标量放大因子看不到的行为。稳定结论必须带上方法、问题类、步长和所用范数。

空间离散后的扩散或反应—扩散方程常给出

$$M\dot{u}=F(t,u).$$

后向 Euler 的每步残差与 Jacobian 为

$$G_n(z)=M(z-u_n)-h_{n}F(t_{n+1},z),J_{G_n}=M-h_n{J}_F.$$

当 $u$ 有数百万个分量时，真正的核心工作是保存并求解这个稀疏线性化系统，而不是写出后向 Euler 公式。预条件质量、Jacobian 更新频率和线性容差会共同决定总成本；只报告时间步数会漏掉主要工作。

非线性步方程还可能有多个根或没有位于预测邻域内的可接受根。较小步长通常让预测更接近连续解支，也让 $J_G$ 更接近单位阵或质量矩阵；但若模型本身在该处奇异，反复减步并不会自动修复问题。实现应在最小步长、最大拒绝次数或时间无法前进时终止，而不是进入无穷回退。

推论与应用 ​

刚性公理库刚性常微分方程Stiff ordinary differential equation · Stiff ODE · Stiffness刻画快速衰减模态迫使显式方法使用远小于精度需求的步长这一方法相关现象，并说明隐式路线的能力与代价。解释为何稳定性可能迫使显式方法使用远小于精度所需的步长；隐式方法用更困难的每步代数求解换取不同的稳定性范围。是否值得交换，取决于 Jacobian 结构、线性求解成本、目标容差以及能否跨多个步复用计算。

可靠的隐式求解器报告应同时给接受与拒绝步数、函数和 Jacobian 求值数、非线性迭代数、线性迭代或分解数、最终尺度化残差和退出原因。这些数据能区分“时间方法需要更多步”和“内层方程难以求解”，也让外层误差控制与Newton 法公理库Newton 非线性方程法Newton's method · Newton-Raphson method · Newton method for nonlinear systems在当前点解一阶线性化方程来修正非线性方程的近似解，并分析其局部二次收敛与失效边界。的局部理论保持清楚边界。

参考资料

• Ernst Hairer and Gerhard Wanner, Solving Ordinary Differential Equations II: Stiff and Differential-Algebraic Problems, 2nd rev. ed., Springer, 1996.
• Alan C. Hindmarsh et al., “SUNDIALS: Suite of Nonlinear and Differential/Algebraic Equation Solvers,” ACM Transactions on Mathematical Software 31(3), 2005.
• NIST Digital Library of Mathematical Functions, §3.7: Ordinary Differential Equations.