紧逆问题的确定性谱正则化

形式陈述

设 $K:X\to Y$ 为实或复 Hilbert 空间间的紧算子，正奇异系统记为 $(\sigma_n,u_n,v_n)$ ，复内积第一变量共轭线性。固定真数据 $y\in\operatorname{ran}K$ ，令 $x^\dagger=K^\dagger y\in(\ker K)^\perp$ 为最小范数精确解， $x_n=\langle v_n,x^\dagger\rangle$ 。观测可以是任意 $y^\delta\in Y$ ，只要求

\|y^\delta-y\|\le\delta, \qquad \delta>0.

这里没有噪声均值、独立性或分布假设；特别不要求 $y^\delta$ 在 $K^\dagger$ 的定义域内。

截断奇异值分解（TSVD）选阈值 $\tau>0$ ，保留满足 $\sigma_n\ge\tau$ 的方向：

x_\tau^\delta=R_\tau y^\delta :=\sum_{\sigma_n\ge\tau}\frac{\langle u_n,y^\delta\rangle}{\sigma_n}v_n.

这是有限和，且

\|x_\tau^\delta-x^\dagger\| \le \frac\delta\tau+ \left(\sum_{\sigma_n<\tau}|x_n|^2\right)^{1/2}.\tag{1}

若 $\tau(\delta)\to0$ 且 $\delta/\tau(\delta)\to0$ ，则对每个固定真解，

\sup_{\|y^\delta-y\|\le\delta} \|R_{\tau(\delta)}y^\delta-x^\dagger\|\longrightarrow0.\tag{2}

零阶 Tikhonov 正则化选 $\alpha>0$ ，最小化

J_\alpha(x)=\|Kx-y^\delta\|^2+\alpha\|x\|^2.

它对每个 $y^\delta\in Y$ 都有唯一极小点

x_\alpha^\delta=Q_\alpha y^\delta :=\sum_n\frac{\sigma_n}{\sigma_n^2+\alpha} \langle u_n,y^\delta\rangle v_n,

并满足

\|x_\alpha^\delta-x^\dagger\| \le\frac\delta{2\sqrt\alpha} +\left(\sum_n \left(\frac\alpha{\sigma_n^2+\alpha}\right)^2|x_n|^2\right)^{1/2}.\tag{3}

若 $\alpha(\delta)\to0$ 且 $\delta/\sqrt{\alpha(\delta)}\to0$ ，则式(2)中换成 $Q_{\alpha(\delta)}$ 后仍成立。 $\alpha$ 是目标中平方范数的系数，分母是 $\sigma_n^2+\alpha$ ，不是 $\sigma_n^2+\alpha^2$ 。

直觉

直接求逆把第 $n$ 个数据系数乘以 $1/\sigma_n$ 。无限秩时这些放大率没有上界，小噪声可以藏在越来越弱的方向里。正则化先限制放大，再随着观测变准逐步放开限制。参数趋零只负责减少抹掉的真信号；参数与噪声同步变化，才控制放大后的噪声。

截断是把弱方向暂时关掉，Tikhonov 是把每个方向都收缩。两种方法都会产生偏差，但只要真解固定且属于 $X$ ，被压住的尾部能量最终会消失。要给出统一的具体速度，还需知道真解在弱方向里究竟有多少能量。

确定性恢复把总误差分成偏差和噪声放大；参数减小时偏差下降，而允许的最坏噪声放大上升

截断：有限和以外还有一个无穷尾部

紧性保证对每个正阈值只有有限个 $\sigma_n\ge\tau$ 。对任意 $z\in Y$ ，正交性和 Bessel 不等式给

\|R_\tau z\|^2 =\sum_{\sigma_n\ge\tau}\frac{|\langle u_n,z\rangle|^2}{\sigma_n^2} \le\tau^{-2}\|z\|^2.

所以 $R_\tau$ 对全部数据都有定义，且算子范数至多 $1/\tau$ 。当没有保留方向时，它就是零算子。

将误差拆成

R_\tau y^\delta-x^\dagger =R_\tau(y^\delta-y)+(R_\tau K-I)x^\dagger.

第一项至多 $\delta/\tau$ ；第二项恰好是 $-\sum_{\sigma_n<\tau}x_nv_n$ ，得到式(1)。给定 $\varepsilon>0$ ，先由 $\sum|x_n|^2<\infty$ 选有限头部，使剩余能量小于 $\varepsilon^2$ ；再让 $\tau$ 小到保留这整个头部，偏差就小于 $\varepsilon$ 。这个顺序把固定真解的尾部控制和参数极限分开，不能由一次有限维试算代替。

Tikhonov：先证明级数和极小点确实存在

对任意 $s\ge0$ ， $(s-\sqrt\alpha)^2\ge0$ 给

s^2+\alpha\ge2s\sqrt\alpha, \qquad 0\le\frac{s}{s^2+\alpha}\le\frac1{2\sqrt\alpha}.

因此恢复系数的平方和满足

\sum_n\left| \frac{\sigma_n}{\sigma_n^2+\alpha}\langle u_n,z\rangle \right|^2 \le\frac1{4\alpha}\|z\|^2.

这保证 $Q_\alpha z\in X$ ，并证明 $\|Q_\alpha\|\le1/(2\sqrt\alpha)$ 。常数来自连续变量 $s$ 的上界；给定算子的离散奇异值未必恰好取到等号。

令 $A=K^*K$ 、 $z=Q_\alpha y^\delta$ 。按每个奇异方向计算得

(A+\alpha I)z=K^*y^\delta.

两边在核方向也都为零；由于 $A$ 有界，可将它施于范数收敛的部分和再取极限。对任意 $h\in X$ ，展开目标并用伴随恒等式得

\begin{aligned} J_\alpha(z+h)-J_\alpha(z) &=\|Kh\|^2+\alpha\|h\|^2\\ &\quad+2\operatorname{Re}\langle h,K^*(Kz-y^\delta)+\alpha z\rangle\\ &=\|Kh\|^2+\alpha\|h\|^2. \end{aligned}

右边对非零 $h$ 严格为正。这先构造了极小点，再证明唯一性，不借用有限矩阵必可逆去跳过无限维存在性。

Tikhonov 的偏差为何趋零

无噪声时 $y_n=\sigma_nx_n$ ，故

Q_\alpha y-x^\dagger =-\sum_n\frac\alpha{\sigma_n^2+\alpha}x_nv_n.

每个固定 $n$ 的因子趋于零，且始终在 $[0,1]$ 内。先选有限头部，使尾部 $\sum_{n>N}|x_n|^2<\varepsilon^2/2$ ；再令 $\alpha$ 足够小，使前 $N$ 项的加权平方和小于 $\varepsilon^2/2$ ，便得到总偏差小于 $\varepsilon$ 。有限秩时只需控制有限头部。

再将噪声与偏差相加，

Q_\alpha y^\delta-x^\dagger =Q_\alpha(y^\delta-y)+(Q_\alpha y-x^\dagger),

第一项至多 $\delta/(2\sqrt\alpha)$ ，所以得到式(3)。这些上界对同一噪声球内的所有观测同时成立；偏差项只依赖固定真解。两条同步参数规则因此分别推出两种方法的收敛。

例子与边界

同一个 Green 观测，直接逆与两种正则化

取Green 算子 $Te_n=\sigma_ne_n$ 、 $\sigma_n=1/(\pi^2n^2)$ ，真数据和真解为

y=g_3=\sum_{n\ge1}n^{-3}e_n, \qquad x^\dagger=\pi^2\sum_{n\ge1}n^{-1}e_n.

观测 $y^\delta=y+\delta e_m$ 满足误差恰为 $\delta$ ，且这个特定观测仍有精确原像。直接反演却得到

T^\dagger y^\delta-x^\dagger=\pi^2m^2\delta e_m.

取 $\delta_m=1/(\pi^2m^2)$ ，观测误差趋零而恢复误差恒为一。失败来自随噪声水平变化的高频方向，固定一个 $m$ 再令 $\delta\to0$ 看不见它。

TSVD 保留 $n\le N_\tau$ ，其中

N_\tau=\left\lfloor\frac1{\pi\sqrt\tau}\right\rfloor, \qquad x_\tau^\delta =\sum_{n\le N_\tau} \left(\frac{\pi^2}{n}+\pi^2n^2\delta\,\mathbf1_{\{n=m\}}\right)e_n.

$N_\tau=0$ 时为空和。保留的噪声方向与删掉的真解尾部正交，所以还有精确误差式

\|x_\tau^\delta-x^\dagger\|^2 =\pi^4\sum_{n>N_\tau}\frac1{n^2} +\pi^4m^4\delta^2\mathbf1_{\{m\le N_\tau\}}.

若 $N_\tau\ge1$ ，积分比较 $\sum_{n>N}n^{-2}\le1/N$ 进一步给可直接用的证书

\|x_\tau^\delta-x^\dagger\| \le\frac{\pi^2}{\sqrt{N_\tau}}+\frac\delta\tau.

这里第一项控制无限尾部，第二项控制任何位置的噪声，而不仅是指定的 $e_m$ 。

对同一输入，Tikhonov 的每个解系数为

\langle e_n,x_\alpha^\delta\rangle =\frac{\pi^2/n+\pi^2n^2\delta\,\mathbf1_{\{n=m\}}} {1+\alpha\pi^4n^4}.

式(3)化为

\|x_\alpha^\delta-x^\dagger\| \le\frac\delta{2\sqrt\alpha} +\left[\sum_{n\ge1}\frac{\pi^4}{n^2} \left(\frac{\alpha\pi^4n^4}{1+\alpha\pi^4n^4}\right)^2\right]^{1/2}.

若程序只算前 $N\ge1$ 个偏差项，余下平方和至多 $\pi^4/N$ ，因为括号内的收缩因子至多一。这个解析尾界可以和有限和合成可靠的数值上界；把有限和本身报告为完整误差则会漏算尾部。

参数要同步，极限顺序不能交换

在无量纲模型中， $\tau(\delta)=\sqrt\delta$ 和 $\alpha(\delta)=\delta$ 都满足所需条件：对应噪声项分别至多 $\sqrt\delta$ 和 $\sqrt\delta/2$ ，偏差也趋零。有物理单位时应先固定数据、解及算子的尺度，再选择带相应单位的参数。

固定正参数再让噪声消失，通常会留下偏差；固定非零噪声却一味让参数趋零，则允许的放大无界。即便参数和噪声都趋零，也不能只检查这两个孤立事实。例如无限秩时取 $x^\dagger=0$ 、 $y^{\delta_n}=\sigma_nu_n$ 、 $\delta_n=\sigma_n$ 。若 TSVD 取 $\tau_n=\sigma_n$ ，它保留该方向，输出 $v_n$ ，误差恒为一；若 Tikhonov 取 $\alpha_n=\sigma_n^2$ ，输出 $v_n/2$ ，误差恒为 $1/2$ 。两种参数都趋零，但噪声比例没有趋零。

收敛的量词：固定真解，统一控制噪声

无限秩时，对任意 $\tau>0$ 都有被删掉的 $v_n$ 。因此

\sup_{\substack{x\in(\ker K)^\perp\\\|x\|\le1}} \|(R_\tau K-I)x\|=1.

Tikhonov 也有

\sup_{\substack{x\in(\ker K)^\perp\\\|x\|\le1}} \|(Q_\alpha K-I)x\| =\sup_n\frac\alpha{\sigma_n^2+\alpha}=1.

每个固定真解的偏差趋零，与整个单位球上算子范数误差趋零是不同的命题。上面的极限只把噪声球取上确界，没有把所有真解也一起取上确界。

推论与应用

一个能完全证明的源条件速率

现在额外知道

x^\dagger=(K^*K)w, \qquad \|w\|\le\rho, \qquad \rho>0.\tag{4}

这称为源条件：在右奇异坐标上， $x_n=\sigma_n^2w_n$ 。弱方向中的真解系数必须比一般平方可和向量再多衰减一个 $\sigma_n^2$ ，它不是从“存在精确解”自动得到的。

Tikhonov 偏差系数为

\frac\alpha{\sigma_n^2+\alpha}x_n =\frac{\alpha\sigma_n^2}{\sigma_n^2+\alpha}w_n.

乘数不超过 $\alpha$ ，Bessel 不等式遂给偏差至多 $\alpha\rho$ 。于是对全部允许噪声都有

\|x_\alpha^\delta-x^\dagger\| \le\alpha\rho+\frac\delta{2\sqrt\alpha}.\tag{5}

选取方便的同步尺度 $\alpha=(\delta/\rho)^{2/3}$ ，两项直接化为

\|x_\alpha^\delta-x^\dagger\| \le\frac32\rho^{1/3}\delta^{2/3}.\tag{6}

这是一个明确选择所产生的常数，不宣称该选择使式(5)最小。实际极小化该上界，求导会给 $\alpha=(\delta/(4\rho))^{2/3}$ ；本页用式(6)强调噪声与先验尺度如何一起决定参数。

例如 Green 模型取 $w=e_1$ 、 $\rho=1$ ，则 $x^\dagger=\pi^{-4}e_1$ 、 $y=\pi^{-6}e_1$ ，确实满足式(4)，可使用式(6)。前面的 $g_3$ 虽有平方可积原像，却不满足这个源条件：若 $x_n=\pi^2/n=\sigma_n^2w_n$ ，就要求 $w_n=\pi^6n^3$ ，不属于 $\ell^2$ 。因此不能把相同速率无条件加到前一例上。

恢复的是哪一个解

两种恢复都只落在 $(\ker K)^\perp$ 。如果实际输入为 $x^{\rm true}=x^\dagger+z$ 、 $z\in\ker K$ ，数据仍是同一个 $y$ ，而

\|x_{\rm reg}^\delta-x^{\rm true}\|^2 =\|x_{\rm reg}^\delta-x^\dagger\|^2+\|z\|^2.

噪声趋零也不会恢复不可见的核分量。有限秩时，阈值低于最小正奇异值后 TSVD 已没有截断偏差；零算子时两种恢复都为零。上面的定义和界在这两个分支都直接成立。

如果真数据仅属于 $\mathcal D(K^\dagger)$ 而非值域，余核分量被两种恢复共同忽略，同一证明收敛到最小范数最小二乘解。若固定真数据连 Picard 判据页的加权平方和条件都不满足，则没有这样的目标解；不能把“每个正参数下输出存在”改写为存在一个无参数极限解。

与有限维计算、统计风险的接口

有限维 QR/SVD 求解已经解释阈值截断会改变所解问题；这里进一步证明，在无限多弱方向存在时，如何让这种改变随噪声消失。核岭回归和早停谱过滤给固定设计下的偏差—方差期望；本页给每一个满足范数误差界的观测都成立的确定性证书，因而没有把方差项用作最坏噪声上界。

紧逆问题终点练习用同一 Green 噪声、Volterra 的结构迁移和核/余核边界检验这些结论。附带程序只复算有限系数及解析误差界，收敛仍由本页的头部—尾部证明保证。

参考资料

Christian Clason，Regularization of Inverse Problems, arXiv:2001.00617v2，2021-02-08 提交、封面日期 2021-02-09；Example 5.2，印刷页45–46，给两种过滤器；Theorem 5.6 与 Example 5.7，印刷页48–49，给固定数据收敛与截断的同步选择；第6章，印刷页58–59、Theorem 6.5，印刷页62，给 Tikhonov 及其极小化形式。原讲义采用实 Hilbert 空间，本文的复数极小化计算明确保留实部。
同一讲义 §4.2 与第6章讨论源条件。本文只使用 $x^\dagger=(K^*K)w$ ，直接证明式(5)；噪声常数 $1/2$ 、式(6)的具体常数和 Green 系数均在正文独立计算，不借用一般阶最优性结论。

形式陈述 ​

截断：有限和以外还有一个无穷尾部 ​

Tikhonov：先证明级数和极小点确实存在 ​

Tikhonov 的偏差为何趋零 ​

同一个 Green 观测，直接逆与两种正则化 ​

参数要同步，极限顺序不能交换 ​

收敛的量词：固定真解，统一控制噪声 ​

一个能完全证明的源条件速率 ​

恢复的是哪一个解 ​

与有限维计算、统计风险的接口 ​

反向链接