正交小波阈值与风险

对几乎为零的真系数，保留观测会留下约一个噪声方差；置零可以节省这份风险。对很大的真系数，硬删会付出巨大偏差，所以要让它留下。软阈值让输出跨过阈值时保持连续，却为留下的大信号引入收缩偏差。

阈值还要看同时检查多少坐标。单个纯噪声偶尔超过两倍标准差并不奇怪；在大量坐标中，这种偶然超过会反复发生。控制整组纯噪声与最小化平方风险，是两种不同目标。

四点重构与一次实现的损失 ​

取 $Y=(3,1,0,0)$，有 $X=(2,2,\sqrt{2},0)$。保留首坐标，对细节取软阈值 $t=1$，得到

即约 $(1.792893,1.207107,0.5,0.5)$。若以真值 $\mu =(2,2,0,0)$核对，本次平均平方损失为 $1-1/\sqrt{2}\approx 0.292893$，原始观测的损失为 $1/2$。这比较一次噪声实现，不能把该数当作重复抽样风险。

同一阈值下，硬阈值保留 $2$和 $\sqrt{2}$两个细节，因此原样返回 $Y$。这个例子没有证明软阈值处处更好；信号与阈值相距不同，会改变两种规则的偏差和波动。

零系数的风险可以精确积分 ​

记标准正态密度为 $\phi$、分布函数为 $\mathrm{\Phi }$、$\bar{\mathrm{\Phi }}=1-\mathrm{\Phi }$，并写 $\lambda =t/\sigma$、$u=\theta /\sigma$。单坐标软阈值风险为 ${\sigma }^{2}r(\lambda ,u)$，其中

真系数为零时，利用对称性和 ${\phi }^{\prime }(z)=-z\phi (z)$分部积分，

取 $\lambda =1$，得到约 $0.150680$。相同零系数下，硬阈值风险为 $2[\lambda \phi (\lambda )+\bar{\mathrm{\Phi }}(\lambda )]\approx 0.801252$，不收缩的风险为1。三个数都要乘 ${\sigma }^2$才回到原量纲。

当 $|u|\to \mathrm{\infty }$，软阈值几乎总从观测中减去一个固定符号的 $\lambda$，所以 $r(\lambda ,u)\to 1+{\lambda }^2$；硬阈值风险则趋近1。软阈值对小系数省下的风险，对大系数有相应代价。

同时噪声阈值与通用阈值 ​

若预先希望全部 $d$个纯噪声细节被置零的概率至少为 $1-\alpha$，可取

正态指数矩给 $P(|Z|>v)\le 2e^{-v^2/2}$；再以并集界理路并集界Union bound · Boole 不等式多个坏事件中至少一个发生的概率，不超过各事件概率之和。控制全部坐标，失败概率不超过 $2d{e}^{-t_{\alpha }^2/(2{\sigma }^2)}=\alpha$。这解释“真细节全部为零”时的全部删除，不能保证非零信号一定留下。

常见通用阈值为 $t_U=\sigma \sqrt{2\log d}$（$d\ge 2$）。它并不是指定有限样本错误率 $\alpha$的式(6)。用更细的正态尾界 $\bar{\mathrm{\Phi }}(v)\le \phi (v)/v$，纯噪声至少一个超过它的概率至多为 $1/\sqrt{\pi \log d}$，随 $d\to \mathrm{\infty }$趋零。小样本时，“通用”这个名称不能替代实际概率。

和知道真系数的理想选择比较 ​

假想一位知道 ${\theta }_i$的选择者，每个细节只允许输出0或输出 $X_i$，且选择不依赖当前噪声。两种风险为 ${\theta }_i^2$和 ${\sigma }^2$，故这个受限oracle的总风险为 $\sum _{i}min({\theta }_i^2,{\sigma }^2)$。它知道未知真值，不可执行，也不是允许所有估计器时的精确最优风险。

软阈值有一条明确的比较。固定 $\lambda$，对式(4)按三个分段求导，边界处平方误差连续使边界项相消，得到

所以 $r(\lambda ,u)\le r(\lambda ,0)+u^2$；又由单调性和大信号极限，$r(\lambda ,u)\le 1+{\lambda }^2$。当 $\lambda =\sqrt{2\log d}$、$d\ge 2$，令 $v=z-\lambda \ge 0$，有 $\phi (v+\lambda )\le e^{-{\lambda }^2/2}\phi (v)$，故式(5)的积分至多为 $e^{-{\lambda }^2/2}2{\int }_0^{\mathrm{\infty }}{v}^2\phi (v)dv=1/d$。合并可得

求和，加回尺度系数，并恢复单位，得到

式(7)是在全部均值向量上的上界：算法不知道哪些系数重要，却能以一个对数因子追随理想删留。它不是精确风险，也没有单独证明某个函数类上的完整minimax速率。$d=1$时式(4)仍适用，但这里的通用阈值比较只对 $d\ge 2$陈述。

更换模型时重新记账 ​

噪声协方差若为 $\mathrm{\Sigma }$，变换后是 $W\mathrm{\Sigma }{W}^{\mathsf{T}}$，通常不再为 ${\sigma }^{2}I$。过完备字典中的系数个数超过 $n$，也不能直接搬用方阵正交的能量式。估计标准差、由响应选择基或处理相关噪声，都需要重新核验相应步骤。

SURE阈值选择理路SURE风险估计与阈值选择Stein unbiased risk estimate · SURE threshold selection · Stein无偏风险估计由正态分部积分推导软阈值无偏风险分数，执行有限候选与断点搜索，并计算选择偏差和硬阈值跳跃失效。从观测估计预定软阈值的风险，也解释最小分数为何不是选择后风险的无偏报告。系数稀疏与逼近误差的联系见小波稀疏逼近理路小波稀疏性与非线性逼近Wavelet sparsity · Best m-term wavelet approximation · Nonlinear wavelet approximation从正交系数的排序和超水平计数推导最佳m项误差，计算非二进跳点的稀疏表示，并辨明Haar衰减与函数光滑性的单向关系。。良好平方风险仍不保证整条函数覆盖，后者进入诚实置信带的适应性边界理路诚实置信带与适应性边界Honest adaptive confidence bands · Honesty and adaptation · 自适应置信带的不可能性在固定设计正态回归中构造可复算的诚实带，并用局部尖峰与总变差证明未知光滑性下窄带适应的障碍。。

自测。 $n=4,\sigma =1$，预先删除全部细节，只保留尺度系数，风险为 $[1+{\theta }_1^2+{\theta }_2^2+{\theta }_3^2]/4$。常数真向量只有 $1/4$；含跳跃时必须加上被删真细节的能量。

自测二。 把响应、真值及噪声标准差全部乘以 $b>0$，希望输出也乘以 $b$，阈值应怎样改变？取 $t_{\mathrm{n}\mathrm{e}\mathrm{w}}=bt$；因为 $S_{bt}(bx)=b{S}_t(x)$，重构也随之缩放，平方风险则乘 $b^2$。