SURE风险估计与阈值选择

残差 $\Vert \delta (X)-X{\Vert }^2$只比较估计与看过的观测，偏爱贴着噪声的规则。SURE计入噪声，再用输出对输入的局部敏感度修正这份偏爱。原样输出观测时，残差为零但分数为 $d{\tau }^2$；全部输出零时，分数变为 $\Vert X{\Vert }^2-d{\tau }^2$，扣除观测能量中平均属于噪声的一部分。

某次分数可以为负，无偏性不要求每次都像风险一样非负。把负数截为零会改变期望，可以为了展示而这样做，却不能继续声称同一个无偏恒等式。

四个系数选一次阈值 ​

取 $d=4,\tau =1$，观察 $X=(0.2,-0.6,1.5,3)$。候选集合为 $\{0,0.5,1,2\}$。式(2)给

例如 $t=1$时截断平方和为 $0.04+0.36+1+1=2.40$，两个坐标被置零，故分数为 $4+2.40-4=2.40$。在当前候选集中选出1，估计为 $(0,0,0.5,2)$。

若在全部 $t\ge 0$搜索，相邻绝对值断点之间，置零数固定，余下项为若干 $t^2$之和，分数不减。到断点时向下跳 $2{\tau }^2$乘以相同绝对值的个数。因此只需检查0和不同的 $|X_i|$；超过最大绝对值以后分数恒定，并列规则取最左端。

本例断点 $0,0.2,0.6,1.5,3$的分数依次为 $4,2.16,1.12,2.90,7.65$。全范围搜索选出 $0.6$，输出 $(0,0,0.9,2.4)$。候选限制改变了算法，不能混用两种结果。排序加前缀平方和可以在 $O(d\log d)$时间完成搜索；重复绝对值需要成组更新计数。

最小分数不再无偏的精确反例 ​

取 $X\sim N(0,1)$，候选只有输出零和输出 $X$，各自SURE为 $U_0=X^2-1$和 $U_1=1$。选择最小分数，相当于 $X^2\le 2$时输出零，否则保留 $X$。

最小分数的期望为

因为 $E(X^2-1)=0$。而选择后实际风险为

前者也可写成 $2[\bar{\mathrm{\Phi }}(\sqrt{2})-\sqrt{2}\phi (\sqrt{2})]$。二者约为 $-0.257808$和 $0.572407$。每个候选单独的分数无偏，取最小值仍会偏爱偶然低估。变化的是整条选择程序，不是固定规则的公式。

硬阈值的跳跃不能省略 ​

硬阈值 $H_t(x)=x{\mathbf{1}}_{|x|>t}$在 $\pm t$不连续，不满足式(1)。若只在分段内部求导，就会遗漏分部积分的跳跃项。

取 $d=1,\tau =1,\theta =0,t=1$。错误代入给 $1+X^2{\mathbf{1}}_{|X|\le 1}-2{\mathbf{1}}_{|X|\le 1}$，其期望约为 $-0.166631$；真实硬阈值风险约为 $0.801252$。差额恰为 $4\phi (1)\approx 0.967883$，来自两个跳点的边界项。几乎处处有导数，不能代替绝对连续条件。

分部积分怎样消去未知均值 ​

正态密度满足 $p_{\theta }^{\prime }(x)=-(x-\theta )p_{\theta }(x)/{\tau }^2$。用绝对连续函数的分部积分理路绝对连续函数Absolutely continuous function · Absolute continuity on an interval把有限组总长度很小的区间送到总振幅很小的函数类，并满足 Lebesgue 版微积分基本定理。和已声明的边界条件，

把 ${\delta }_i-{\theta }_i=(X_i-{\theta }_i)+g_i(X_i)$平方展开，第一项期望为 ${\tau }^2$，交叉项用刚才的等式替换，对坐标求和就得到式(1)。右侧不再含未知 $\theta$，因此能从数据计算。

软阈值虽然有折角，但连续而绝对连续，分段积分的内部端点相消。硬阈值有真正跳跃，内部端点不相消。二者都分段可导，只有前者直接符合当前证明。

相关噪声究竟影响哪一步 ​

式(1)的逐坐标证明只用了 $X_i$ 的正态边缘，没有用不同坐标的独立性。因此若 $X\sim N_d(\theta ,\mathrm{\Sigma })$、所有对角元都为已知 ${\tau }^2$，对预定阈值的坐标软阈值，式(2)仍对总平方风险无偏，即使非对角协方差未知。若各方差已知但不等，第 $i$ 项应改用自己的 ${\tau }_i^2$。

需要小心的是：原数据中的同方差经过任意相关协方差的正交换基，不保证系数方差仍相等；而依赖多个输入坐标的一般估计器，积分公式会涉及协方差与交叉偏导。相关性也会影响搜索所得阈值的分布。上述固定规则恒等式没有给选择后风险追加一个无偏结论。

调参、评价与覆盖分别核验 ​

SURE可用于调参；选择后风险控制还需研究整个选择规则，或用独立重复测量评价。若确有独立 $X^{\prime }\sim N_d(\theta ,{\tau }^{2}I)$，则条件于由 $X$选出的估计向量，$\Vert \hat{\theta }-X^{\prime }{\Vert }^2-d{\tau }^2$对其平方误差无偏。给同一批系数换名字并不会产生这份独立性。

若小波流程在每层分别选阈值，式(2)应使用本层坐标数及方差，未处理尺度系数另加风险。若把离散系数除以 $\sqrt{n}$表示函数坐标，噪声标准差也要从 $\sigma$变为 $\sigma /\sqrt{n}$，不能只缩放数据。

风险校正不是置信带校正。即使整条选择程序有良好平方风险，也不能根据最小SURE分数直接画95%带。诚实适应性边界理路诚实置信带与适应性边界Honest adaptive confidence bands · Honesty and adaptation · 自适应置信带的不可能性在固定设计正态回归中构造可复算的诚实带，并用局部尖峰与总变差证明未知光滑性下窄带适应的障碍。研究整个函数类的统一覆盖与带宽能否同时缩小，量词不同。

自测。 $X=(0.1,0.1),\tau =1,t=1$时，SURE为 $2+0.02-4=-1.98$。这不是负风险，而是风险估计量的一次可能输出。

自测二。 若一层的系数全除以8、改用函数系数单位，原噪声标准差为2，SURE中的方差该是多少？新标准差为 $1/4$，方差为 $1/16$。平方风险及每个分数都应变为原来的 $1/64$，阈值也除以8。