诚实置信带与适应性边界

形式陈述

数据看上去很平滑，是否就能把整条曲线的置信带放心收窄？局部平滑区间已经说明偏差和同时覆盖都要校准；本页再问：光滑程度未知时，能否同时保证对较粗糙函数有效、对较光滑函数很窄？

观察固定设计回归

Y_i=f(i/n)+\sigma Z_i,\qquad i=1,\ldots,n,\qquad Z_i\text{独立 }N(0,1),\quad\sigma>0\text{已知}.

程序若使用额外随机数，规定其分布与未知函数无关，且 $P_f$ 包含这份共同辅助随机性。乘上同一随机化分布不会增加总变差，因此下面的比较也覆盖这类程序。

这里的“固定设计”只描述观测位置。目标是覆盖整个连续区间 $[0,1]$ 上的函数。对 $0<r\le1$ 及 $L>0$ ，定义

\mathcal F_r(L)=\{f\in C[0,1]:\|f\|_\infty\le L,\quad |f(x)-f(y)|\le L|x-y|^r\ \text{对所有 }x,y\}.

$L$ 同时限制高度和Hölder半范数，但本页没有把二者的和当作球范数。将置信区间的统一覆盖要求用于整条函数，随机带 $C_n(x)=[\ell_n(x),u_n(x)]$ 满足 $\ell_n\le u_n$ ，并假定下面的同时事件与宽度都可测。记

W_n=\sup_{x\in[0,1]}[u_n(x)-\ell_n(x)].

若 $\inf_{f\in\mathcal F}P_f\{f(x)\in C_n(x)\text{对所有 }x\}\ge1-\alpha$ ，称它在类 $\mathcal F$ 上有限样本诚实。统一渐近版本是 $\liminf_n\inf_{f\in\mathcal F}P_f\{f\in C_n\}\ge1-\alpha$ 。诚实指覆盖承诺统一适用于声明的类，不是描述估计者的品格。

本页证明以下有限样本障碍。设 $0<\alpha<1/2$ ，选常数 $c>0$ 满足

c\sigma\le L,\qquad \kappa=1-2\alpha-\frac{\sqrt3}{2}c>0.

令 $h=n^{-1/(2r+1)}\le1/2$ 。任何在 $\mathcal F_r(L)$ 上诚实的带，都必须在零函数下满足

P_0\{W_n\ge c\sigma n^{-r/(2r+1)}\}\ge\kappa, \qquad E_0W_n\ge\kappa c\sigma n^{-r/(2r+1)}.\tag{1}

这是一个不带对数因子的下界，已经足以排除更光滑类的快收窄要求；它不是声称给出了尖锐的最优带宽常数或分离半径。

直觉

一条低矮且很窄的峰可以对观测只造成少量总变化。它在某一点的高度却仍超过一条极窄置信带的容纳范围。若数据分布很难区分“完全平坦”和“藏着这条峰”，任何诚实带就不能在平坦函数下总是很窄。

这里的障碍不取决于先用核、小波还是样条估计。它对所有可测的带构造同时成立，包括复杂的调参和随机化。换一个更准确的点估计器，不能自动消除观测本身分不清两种函数的困难。

例子与边界

两条函数怎样迫使带变宽

先给一个适用于任意两条候选函数的步骤。设 $f_0,f_1$ 的观测分布为 $P_0,P_1$ ， $d=\|f_1-f_0\|_\infty$ 。若带在两条函数下的同时覆盖概率都至少为 $1-\alpha$ ，则由两点法的总变差比较，事件 $A_1=\{f_1\in C_n\}$ 满足

P_0(A_1)\ge P_1(A_1)-\operatorname{TV}(P_0,P_1)\ge1-\alpha-\operatorname{TV}(P_0,P_1).

再与 $A_0=\{f_0\in C_n\}$ 交集，在 $P_0$ 下有概率至少 $1-2\alpha-\operatorname{TV}$ 。同一个区间若同时包含两个函数在每一点的值，最大宽度至少为 $d$ 。所以

P_0(W_n\ge d)\ge1-2\alpha-\operatorname{TV}(P_0,P_1).\tag{2}

这是对宽度的检验型限制。右侧若为负，只给平凡下界；需要选择分布足够接近的函数。

固定网格上的具体局部峰

令 $\psi(v)=(1-|v|)_+$ ，取 $f_0=0$ 和

f_1(x)=c\sigma h^r\psi\left(\frac{x-1/2}{h}\right), \qquad h=n^{-1/(2r+1)}.

$\psi$ 为1-Lipschitz、取值在 $[0,1]$ ，因此 $|\psi(u)-\psi(v)|\le\min(|u-v|,1)\le|u-v|^r$ 。这给 $[f_1]_r\le c\sigma\le L$ ，且 $\|f_1\|_\infty=c\sigma h^r\le L$ 。两函数确实都在声明的类中。

噪声是已知协方差的多元正态。逐坐标展开正态对数密度比，KL散度在这里一律用自然对数（单位nat），因此为

D(P_1\|P_0)=\frac1{2\sigma^2}\sum_{i=1}^n f_1(i/n)^2.

峰的支撑长为 $2h$ ，其中最多有 $2nh+1$ 个网格点。利用 $nh^{2r+1}=1$ 及 $h^{2r}\le1$ ，

D(P_1\|P_0)\le\frac{c^2}{2}(2nh+1)h^{2r}\le\frac32c^2.

Pinsker界给 $\operatorname{TV}\le\sqrt{D/2}\le(\sqrt3/2)c$ 。函数在 $x=1/2$ 处的距离恰为 $c\sigma h^r$ ，代入式(2)就得到式(1)，期望界再由 $E W_n\ge dP(W_n\ge d)$ 得到。

即使奇数 $n$ 的网格没有 $1/2$ ，峰值距离仍然成立，因为带覆盖的是连续域。若目标只覆盖观测点，就必须用最大采样峰值重做距离那一步，不能原样照搬这个高度。

一组可以手算的常数

取 $r=1/2,L=1,\sigma=1,\alpha=0.05,c=0.2,n=256$ ，则 $h=1/16$ 、峰高为 $0.05$ 。共有31个严格位于支撑内部的非零采样值。按对称三角形平方求和，可得

D(P_1\|P_0)=0.013359375,\qquad \sqrt{D/2}\approx0.0817294.

所以式(2)至少给 $P_0(W_n\ge0.05)\ge0.8182706$ ，期望宽度至少约 $0.0409135$ 。使用不计算实际网格的统一上界也可得到较松的 $0.7267949$ 概率下界；两者都是下界，不是实际覆盖概率。

推论与应用

为什么更光滑的自适应带受到阻碍

固定 $r<s\le1$ 。本页定义下 $\mathcal F_s(L)\subseteq\mathcal F_r(L)$ ，因为 $|x-y|\le1$ 时 $|x-y|^s\le|x-y|^r$ 。若希望同一程序在大类上诚实，同时在更光滑类上满足

\sup_{f\in\mathcal F_s(L)}E_fW_n\le K\left(\frac{\log n}{n}\right)^{s/(2s+1)},\tag{3}

其中 $K$ 不随 $n$ 变化，那么零函数也必须满足该上界。但 $s/(2s+1)>r/(2r+1)$ ，式(3)右侧与式(1)下界的比值趋零，产生矛盾。零函数已经最光滑，仍无法在较粗糙类的统一覆盖承诺下获得所要求的宽度。

统一渐近诚实也有相同障碍：对任意小 $\varepsilon>0$ ，足够大的 $n$ 对整个类的覆盖都至少为 $1-\alpha-\varepsilon$ ，在式(2)中多扣 $2\varepsilon$ 即可。若只知道每个固定函数的点态渐近覆盖，不能把它用于随 $n$ 改变的峰 $f_1$ ；这正是统一量词发挥作用的位置。

光滑界已知时，一条诚实带确实能算出来

负结果并不排除诚实带本身。设 $r,L$ 已知、 $n=Mq$ ，把 $[0,1]$ 分成 $M$ 个宽 $1/M$ 的箱，第 $j$ 箱包含观测 $i=(j-1)q+1,\ldots,jq$ 。函数评价时第一箱包含0，其余按右闭端点分配。每箱响应均值记为 $\overline Y_j$ 。

任一箱中目标 $f(x)$ 与该箱观测真均值之差至多 $LM^{-r}$ ，噪声标准差为 $\sigma/\sqrt q$ 。因此在该箱输出

C_n(x)=\overline Y_j\ \pm\left[LM^{-r}+z_{1-\alpha/(2M)}\frac{\sigma}{\sqrt q}\right].\tag{4}

对 $M$ 个正态箱均值用并集界，以至少 $1-\alpha$ 的概率同时控制它们的噪声；在同一事件上，已知Hölder界控制每个箱内的全部连续位置，故式(4)在整个 $\mathcal F_r(L)$ 上诚实。这里不需要在无穷多个位置分别累加错误率。

例如 $n=64,M=4,q=16,r=1,L=\sigma=1,\alpha=0.05$ ，半宽为 $1/4+z_{0.99375}/4\approx0.8744$ 。它可能宽，但保证明确。平衡 $M^{-r}$ 与 $\sqrt{M\log M/n}$ 会提示 $M\asymp(n/\log n)^{1/(2r+1)}$ ；这是在已知 $r,L$ 下选择分箱尺度，不能把数据估出的 $r$ 直接代入就继承统一覆盖。

可以改变什么要求

若预先排除与较光滑类统计上难区分的粗糙函数，或加入可检测的自相似性条件，某些模型允许自适应诚实带。排除范围与可检测尺度必须由对应定理指定，不能只从图像上判断曲线“没有坏峰”。Massé–Meiniel研究固定设计回归中的分离条件，其尖锐必要性定理另要求 $r>1/2$ ；Hoffmann–Nickl的相关结果则在密度估计模型中。本页给出的两点证明具有自己的 $0<r\le1$ 范围，不替代这些更精确结论。

改变损失或覆盖对象也可能改变结论。 $L^2$ 置信球容许窄而高的局部变化在积分下贡献较小，其适应性范围不能由上确界带的负结果直接判定。共形预测覆盖未来响应，通常是输入分布下的边际事件，也不是本页整条均值函数的同时覆盖。问题对象变了，需要重新说明承诺。

自测。 在较粗糙类上保持95%诚实，却只在若干典型平滑函数上展示窄带，是否证明了式(3)？没有。式(3)对整个平滑类取上确界，且零函数也受式(1)约束；有限演示既不检查统一覆盖，也不检查统一宽度。

自测二。 式(4)若把 $L$ 改成由同一批数据估出的较小值，还能引用原证明吗？不能。原证明需要对所有允许真函数成立的确定偏差上界；一个可能低估的拟合曲率或连续模不是这个上界。可以另构造具有联合错误预算的有效上界，但需要新的保证。

参考资料

Pierre-Yves Massé and William Meiniel，Adaptive Confidence Bands in the Nonparametric Fixed Design Regression Model，arXiv:1207.3975v3，Definitions 1–3、Theorem 2及§2.2：固定网格、已知正态方差、诚实性与分离条件；必要性部分要求 $r>1/2,\alpha<1/2$ 。本文式(1)是独立证明的较弱无对数障碍。
Marc Hoffmann and Richard Nickl，On Adaptive Inference and Confidence Bands，Annals of Statistics 39(5)，2011，pp.2383–2409，§§1–2：IID密度估计中的诚实性、适应性及可区分子类。本文不将其密度模型定理直接当作回归定理。
Adam D. Bull and Richard Nickl，Adaptive Confidence Sets in L2，Probability Theory and Related Fields 156，2013：说明积分损失下的置信集合具有不同的适应性边界；本页未陈述该文全部条件。

形式陈述 ​

两条函数怎样迫使带变宽 ​

固定网格上的具体局部峰 ​

一组可以手算的常数 ​

为什么更光滑的自适应带受到阻碍 ​

光滑界已知时，一条诚实带确实能算出来 ​

可以改变什么要求 ​