子样本推断 | Codeboy's Blog

从已有n条资料中挑b个不同索引，每组都重新算一次统计量，得到一张子样本结果表。每个组在原实验下仍由b个独立观测组成；组与组却大量重叠。本页说明，这份重叠为什么不妨碍估计一个连续极限分布，以及为什么不能把子集总数当作新的独立样本量。

形式陈述

抽取的是互异索引，不是互异数值

令X_1,…,X_n为IID样本，T_n=t_n(X_1,…,X_n)是对输入次序对称的实值可测统计量，估计θ。给定1≤b≤n，令I遍历大小b的无序索引子集，T_{b,I}=t_b((X_i)_{i∈I})。允许资料值相同；要求不重复的是索引。

给定正的确定性缩放a_n，定义完整子样本CDF

L_{n,b}(x)=\binom nb^{-1}\sum_{|I|=b} \mathbf1\{a_b(T_{b,I}-T_n)\le x\}. \tag{1}

这是给定资料后均匀无放回选b个索引所产生的条件分布。不同子集可以共享记录；如果为了计算方便随机抽多份子集，子集之间还可以有放回，这不改变每份子集内部必须互异的要求。

一个IID连续极限定理

假设a_n→∞，并有

a_n(T_n-\theta)\Rightarrow J, \tag{2}

其中也用J表示极限CDF，要求J在整个实线上连续，不要求正态。取确定性b=b_n满足

b\longrightarrow\infty,\qquad b/n\longrightarrow0, \qquad a_b/a_n\longrightarrow0. \tag{3}

则

\sup_x|L_{n,b}(x)-J(x)|\longrightarrow_P0. \tag{4}

已知存在某个极限而不知道正确a_n，还不足以实施式(1)。常见a_n=n^r、r>0时，b/n→0自动给a_b/a_n→0；对一般缩放，须单独核实最后一条。

直觉

无条件地看，一个固定索引子集确实是来自真实总体的b条IID资料；所以其统计量分布是b条真实抽样的分布，而不是经验分布有放回重抽的分布。但我们真正手里有的是条件于这份n条资料的子集表。需要证明这张随机表不偏离其平均分布太远。

关键不在于子集数量巨大，而在于可以把原n条资料分成约n/b个独立组。对所有排列作平均，独立组的平均就变成完整子集平均。取平均不会增加平方波动，由此获得一个不依赖固定核阶数的方差界。

先使用不知道的θ作中心

定义证明用的oracle CDF

U_{n,b}(x)=\binom nb^{-1}\sum_{|I|=b} \mathbf1\{a_b(T_{b,I}-\theta)\le x\}.

每个固定子集的无条件分布都与前b条相同，因此

E U_{n,b}(x)=J_b(x):=P\{a_b(T_b-\theta)\le x\}. \tag{5}

由式(2)、b→∞和J连续，J_b(x)→J(x)。接下来控制随机CDF围绕这个期望的波动，而不假装其所有指示项互相独立。

随机分块给出增长阶核的方差

令q=⌊n/b⌋≥1，独立于资料均匀随机排列n个索引，取前q个不交b元块；剩余不到b条暂不使用。记V_π(x)为这q个块的oracle指示值平均。给定资料后，每块都是均匀b元子集，所以

E_\pi[V_\pi(x)\mid D_n]=U_{n,b}(x).

对每个固定排列，q个块使用不交的IID输入，故它们的指示值独立，均值为J_b(x)，方差均不超过1/4。于是利用条件Jensen不等式，

\begin{aligned} \operatorname{Var}(U_{n,b}(x)) &=E\{E_\pi[V_\pi(x)-J_b(x)\mid D_n]\}^2\\ &\le E E_\pi[(V_\pi(x)-J_b(x))^2\mid D_n]\\ &\le\frac1{4\lfloor n/b\rfloor}. \end{aligned} \tag{6}

b/n→0使q→∞，Chebyshev不等式便给U_{n,b}(x)−J_b(x)→_P0。式(6)允许b随n增长；它不是将固定阶U统计量的渐近定理换一个字母套用。

在实线上选有限网格，使相邻J值增量和两端尾质量都小。oracle CDF的单调性把网格间误差夹住，有限多个网格值又同时依概率收敛，因此

\sup_x|U_{n,b}(x)-J(x)|\longrightarrow_P0. \tag{7}

再把中心换成可计算的T_n

令d_n=a_b(T_n−θ)。由式(2)的分布收敛，a_n(T_n−θ)依概率有界；式(3)给d_n→_P0。逐项比较事件有精确等式

L_{n,b}(x)=U_{n,b}(x+d_n).

连续CDF在整实线上一致连续：先控制两端尾，再在中间紧区间用一致连续性。所以

\sup_x|L_{n,b}(x)-J(x)| \le\sup_y|U_{n,b}(y)-J(y)| +\sup_x|J(x+d_n)-J(x)|\longrightarrow_P0.

这完成式(4)。未知中心能被替换，依赖的是它在子样本尺度上已可忽略；并不要求它在自身a_n尺度上趋于零。

例子与边界

最大值CDF的分母是组合数

固定互异排序资料x_(1)<…<x_(n)。均匀无放回取b条，最大值不超过x_(k)恰好要求全部索引来自前k条，所以

P^*(M_{b,I}\le x_{(k)})=\frac{\binom kb}{\binom nb}, \tag{8}

约定k<b时分子为零。最大值恰为x_(k)的质量是C(k−1,b−1)/C(n,b)。资料(1,2,4,7)、b=2给最大值2、4、7的概率1/6、2/6、3/6，最大值1不可能出现。

有放回m条重抽在m=2时允许把同一记录抽两次，其CDF是(k/n)^2。这两张表既不是同一个有限分布，也不能因b=m就交换使用。

不可微目标也可以具有连续极限

令X_i等概率取±1，θ=|EX|=0，T_n=|X̄_n|，a_n=√n。原均值的中心极限定理及绝对值函数的连续映射给√nT_n⇒|Z|，Z为标准正态。J是折叠正态CDF，虽目标在零处不可微，仍满足本页的连续极限条件。

这里不需要假装绝对值在零处有导数；只要选择b→∞、b/n→0，子样本根√b(|X̄_I|−|X̄_n|)的CDF就由定理收敛到J。一般非零均值时的极限另有符号与方差，应根据真实模型重新检查式(2)。

少了条件会怎样

b=n时只有一个子集，T_{b,I}=T_n，式(1)恒为零点质量；任何非退化连续极限都不可能由它恢复。b固定时，式(5)只指向那个固定大小的真实统计量分布，未必接近J。

如果a_b/a_n不趋零，换中心步骤可能留下同阶随机偏移。若极限有原子，本页依赖连续性的全实线CDF收敛与分位数论证也不能直接使用；需要针对所需连续点或随机化规则另作分析。

本定理以原始行IID为前提。时间序列的连续块、聚类观测的整簇抽样、非对称或依赖记录次序的统计规则都不由式(6)自动覆盖。无放回只是索引抽取方式，不会把原先相关的资料变成独立资料。

推论与应用

从子样本分位数到原参数区间

对0<q<1，令c_{n,b}(q)=inf{x:L_{n,b}(x)≥q}。设J在某个有限c_q处严格穿越q，即对每个ε>0有

J(c_q-\varepsilon)<q<J(c_q+\varepsilon). \tag{9}

式(4)给c_{n,b}(q)→_P c_q：当两侧CDF误差小于对应严格间隔时，分位数必被夹在c_q±ε内。只说J连续还不够；水平平台可能让分位点不唯一或不稳定。

若q=α/2和1−α/2都满足式(9)，则

\left[T_n-\frac{c_{n,b}(1-\alpha/2)}{a_n}, T_n-\frac{c_{n,b}(\alpha/2)}{a_n}\right] \tag{10}

具有渐近1−α覆盖。覆盖事件对应a_n(T_n−θ)落在两个随机分位数之间，用固定c_q±ε夹逼并令ε→0即可证明。有限n下分位数相同、负数或区间不对称都可能发生；它们不应被静默改成另一个规则。

不能枚举全部子集时

若每次统计量计算成本为C(b)，完整计算需要C(n,b)次核求值，加上生成索引的工作；这是组合增长，不应简写成“线性扫描”。若仅需一个x处的CDF，可边枚举边累计，额外只需一个子集缓冲及常数个计数器；要保留完整分布，最直接实现还需保存全部结果。

实际可独立、均匀、有放回抽取B份b元索引子集。条件于资料，这B个根是式(1)分布的IID抽样。对预先给定的K个检查点，用Hoeffding不等式及并集界有

P^*\!\left\{\max_{1\le j\le K} |\widetilde L_B(x_j)-L_{n,b}(x_j)|>\varepsilon\right\} \le2K e^{-2B\varepsilon^2}. \tag{11}

这是计算CDF的条件误差，不是参数区间覆盖的误差。点集合须预先固定，或由原资料决定后再条件于资料冻结，不能随同一批Monte Carlo结果挑最有利的点却仍使用原来的K。

一种简单、无需复杂数据结构的均匀子集生成器是每次顺序扫描n条：还须选r条、还剩s条时，以r/s概率选当前记录。任意b元子集的概率由乘积可验均为1/C(n,b)。每次O(n)扫描、O(b)索引空间，加C(b)求值；B次成本O(B(n+C(b)))，若存全部根另需O(B)空间。更快的均匀抽样器可另选，但须保持同一子集分布。

重采样与残差终点分别用两端极差、不可微绝对均值和固定设计回归核验这里的抽取单位与尺度。完整子集表的资料误差、抽部分子集的计算误差和最终区间的覆盖不能合成一个未经区分的“bootstrap误差”。

参考资料

P. J. Bickel、F. Götze、W. R. van Zwet，“Resampling Fewer Than n Observations: Gains, Losses, and Remedies for Losses”，Statistica Sinica7，1997，1–31，§3，Theorem1及式(3.1)–(3.5)：无放回重抽、增长阶核的方差与中心替换。本页给IID连续CDF版本及随机分块的完整证明。
Dimitris N. Politis、Joseph P. Romano，“Large Sample Confidence Regions Based on Subsamples under Minimal Assumptions”，Annals of Statistics22(4)，1994，2031–2050，原始系统论述；上项§3明确重述其基本结论。
Charles J. Geyer，STAT5601: Subsampling，University of Minnesota，2007，Overview、Rate of Convergence及Stationary Process or IID Sampling；用于辨认缩放与抽样单元。

形式陈述 ​

抽取的是互异索引，不是互异数值 ​

一个IID连续极限定理 ​

先使用不知道的θ作中心 ​

随机分块给出增长阶核的方差 ​

再把中心换成可计算的T_n ​

最大值CDF的分母是组合数 ​

不可微目标也可以具有连续极限 ​

少了条件会怎样 ​

从子样本分位数到原参数区间 ​

不能枚举全部子集时 ​

反向链接