Bootstrap

Bootstrap 把“重复从未知总体做实验”替换为“重复从已经观察到的经验分布做实验”。它不是把一份数据凭空变多，而是在原样本给定后，用可计算的条件分布近似统计量在重复抽样中的波动；能否近似成功取决于经验分布与目标统计泛函之间是否足够平滑。

对样本均值，条件于数据有

右端正是真实均值方差的 plug-in 估计。这个例子展示经验分布为何能捕捉普通均值的一阶波动，但它本身并不保证同一重采样规则适用于极值、边界参数或依赖数据。

一致性条件与量词 ​

典型理论目标是让居中的条件分布与真实抽样分布趋向同一极限：

更明确地，对所有有界连续函数 $f$，要求

这里条件分布随原样本随机，因此收敛发生在 $P$-概率意义下，而不是要求某一次 bootstrap 直方图与真实密度逐点相等。对光滑统计泛函，有限矩、非退化一阶导数以及经验过程／Delta 方法所需的正则性通常给出一致性；统计量、缩放速度或抽样设计改变后，这些条件必须重新验证。

区间与 Monte Carlo 误差 ​

给 $B$ 个重采样值，bootstrap 标准误为

percentile 区间直接取 $T_n^{\ast }$ 的分位数；basic 区间为

studentized 区间则重采样 $(T_n^{\ast }-T_n)/{\widehat{se}}^{\ast }$。三者使用不同枢轴，有限样本性质不可互换，报告时不能只写“bootstrap 区间”而省略类型。

$B$ 控制的是条件分布的 Monte Carlo 近似。估标准误时几千次往往已较稳定，估极端 $0.001$ 分位数则需要远更多重采样；分位数模拟误差可用 binomial rank 区间评估。固定随机种子只保证复现，增加 $B$ 也只能减少模拟误差，不能修复 bootstrap 本身的理论偏差。

失败情形 ​

非光滑或非正则目标是第一类失败。用样本最大值估计 Uniform 上界时，经验分布的最大支持点固定在观测最大值，普通 bootstrap 无法生成落在其上方的新极值；无穷方差均值、小样本稀有事件、边界参数和模型选择后的非光滑规则也可能没有标准 $\sqrt{n}$ 近似。可选修复包括 $m$-out-of-$n$ bootstrap、尾部模型或针对目标另证有效的缩放，但它们不是增加 $B$ 就能得到的改良。

抽样单元不匹配是第二类失败。依赖时间序列不能逐点 iid 重采样，通常需要 block bootstrap 并选择块长；分层、聚类和复杂调查必须复制原抽样设计；异方差回归常使用 wild 或 pairs bootstrap。错误重采样单位会改变目标概率结构，即使每次拟合都数值收敛也不会自动正确。

计算失败还会额外改变近似。诊断应报告重采样拟合失败率、极端值以及区间对 $B$ 和方法的敏感性；静默丢弃不收敛的拟合等于条件于“算法成功”，会改变目标分布，应改进拟合或明确失败处理规则。

nonparametric bootstrap 只依赖经验分布，但仍以 iid 抽样单元为默认；parametric bootstrap 则从拟合模型 $P_{\hat{\theta }}$ 抽样，适合模型结构可信而统计量复杂的情形。两者都可用于标准误、偏差估计和区间，但前者依赖经验分布逼近，后者还承担模型错设风险。

回归中的残差 bootstrap 固定设计并重采样中心化残差，pairs bootstrap 连 $(X,Y)$ 一起抽样，wild bootstrap 用随机权重保留异方差结构；三者对应不同的条件目标与误差假设，不能互换名称后沿用同一证明。

BCa 区间用 bias-correction $z_0$ 与Jackknife公理库JackknifeJackknife resampling · Leave-one-out jackknife通过逐一删除观测重新计算统计量，估计其首阶偏差与方差的方法。 acceleration $a$ 调整分位点，在光滑问题中可取得二阶准确性。它需要额外 jackknife 计算；若 jackknife 对目标统计量本身失效，BCa 的 acceleration 也不可靠。稳健统计量或非光滑目标还应结合影响函数与稳健性公理库稳健统计与影响函数Robust statistics · Influence function以污染邻域和统计泛函导数量化少量异常分布对估计的局部影响。判断一阶近似是否可信。