Jackknife

Jackknife 逐次删除一个观测，重新计算统计量，观察结果怎样变化。这 $n$ 个删一结果共享绝大部分数据，刻画的是统计量对单点扰动的敏感性。对足够光滑的统计量，这种敏感性可以近似其一阶随机波动，进而用于估计偏差与方差。

样本均值与平方均值 ​

对样本均值，$T_{(-i)}=(n\overline{X}-X_i)/(n-1)$，伪值恰为 $P_i=X_i$。Jackknife 偏差估计为零，方差估计化为 $s^2/n$，其中 $s^2=(n-1{)}^{-1}\sum _i(X_i-\overline{X}{)}^2$；这与均值的标准方差估计一致。

对 $T_n={\overline{X}}^2$，设总体均值为 $\mu$、方差为有限的 ${\sigma }^2$。此时

把删一均值的平方代入定义并整理，得到

由于 $E[s^2]={\sigma }^2$，这个例子中的修正恰好给出 ${\mu }^2$ 的无偏估计。一般统计量的 Jackknife 主要消除可展开的首阶 $1/n$ 偏差；偏差减少也可能伴随方差增加，因此比较均方误差时要同时计入两者。

线性展开为什么有效 ​

若统计量有渐近线性表示

并且同一展开适用于删一统计量、余项在构造伪值后仍可忽略，那么 $P_i$ 近似 $T(P)+\psi (X_i)$。当 $E[\psi (X_i)]=0$ 且二阶矩有限时，伪值的样本方差除以 $n$ 就可估计首阶方差 $\mathrm{Var}(\psi )/n$。有效性的依据是这种线性近似及其余项控制。

非光滑统计量会出现不同的删除行为。最大值在删除非最大观测时完全不变，只在删除最大观测时跳跃；样本中位数的删一结果也可能集中在少数相邻次序统计量上。此时普通删一方差估计可能失真。即使统计量在大样本下渐近线性，也还要检查删一扰动下的余项。

删除方式与数据结构 ​

delete-$d$ Jackknife 每次同时删除 $d$ 个观测，可以用于普通删一法不稳定的某些统计量。删除规模和方差归一化需要配套选择；全部删除组合有 $(\genfrac{}{}{0ex}{}{n}{d})$ 个，计算量过大时可以用经过设计的子集近似。

时间序列可按块删除，以保留块内依赖；聚类调查可按抽样单元删除，并使用对应的重复权重和有限总体修正。逐点删除无法代表整群抽样的波动，删除单位应与数据产生和抽样方式相匹配。

拟合不稳定时怎样解释 ​

删除一个点可能改变模型选择、聚类数或优化过程收敛到的解。此时伪值的跳跃反映了整个估计过程的不平滑。拟合是否收敛也要随每次删除结果一起记录：丢弃失败的拟合会改变正在估计的敏感性；修正计算流程后，应对同一估计规则重新评估。

比值估计量的分母接近零时，删一结果和伪值可能很大。这显示的是比值本身的敏感性；针对比值的 Fieller 区间或合适的参数变换，可以比简单截断伪值更准确地表达不确定性。

伪值共享原始数据，一般彼此相关；其首阶近似可以用于大样本方差分析，直接把它们作为独立样本作小样本 $t$ 检验则需要另外的分布依据。偏差修正估计与原估计也可能有不同方差，报告标准误时应对应实际使用的最终统计量。

Jackknife 的删除敏感性与影响函数理路稳健统计与影响函数Robust statistics · Influence function以污染邻域和统计泛函导数量化少量异常分布对估计的局部影响。共享一阶线性化图像。Bootstrap理路BootstrapBootstrap resampling · Nonparametric bootstrap用条件重采样律近似抽样误差：完整计算均值的有限分布，证明有限方差下一致性，并由最大值的持久原子判定失败。则从经验分布重采样，近似统计量的条件抽样分布，可用于研究偏斜和分位数。两者的适用性取决于统计量的结构；非光滑问题中，普通删一法可能失效，而合适的 Bootstrap 仍然有效。

Jackknife 伪值还可用于估计 BCa 区间的加速度参数，前提是相应影响近似有效。Jackknife-after-bootstrap 则复用已经生成的 Bootstrap 样本：对观测 $i$，筛出没有抽到它的重复样本，估计删去它后 Bootstrap 结果的变化。这能减少重新模拟的成本，需要保留抽样索引并有足够的重复样本覆盖每个观测。

复杂调查的删除单位应由原设计决定。调查复制方差理路调查重复权重方差估计Replicate weights · Survey replication variance让替代权重重现复杂抽样的随机结构，完整重算估计并按方案规定汇总方差。在主抽样单位层面删组，并按层内规则调整权重；若原估计包含校准，还需在复制中相应重做。

删除观测与独立替换的区别 ​

Efron–Stein 方差不等式理路Efron–Stein 方差不等式Efron-Stein inequality · 独立替换方差界 · Variance tensorization用独立重抽一个输入造成的平方变化控制非线性统计量方差，证明张量化与二分之一常数，并区分总体预算、样本估计和指数尾。也从单坐标扰动出发，但把该输入替换成来自原分布的独立副本，随后对平方变化取总体期望；它给有限样本方差上界。本页的删一结果改变样本量，以同一份数据的变化估计首阶方差，其有效性仍由平滑展开及删除余项负责。不能把删一平方差不经换算当成 Efron–Stein 的总体预算，也不能从那个上界推出 Jackknife 一定一致。

比值敏感性怎样变成可报告的集合 ​

前述弱分母情形可继续用Fieller 比值置信集合理路Fieller 比值置信集合Fieller confidence set · Fieller ratio interval · Fieller 比率置信集合在已知正定协方差的联合高斯实验中，不先除以随机分母，精确反演线性对比检验并返回完整的比值置信集合。检查：先检验分子减去候选比值倍分母是否与零相容，不把巨大伪值截掉后再假装普通正态区间仍有效。它在明确的已知协方差高斯实验中允许无界集合；对一般删一估计得到的协方差，仍须另证校准，不能直接继承精确覆盖。

Jackknife+预测区间理路Jackknife+ 预测区间Jackknife+ · Jackknife plus prediction把每个留一模型的新点预测与对应残差配对，借删二比较矩阵证明无稳定性假设下的有限样本覆盖，并区分平均中心式Jackknife。也逐点删除，却把每个留一模型的新点预测与自己的残差配对，再分别取左右端点秩。它输出未来响应集合，以删二比较计数证明覆盖；不要求本页用于偏差与方差近似的平滑展开，也不能把伪值标准误直接当成该预测区间。