Jackknife

算法 ​

给定 $T_n=t(X_1,\dots ,X_n)$，删除第 $i$ 个观测得到 $T_{(-i)}$，平均为

$${\overline{T}}_{(-)}=\frac{1}{n}\sum _i{T}_{(-i)}.$$

jackknife 偏差估计

$${\widehat{\mathrm{bias}}}_{jack}=(n-1)({\overline{T}}_{(-)}-T_n),$$

偏差修正估计为 $T_{jack}=n{T}_n-(n-1){\overline{T}}_{(-)}$。

伪值

$$P_i=n{T}_n-(n-1)T_{(-i)}$$

满足 $T_{jack}=n^{-1}\sum _i{P}_i$。方差估计为

$${\widehat{\mathrm{Var}}}_{jack}(T_n)=\frac{n-1}{n}\sum _i(T_{(-i)}-{\overline{T}}_{(-)}{)}^2.$$

例子 ​

对样本均值，$T_{(-i)}=(n\overline{X}-X_i)/(n-1)$，伪值恰为 $P_i=X_i$。jackknife 方差化为样本方差除以 $n$，与均值标准误公式一致；偏差估计为零。

对光滑 plug-in 统计量，删除一个观测近似其 influence function，伪值方差估计首阶抽样波动。

展开、伪值与第二个例子 ​

若统计泛函光滑并有渐近线性表示

$$T_n-T(P)=\frac{1}{n}\sum _i\psi (X_i)+o_P(n^{-1/2}),$$

则伪值 $P_i$ 近似 $T(P)+\psi (X_i)$。因此伪值样本方差除以 $n$ 估计 $\mathrm{Var}(\psi )/n$。jackknife 的成功来自一阶 influence 展开，不是 leave-one-out 本身具有魔法。

对 $T_n={\overline{X}}^2$，删除值 ${\overline{X}}_{(-i)}^2$ 可估计非线性 plug-in 的 $1/n$ 偏差。若总体均值为 $\mu$、方差为 ${\sigma }^2$，

$$E[{\overline{X}}^2]={\mu }^2+\frac{{\sigma }^2}{n}.$$

jackknife bias correction 首阶减去 ${\sigma }^2/n$，留下对 ${\mu }^2$ 更小偏差的估计；同时伪值波动可能增加方差。

delete-$d$ jackknife 每次删除 $d$ 个观测，可处理某些普通 delete-one 不稳定情形，但组合数巨大，常用平衡重复设计近似。依赖数据则按块删除。

边界 ​

非光滑统计量可能失败。样本中位数在小样本下许多 leave-one-out 值相同，jackknife 方差可严重失真；最大值删除非最大观测完全不变，只删除最大值产生跳跃，也不符合平滑线性近似。

偏差修正只针对可展开的首阶 $1/n$ 项。若主偏差为 $n^{-1/2}$、边界效应或模型失配，公式 $(n-1)({\overline{T}}_{(-)}-T_n)$ 不会自动正确。

观测权重不等、分层或聚类时，普通伪值公式不复制抽样设计。survey jackknife 需要 replicate weights 和相应有限总体修正。

依赖数据需 delete-block jackknife；复杂调查使用 replicate weights。逐点删除会破坏集群结构。

偏差修正可能增加方差，MSE 不一定下降。它主要消除 $1/n$ 型平滑偏差，不保证修复模型失配。

jackknife 与 bootstrap 的差别不只是计算次数。jackknife 用删除扰动线性化统计泛函，主要估首阶 influence、偏差与方差；bootstrap 从经验分布模拟完整条件抽样分布，可刻画偏斜和分位数，但计算更重。非光滑问题可能二者都失败，也可能 bootstrap 有效而 delete-one 不稳定。

对比样本均值的伪值恰等于原观测，说明 jackknife 没有制造新数据。伪值相关但在光滑情形首阶可像 iid influence 值使用；把它们当真正独立观测做普通小样本 t 检验，需要额外论证。

delete-$d$ jackknife 在 $d\to \mathrm{\infty },d/n\to 0$ 时可修复某些极值或分位数问题。不同 $d$ 改变 bias 与 variance，不能事后选择最有利结果而不计调参。

复杂估计算法中，删除一个点可能改变模型选择、聚类数或优化 basin，产生非平滑跳跃。这些跳跃是诊断信号，不应简单 winsorize 伪值让方差看起来稳定。

实现需记录每个 leave-one-out 拟合是否收敛。把失败 replicate 丢弃会低估敏感性；应修复算法、定义确定 fallback，或报告该统计量不适合 jackknife。

jackknife-after-bootstrap 可评估 bootstrap 估计对单个观测的敏感性：对每个删一数据集重用不含该观测的 bootstrap replicates。它减少重新模拟成本，却需要保存抽样索引和足够覆盖。

在 ratio estimator 中，分母接近零会让某个 leave-one-out 伪值爆炸。该现象反映真实条件性，不应仅当数值异常删除；可改用 Fieller 区间、变换或有界参数模型。

bias-corrected jackknife 的目标与 variance jackknife 不同。只报告修正点估计却继续使用未修正标准误，可能忽略两者相关；完整推断应基于同一最终统计量。

参考资料

• Maurice Quenouille, “Approximate Tests of Correlation in Time-Series,” JRSS B 11, 1949。
• John Tukey, Bias and Confidence in Not Quite Large Samples, 1958。
• Bradley Efron and Robert Tibshirani, An Introduction to the Bootstrap, 1993，Ch. 11。