Skip to content

定义Definition

有限样本替换崩溃点

Finite-sample replacement breakdown point

明确最少破坏比例的约定,精确计算奇偶中位数和截尾均值,并区分局部影响与全局污染。

形式陈述 ​

固定有限样本 x=(x1,…,xn)∈Rn 与处处有限的实值估计规则 Tn。对整数 0≤m≤n,定义可替换集合

Um(x)={z∈Rn:#{i:zi≠xi}≤m},

以及最大位移

bm(Tn;x)=supz∈Um(x)|Tn(z)−Tn(x)|.

本页采用“造成无界位移所需的最少替换比例”约定:

εn∗(Tn;x)=1nmin{m:bm(Tn;x)=∞}.

若没有这样的 m,可以把其值记为 +∞,表示这个有界输出规则不会按本页距离发生崩溃。位置等变的实值估计器通常在某个 m≤n 发生崩溃。这个定义比较固定资料被任意改写后的最坏情形,不使用IID抽样概率。

文献也会报告“仍保证有界的最大替换比例”。若最少失败个数为 m∗,后者是 (m∗−1)/n,与本页数值相差 1/n。偶数样本的中位数定义也会影响单方向门槛。因此报告一个百分比时应同时给出替换集合、距离、统计量约定及最少失败个数。

直觉

影响函数问:固定一个污染位置,只掺入无穷小比例时,答案怎样移动?崩溃点问:允许修改有限个观测,并把修改值送得任意远,答案能否逃出所有有界区间?这里先固定污染数量,再对污染值取最坏上确界,量词次序与局部导数不同。

高崩溃点只排除无界失控。它不保证小偏差、低方差或有效区间;答案被困在一个很宽但有限的范围内,仍可能没有实际精度。

例子与边界

均值只需一个替换 ​

样本均值 Tn=x¯。保持其余观测不变,把第一项改为 M,均值的变化为 (M−x1)/n,随 M→∞ 无界;零个替换的位移为零。因此 εn∗=1/n。即使原始样本毫无异常,这个最坏门槛也一样。

一般次序统计量先分清左右方向 ​

令 Tn(x)=x(j) 为第 j 个次序统计量。要使它趋于正无穷,至少要替换 n−j+1 个观测:不足这个数量时,至少仍有 j 个原始有限值,故第 j 项不会超过原始最大值。反过来,把任意 n−j+1 个点改成共同的 M→∞,第 j 项确实可被推高。

同理,趋于负无穷至少需要 j 个替换。因此绝对位移的最少失败个数是

m∗{x(j)}=min{j,n−j+1}.

证明只用顺序和仍保留多少个有限观测,不要求原始数据互不相同。

奇数与偶数中位数 ​

n=2k+1 时,中位数为 x(k+1)。上述公式给

εn∗=k+12k+1.

例如五点样本的最少失败比例是 3/5,而不是严格的 1/2。最多能保证承受的是两次替换,即 2/5;两种约定都趋近 1/2。

n=2k 时,若中位数定义为中间两项的平均 (x(k)+x(k+1))/2,少于 k 个替换时,这两个次序统计量都被原始最小值和最大值夹住。替换 k 个为共同的 M→∞,上中位数趋于 M,下中位数仍有限,平均也趋于正无穷。故最少失败比例为 k/(2k)=1/2。

若偶数中位数只取下中位数 x(k),向负无穷需要 k 个,向正无穷需要 k+1 个;上中位数方向相反。按绝对位移定义二者仍为 1/2,但单方向陈述不能混用。

截尾均值的门槛 ​

对整数 0≤k<n/2,先丢掉最小和最大的各 k 项,再平均中间 n−2k 项。至多替换 k 个观测时,所有逃出原始范围的污染值都会落在被修剪的两端;留下的每项仍在原始范围内。替换 k+1 项为共同的 M→∞,最多只有 k 项在上尾被删,至少一项 M 留在平均中。因此

εn∗=k+1n.

五点样本修剪两端各一项,最少两次替换就失效,门槛 2/5;五点中位数则需三次。截尾保护取决于每端丢弃的项数,中位数的门槛则由中间秩决定。

有界局部影响仍可伴随很低崩溃点 ​

构造一个只用于辨析的固定规则:令经验方差为 vn=n−1∑i(xi−x¯)2,若 vn≤2 就返回样本中位数,否则返回样本均值。对应总体泛函在 P=N(0,1) 附近按相同方差阈值切换。污染分布 (1−ε)N(0,1)+εδx 的方差为 (1−ε)+ε(1−ε)x2。对任何固定污染位置 x,当 ε↓0 时该方差趋于1,足够小的污染比例仍使方差低于2,所以在该 P 处的影响函数与中位数相同,因而有界。

但对任意固定的 n≥2 有限样本,替换一个观测为 M→∞ 时,经验方差最终超过2,规则改为均值并随 M 无界。因此其有限样本替换崩溃点为 1/n。n=1 时方差恒为零,但中位数与均值都是唯一观测,替换一次同样崩溃。这个刻意构造的例子说明有界影响函数不逻辑蕴含高替换崩溃点;它不是建议采用的稳健算法。

推论与应用

计算崩溃点需要两半证明:少于门槛时,无论怎么替换都保持有界;达到门槛时,给出一列确实使输出无界的替换。只展示一次成功污染得到上界,不能证明它是最少数量。

本页限于实值位置估计和绝对距离。尺度可能因趋零而崩溃,协方差可能因特征值趋零或趋无穷而崩溃,回归还要声明能否同时改写协变量与响应;不能把本页中位数门槛原样移到这些不同的参数空间。

自测与答案 ​

  1. 对六点数据,用上中位数 x(4),向正无穷与向负无穷各需几次替换?答案:分别3次与4次;绝对位移的崩溃点为 3/6。
  2. 五点中位数只替换两项,能否保证它仍接近原中位数?答案:只能保证仍位于原始最小值与最大值之间,不能保证距离小。如果原始范围很宽,这个有限界也可以很差。
参考资料
  • Werner A. Stahel,Robust Statistics: Partial Overview, General Principles,2012,§6.1,页内编号96–100(PDF第97–101页):最大偏差、崩溃与有限样本替换。课件采用最大可承受比例,本页明确采用最少失败比例并给出两者换算。
  • David L. Donoho 与 Peter J. Huber,The Notion of Breakdown Point,1983,收录于 A Festschrift for Erich L. Lehmann,pp.157–184:替换崩溃点的原始框架。本页的奇偶公式、截尾均值和切换规则反例已逐项证明。
关系图谱10 个相邻概念 · 2 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
类型化关系

使用的工具