形式陈述
经验分布是一条阶梯函数,不能像普通光滑函数那样直接求逆导数。样本分位数的正态近似究竟怎样得到?设 是来自 的独立同分布样本公理库独立同分布样本IID sample · Independent and identically distributed sample以乘积分布描述来自同一总体的独立重复观测。,固定 ,目标分位 唯一,且 在 的某个邻域有连续密度 ,。
令经验分布函数公理库经验测度Empirical measure · Empirical distribution把有限观测的重复频数编码为原子概率测度。为 ,采用左广义逆约定
其中括号秩是次序统计量公理库顺序统计量Order statistic有限样本按键排序后第 k 个位置的值,保留重复出现的次数。。则有渐近线性展开
因此
余项结论比“左右两边有相同极限分布”更强:它说明二者在同一份样本上的差,比通常的 误差还小。
直觉
若经验 CDF 在真实分位 处偏高,说明落在 左边的样本过多,达到目标概率 的经验位置就向左移动。于是分位误差带有 的负反馈符号。
CDF 的纵向误差要除以局部斜率 才变成横向位置误差。密度小,附近样本稀疏,同样的概率误差会引起更大的位置移动。但要把随机的 代回经验过程,还必须证明这个小邻域内没有额外的一阶随机振荡。
例子与边界
四分之三分位的指数例子
率一指数分布有 。取 ,则 、,所以
线性化项为 。如果 的样本在真实分位左侧有 个观测,则 ,一阶预测的分位误差为 。这只是一阶近似,但方向与比例都由公式清楚给出。
密度为零时,速度真的改变
在 上取分布函数 ,区间外分别补为零和一。中位数是零,密度 在零处消失。
此时对固定 ,
用“经验中位数不超过某高度”等价于该高度以下的二项计数至少达到中位秩,再对这个二项计数作中心极限定理,可得
极限不是正态,速度是 而非 。把 塞进分母,只会写出无意义的表达式,不能替代这项新的尺度分析。
推论与应用
第一步:把经验分位限制在根号 n 邻域
记 。密度连续且为正,故对大 ,,。
事件 蕴含 。而 的方差至多 ,Chebyshev 界公理库Chebyshev 不等式Chebyshev's inequality随机变量偏离均值至少给定距离的概率由方差除以距离平方控制。便给 。左侧同理。先让 大,再让 大,得到
第二步:证明局部经验振荡消失
对固定 ,定义
要证的是 依概率。先固定一个 :增量是长度 小区间内的中心化样本比例,其方差满足
再把 分成 个小格,格点为 。对固定有限 ,把各格点的 Chebyshev 界用并集界公理库并集界Union bound · Boole 不等式多个坏事件中至少一个发生的概率,不超过各事件概率之和。相加,所有格点的 同时依概率趋零。若 ,由 单调且邻域内 ,
因此先让 ,再让 ,就控制了整个局部上确界。这个有限网格加单调夹逼的步骤,补上了不能直接对随机位置套固定点极限的缺口。
结合第一步的根号 紧性,可把 代入,得到
第三步:反演阶梯误差并应用中心极限定理
以趋于一的概率,经验分位位于有连续密度的邻域,样本在那里没有并列值,故
同时 。把局部振荡式整理为
即可解出形式陈述的线性展开。最后, 是参数 的二项计数,中心极限定理公理库中心极限定理Central limit theorem适当归一化的独立随机变量和在分布上趋于正态分布。给其中心化极限;Slutsky 定理公理库Slutsky 定理Slutsky's theorem依分布收敛随机量与依概率收敛常量组合时,和、积与合法商保持相应分布极限。消去余项,得到分位正态极限。
展开中的单观测项正是分位泛函的影响函数公理库稳健统计与影响函数Robust statistics · Influence function以污染邻域和统计泛函导数量化少量异常分布对估计的局部影响。。在这里,影响函数能用于抽样方差的理由,是随机逆与局部振荡的余项已经得到证明,而不只是算出了污染方向的导数。
参考资料