形式陈述
经验分布是一条阶梯函数,不能像普通光滑函数那样直接求逆导数。样本分位数的正态近似究竟怎样得到?设 X 1 , … , X n 是来自 F 的独立同分布样本 理路 独立同分布样本 IID sample · Independent and identically distributed sample 以乘积分布描述来自同一总体的独立重复观测。 ,固定 p ∈ ( 0 , 1 ) ,目标分位 q = F ← ( p ) 唯一,且 F 在 q 的某个邻域有连续密度 f ,f ( q ) > 0 。
令经验分布函数 理路 经验测度 Empirical measure · Empirical distribution 把有限观测的重复频数编码为原子概率测度。 为 F n ,采用左广义逆约定
q ^ n = F n ← ( p ) = X ( ⌈ n p ⌉ ) , 其中括号秩是次序统计量 理路 顺序统计量 Order statistic 有限样本按键排序后第 k 个位置的值,保留重复出现的次数。 。则有渐近线性展开
q ^ n − q = p − F n ( q ) f ( q ) + o P ( n − 1 / 2 ) = 1 n ∑ i = 1 n p − 1 { X i ≤ q } f ( q ) + o P ( n − 1 / 2 ) . 因此
n ( q ^ n − q ) ⇒ N ( 0 , p ( 1 − p ) f ( q ) 2 ) . 这里 o P ( n − 1 / 2 ) 表示余项乘 n 后依概率趋零 理路 依概率收敛 Convergence in probability 随机变量偏离极限超过任意正阈值的概率趋于零。 ;⇒ 表示依分布收敛 理路 依分布收敛 Convergence in distribution · Weak convergence 分布函数在极限分布连续点处收敛的随机变量收敛概念。 ,输出律 N ( 0 , p ( 1 − p ) / f ( q ) 2 ) 是正态分布 理路 正态分布 Normal distribution · Gaussian distribution · 高斯分布 具有指数平方密度、在仿射变换与独立求和下封闭的概率分布族。 。
余项结论比“左右两边有相同极限分布”更强:它说明二者在同一份样本上的差,比通常的 n − 1 / 2 误差还小。
直觉
若经验 CDF 在真实分位 q 处偏高,说明落在 q 左边的样本过多,达到目标概率 p 的经验位置就向左移动。于是分位误差带有 p − F n ( q ) 的负反馈符号。
CDF 的纵向误差要除以局部斜率 f ( q ) 才变成横向位置误差。密度小,附近样本稀疏,同样的概率误差会引起更大的位置移动。但要把随机的 q ^ n 代回经验过程,还必须证明这个小邻域内没有额外的一阶随机振荡。
例子与边界
四分之三分位的指数例子
率一指数分布有 F ( x ) = 1 − e − x 。取 p = 3 / 4 ,则 q = log 4 、f ( q ) = 1 / 4 ,所以
n ( q ^ n − log 4 ) ⇒ N ( 0 , 3 ) . 线性化项为 4 [ 3 / 4 − F n ( log 4 ) ] 。如果 n = 400 的样本在真实分位左侧有 310 个观测,则 F n ( q ) = 0.775 ,一阶预测的分位误差为 4 ( 0.75 − 0.775 ) = − 0.10 。这只是一阶近似,但方向与比例都由公式清楚给出。
密度为零时,速度真的改变
在 [ − 1 , 1 ] 上取分布函数 F ( x ) = ( 1 + x 3 ) / 2 ,区间外分别补为零和一。中位数是零,密度 f ( x ) = 3 x 2 / 2 在零处消失。
此时对固定 t ,
F ( t n − 1 / 6 ) = 1 2 + t 3 2 n . 用“经验中位数不超过某高度”等价于该高度以下的二项计数至少达到中位秩,再对这个二项计数作中心极限定理,可得
P ( n 1 / 6 q ^ n ≤ t ) ⟶ Φ ( t 3 ) . 极限不是正态,速度是 n − 1 / 6 而非 n − 1 / 2 。把 f ( 0 ) = 0 塞进分母,只会写出无意义的表达式,不能替代这项新的尺度分析。
推论与应用
第一步:把经验分位限制在根号 n 邻域
记 q ± = q ± M / n 。密度连续且为正,故对大 n ,F ( q + ) − p ≥ f ( q ) M / ( 2 n ) ,p − F ( q − ) ≥ f ( q ) M / ( 2 n ) 。
事件 q ^ n > q + 蕴含 F n ( q + ) < p 。而 F n ( q + ) 的方差至多 1 / ( 4 n ) ,Chebyshev 界 理路 Chebyshev 不等式 Chebyshev's inequality 随机变量偏离均值至少给定距离的概率由方差除以距离平方控制。 便给 P ( q ^ n > q + ) ≤ C / M 2 。左侧同理。先让 n 大,再让 M 大,得到
n ( q ^ n − q ) = O P ( 1 ) . 第二步:证明局部经验振荡消失
对固定 M ,定义
A n ( h ) = n [ ( F n − F ) ( q + h / n ) − ( F n − F ) ( q ) ] , | h | ≤ M . 要证的是 sup | h | ≤ M | A n ( h ) | → 0 依概率。先固定一个 h :增量是长度 O ( n − 1 / 2 ) 小区间内的中心化样本比例,其方差满足
位 于 与 之 间 Var ( A n ( h ) ) ≤ P { X 位于 q 与 q + h / n 之间 } ≤ C M n − 1 / 2 → 0. 再把 [ − M , M ] 分成 J 个小格,格点为 h j 。对固定有限 J ,把各格点的 Chebyshev 界用并集界 理路 并集界 Union bound · Boole 不等式 多个坏事件中至少一个发生的概率,不超过各事件概率之和。 相加,所有格点的 A n ( h j ) 同时依概率趋零。若 h j ≤ h ≤ h j + 1 ,由 F n 单调且邻域内 f ≤ C ,
A n ( h j ) − 2 C M J ≤ A n ( h ) ≤ A n ( h j + 1 ) + 2 C M J . 因此先让 n → ∞ ,再让 J → ∞ ,就控制了整个局部上确界。这个有限网格加单调夹逼的步骤,补上了不能直接对随机位置套固定点极限的缺口。
结合第一步的根号 n 紧性,可把 h = n ( q ^ n − q ) 代入,得到
n [ ( F n − F ) ( q ^ n ) − ( F n − F ) ( q ) ] = o P ( 1 ) . 第三步:反演阶梯误差并应用中心极限定理
以趋于一的概率,经验分位位于有连续密度的邻域,样本在那里没有并列值,故
0 ≤ F n ( q ^ n ) − p < 1 / n . 同时 F ( q ^ n ) − F ( q ) = f ( q ) ( q ^ n − q ) + o P ( n − 1 / 2 ) 。把局部振荡式整理为
F n ( q ^ n ) − p = F n ( q ) − p + f ( q ) ( q ^ n − q ) + o P ( n − 1 / 2 ) , 即可解出形式陈述的线性展开。最后,n F n ( q ) 是参数 p 的二项计数,中心极限定理 理路 中心极限定理 Central limit theorem 适当归一化的独立随机变量和在分布上趋于正态分布。 给其中心化极限;Slutsky 定理 理路 Slutsky 定理 Slutsky's theorem 依分布收敛随机量与依概率收敛常量组合时,和、积与合法商保持相应分布极限。 消去余项,得到分位正态极限。
展开中的单观测项正是分位泛函的影响函数 理路 稳健统计与影响函数 Robust statistics · Influence function 以污染邻域和统计泛函导数量化少量异常分布对估计的局部影响。 。在这里,影响函数能用于抽样方差的理由,是随机逆与局部振荡的余项已经得到证明,而不只是算出了污染方向的导数。
参考资料