形式陈述
只使用最大的若干观测,怎样估计一个幂尾的指数?设 X 1 , … , X n 为独立同分布的正数据 理路 独立同分布样本 IID sample · Independent and identically distributed sample 以乘积分布描述来自同一总体的独立重复观测。 ,按次序统计量 理路 顺序统计量 Order statistic 有限样本按键排序后第 k 个位置的值,保留重复出现的次数。 记为
X ( 1 ) ≤ ⋯ ≤ X ( n ) . 假定总体右尾 F ― ( x ) = x − 1 / ξ L ( x ) ,ξ > 0 ,其中 L 慢变化,即尾函数具有正则变化 理路 正则变化函数 Regularly varying function · Regular variation 正则变化以缩放比值的幂函数极限刻画幂律,允许不改变幂指数的慢变化修正。 。对 1 ≤ k < n ,Hill 估计量是
ξ ^ k , n = 1 k ∑ j = 1 k log X ( n − j + 1 ) X ( n − k ) . 分子是最大的 k 个观测,分母是紧接着它们的第 k + 1 大值,作为随机门槛。这里估计的是形状 ξ ;若把幂尾写为 x − α ,则 α = 1 / ξ ,在 ξ ^ > 0 时可用 α ^ = 1 / ξ ^ 。并列值可能使最大的 k + 1 个观测全相等,令 ξ ^ = 0 ;此时没有有限的倒数估计。两种“尾指数”记法不能混用。
例如将一半概率放在 1 ,另一半取尾指数 α > 0 的连续 Pareto 分布,所得尾仍正则变化;但所有 n 项都等于 1 的事件有概率 2 − n > 0 ,在这件事上 Hill 值就是零。
若 k = k n → ∞ 且 k n / n → 0 ,则 ξ ^ k n , n → ξ 依概率收敛 理路 依概率收敛 Convergence in probability 随机变量偏离极限超过任意正阈值的概率趋于零。 。称这样的 k n 为中间次序:使用的尾部样本越来越多,但在全样本中的比例越来越小。一般的渐近正态结论还需要二阶尾条件。
把模型参数看成满足上述尾条件的总体分布 F ,目标是其形状 ξ ( F ) 。对固定 k ,排序、正数比值和对数构成一个可测规则;取行动空间 [ 0 , ∞ ) ,例如配上平方损失,它就是这个目标的点估计量 理路 估计量、决策规则与风险 Estimator and decision rule · Statistical risk 从观测到行动的可实施规则,以及在逐参数、Bayes 与最坏情形量词下的期望损失。 。
推论与应用
从 Pareto 的对数超额得到估计量
对精确 Pareto 模型 P ( X > x ) = x − 1 / ξ ,x ≥ 1 ,给定 X > u 后,
P ( log ( X / u ) > z ∣ X > u ) = e − z / ξ , z ≥ 0. 所以对数超额服从均值 ξ 的指数分布 理路 指数分布 Exponential distribution 具有恒定失效率和连续无记忆性的非负等待时间分布。 。对几乎每个随机门槛 X ( n − k ) 的取值,其上方 k 个数去掉排序后,条件联合分布可表示为独立的这种指数变量;排序不会改变它们的和。因此精确 Pareto 情形有
E ξ ^ k , n = ξ , Var ( ξ ^ k , n ) = ξ 2 k , 且 k ξ ^ k , n / ξ 是 k 个率一指数变量之和。ξ ^ 的无偏性不传给倒数:k > 1 时 E α ^ = α k / ( k − 1 ) 。
一般正则变化下为什么仍一致
以分布函数 理路 分布函数 Cumulative distribution function · CDF 实值分布在每个阈值左侧累积的概率,是非降右连续且端点极限为零和一的函数。 的广义逆定义 U ( t ) = F ← ( 1 − 1 / t ) ,则尾假设等价于 U ∈ R V ξ 。可以用标准 Pareto 变量 Y i (尾为 1 / y )表示 X i = d U ( Y i ) ;单调的广义逆保留排序,因此这个表示允许原样本出现并列值。设 T n = Y ( n − k ) ,实际上
依 概 率 T n n / k ⟶ 1 依概率 . 证明只需二项计数。对固定 0 < ε < 1 ,在 ( 1 + ε ) n / k 以上的 Y i 数量均值为 k / ( 1 + ε ) ,在 ( 1 − ε ) n / k 以上的数量均值为 k / ( 1 − ε ) ;要使第 k + 1 大门槛越过错误的一侧,计数必须偏离均值至少常数倍的 k 。对这类计数 B ,将Markov 不等式 理路 Markov 不等式 Markov's inequality 非负随机变量超过阈值的概率由其期望除以阈值控制。 用于 ( B − E B ) 2 ,并用二项方差不超过均值,得
P ( | B − E B | ≥ c k ) ≤ Var ( B ) c 2 k 2 ≤ E B c 2 k 2 = O ( k − 1 ) . 所以两侧偏差概率均趋零,特别地 T n → ∞ 依概率。
随机门槛上的条件表示也可直接验证,不能只引用固定门槛的无记忆性。设标准 Pareto 的密度为 f ( y ) = y − 2 ,CDF 为 H ,尾为 H ― ( t ) = 1 / t 。记门槛上方依次排序的值为 Z 1 < ⋯ < Z k 。选择哪 n − k − 1 个观测在 t 以下、哪一个处于 t 、以及上方观测的次序,给联合密度
f T , Z ( t , z ) = n ! ( n − k − 1 ) ! H ( t ) n − k − 1 f ( t ) ∏ j = 1 k f ( z j ) , t < z 1 < ⋯ < z k . 对上方次序区域积分得到
f T ( t ) = n ! ( n − k − 1 ) ! k ! H ( t ) n − k − 1 H ― ( t ) k f ( t ) . 相除后,几乎每个 t 的条件有序密度为 k ! ∏ j f ( z j ) / H ― ( t ) k 。令 z j = t v j ,计入 Jacobian t k ,便得
f V ( 1 ) , … , V ( k ) ∣ T = t ( v ) = k ! ∏ j = 1 k v j − 2 , 1 < v 1 < ⋯ < v k . 它与 t 无关,正是 k 个独立标准 Pareto 比值排序后的密度。把这些值随机打乱即可取成未排序的独立样本;对 Hill 的求和,排序本来就没有影响。这也验证了上面精确 Pareto 的指数和表示。
因此给定 T n 后,可以使用不依赖门槛的标准 Pareto 比值样本 V j 。Potter 界说明:对任意 ε > 0 , A > 1 ,当 T n 足够大时,全部 v ≥ 1 都满足
| log U ( T n v ) U ( T n ) − ξ log v | ≤ log A + ε log v . 平均后,Hill 估计量与 ξ k − 1 ∑ j log V j 的差被 log A + ε k − 1 ∑ j log V j 控制。这个条件样本的联合律不依赖门槛,所以该平均与一列固定的 IID 率一指数变量之前 k 项平均同分布。大数定律 理路 强大数定律 Law of large numbers · Strong law of large numbers · SLLN 独立同分布且可积时,样本均值沿几乎每条无限样本路径收敛到共同期望。 因而使它依概率趋向一。最后让 A ↓ 1 、ε ↓ 0 ,便得到一致性。这个证明只需一阶正则变化,不要求二阶偏差已经比标准误小。
渐近正态为何多出偏差项
一种标准二阶条件是:存在最终非零且符号固定的 A ( t ) → 0 、ρ ≤ 0 ,使
U ( t x ) / U ( t ) − x ξ A ( t ) ⟶ x ξ x ρ − 1 ρ , x > 0 , ρ = 0 时右侧取 x ξ log x 。在这一二阶条件下,若中间次序还满足 k A ( n / k ) → λ ∈ R ,则
k ( ξ ^ k , n − ξ ) ⇒ N ( λ 1 − ρ , ξ 2 ) . 偏差常数可以从对数超额展开理解:二阶修正对标准 Pareto 比值的平均为
∫ 1 ∞ v ρ − 1 ρ d v v 2 = 1 1 − ρ . 下面补出随机门槛与余量控制。记 h ρ ( v ) = ( v ρ − 1 ) / ρ ,并令 h 0 ( v ) = log v 。对固定 v 对数展开,将二阶条件改写为
log U ( t v ) − log U ( t ) − ξ log v A ( t ) ⟶ h ρ ( v ) . 把对数增量在 x y 与 x 处相减,除以基准 t x 的 y ≠ 1 增量,得到 A ( t x ) / A ( t ) → x ρ 。若原来的 A 未声明可测,可先换为
A ~ ( t ) = log U ( 2 t ) − log U ( t ) − ξ log 2 h ρ ( 2 ) ∼ A ( t ) . 它可测且最终非零、符号固定,不改变二阶条件或 k A ( n / k ) → λ 。以下仍记作 A ,此时 | A | ∈ R V ρ ,统一收敛定理与已证 T n / ( n / k ) → 1 给
依 概 率 A ( T n ) A ( n / k ) ⟶ 1 依概率 . 还需一个比逐点展开更强的分析输入。Drees–de Haan–Resnick 的 Theorem 1 证明中式 (3.1) 给出:在上述二阶条件下,对每个 δ > 0 ,
sup v ≥ 1 v − δ | log U ( t v ) U ( t ) − ξ log v − A ( t ) h ρ ( v ) | = o ( | A ( t ) | ) . 这是本页明确采用的带权一致余量定理,包含 ρ = 0 ;其分析证明援引原文所列的二阶变化引理。本页不把它当成一般逐点收敛的自动推论,也不将光滑 Hall 型幂修正当作整个二阶类的证明。
固定 0 < δ < 1 ,把上式余量写成 A ( t ) r t ( v ) ,使 | r t ( v ) | ≤ η ( t ) v δ ,其中 η ( t ) → 0 。给定 T n = t ,上方未排序的 k 个比值的条件联合律是独立标准 Pareto 的乘积,且与 t 无关;因此可用独立于 T n 的 V 1 , … , V k 表示其和。Hill 的精确表示变成
ξ ^ k , n = ξ k ∑ j = 1 k log V j + A ( T n ) 1 k ∑ j = 1 k h ρ ( V j ) + A ( T n ) 1 k ∑ j = 1 k r T n ( V j ) . log V j 是独立率一指数变量,中心极限定理 理路 中心极限定理 Central limit theorem 适当归一化的独立随机变量和在分布上趋于正态分布。 给
k ( 1 k ∑ j log V j − 1 ) ⇒ N ( 0 , 1 ) . 又有 E h ρ ( V ) = 1 / ( 1 − ρ ) ,在 ρ = 0 时就是 E log V = 1 ;大数定律给相应平均的收敛。因为 E V δ = 1 / ( 1 − δ ) < ∞ ,其样本平均有界于概率意义,而
依 概 率 | k A ( T n ) 1 k ∑ j r T n ( V j ) | ≤ | k A ( T n ) | η ( T n ) 1 k ∑ j V j δ ⟶ 0 依概率 . 由 k A ( T n ) → λ ,再用Slutsky 定理 理路 Slutsky 定理 Slutsky's theorem 依分布收敛随机量与依概率收敛常量组合时,和、积与合法商保持相应分布极限。 ,就得到所述中心为 λ / ( 1 − ρ ) 、方差为 ξ 2 的正态极限。这里不需要两个样本平均相互独立。精确 Pareto 的二阶误差可能恒为零,不符合“最终非零”的 A 表述,但其上面的精确指数和公式另行直接给出中心为零的 CLT。
估计量渐近正态 理路 估计量的渐近正态性 Asymptotic normality of estimators 估计误差在明确中心、速率与协方差下趋于正态律,以及线性化、标准化和边界失效机制。 在这里可能带非零中心。只有 λ = 0 等偏差可忽略情形,才可直接使用以 ξ ^ 为中心、标准误约为 ξ ^ / k 的通常近似;它仍是中间次序渐近结论,不认证八个数据或某个固定 k 的正态误差。