Skip to content

方法Method

Hill 尾指数估计量

施工中 · 内容逐步修订

Hill estimator · Hill tail-index estimator

Hill 估计量平均最大的若干观测相对于随机门槛的对数比,估计正则变化重尾的形状,并显式面对门槛偏差。

形式陈述 ​

只使用最大的若干观测,怎样估计一个幂尾的指数?设 X1,…,Xn 为独立同分布的正数据,按次序统计量记为

X(1)≤⋯≤X(n).

假定总体右尾 F―(x)=x−1/ξL(x),ξ>0,其中 L 慢变化,即尾函数具有正则变化。对 1≤k<n,Hill 估计量是

ξ^k,n=1k∑j=1klog⁡X(n−j+1)X(n−k).

分子是最大的 k 个观测,分母是紧接着它们的第 k+1 大值,作为随机门槛。这里估计的是形状 ξ;若把幂尾写为 x−α,则 α=1/ξ,在 ξ^>0 时可用 α^=1/ξ^。并列值可能使最大的 k+1 个观测全相等,令 ξ^=0;此时没有有限的倒数估计。两种“尾指数”记法不能混用。

例如将一半概率放在 1,另一半取尾指数 α>0 的连续 Pareto 分布,所得尾仍正则变化;但所有 n 项都等于 1 的事件有概率 2−n>0,在这件事上 Hill 值就是零。

若 k=kn→∞ 且 kn/n→0,则 ξ^kn,n→ξ 依概率收敛。称这样的 kn 为中间次序:使用的尾部样本越来越多,但在全样本中的比例越来越小。一般的渐近正态结论还需要二阶尾条件。

把模型参数看成满足上述尾条件的总体分布 F,目标是其形状 ξ(F)。对固定 k,排序、正数比值和对数构成一个可测规则;取行动空间 [0,∞),例如配上平方损失,它就是这个目标的点估计量。

直觉

精确幂尾在对数坐标上变成指数尾。Hill 估计量因此就是高门槛以上对数超额的平均值。

选小 k,门槛高,更接近渐近幂尾,但估计波动大;选大 k,数据多,却可能把尚未进入幂尾的主体分布也拉进来。多看几个门槛是模型敏感性检查,不能把一段偶然平坦的曲线当作无偏保证。

例子与边界

八个数据的手算 ​

取排序后的样本

1, 1.2, 1.4, 1.8, 2, 3, 4, 8.

若 k=3,门槛是 X(5)=2,所以

ξ^3,8=log⁡(3/2)+log⁡(4/2)+log⁡(8/2)3=log⁡123≈0.8283.

对应 α^≈1.2073。若误把第三大值 3 当分母,就会把门槛推入已选的三个观测,改变估计量。

换 k=2,门槛三,得到 ξ^≈0.6343;换 k=4,门槛 1.8,得到 ξ^≈0.7266。三个结果并不相同。这份小样本只用于展示算式与门槛敏感性,不足以据此认证某个精确总体尾指数。

尺度不变,平移却会改变 ​

把全部数据乘正数 c,比值中的 c 抵消,Hill 估计量不变。把全部数据加上常数 b,则 log(X+b)/(u+b) 一般不等于 log⁡(X/u),有限样本估计会改变。

它也不是所有极值形状的通用估计量:负形状的有限端点、零形状的指数型吸引域都不满足本页 ξ>0 的目标模型。截断的幂尾在截断以下可能看起来很直,但最终不再具有无穷远正则变化尾。

推论与应用

从 Pareto 的对数超额得到估计量 ​

对精确 Pareto 模型 P(X>x)=x−1/ξ,x≥1,给定 X>u 后,

P(log⁡(X/u)>z∣X>u)=e−z/ξ,z≥0.

所以对数超额服从均值 ξ 的指数分布。对几乎每个随机门槛 X(n−k) 的取值,其上方 k 个数去掉排序后,条件联合分布可表示为独立的这种指数变量;排序不会改变它们的和。因此精确 Pareto 情形有

Eξ^k,n=ξ,Var(ξ^k,n)=ξ2k,

且 kξ^k,n/ξ 是 k 个率一指数变量之和。ξ^ 的无偏性不传给倒数:k>1 时 Eα^=αk/(k−1)。

一般正则变化下为什么仍一致 ​

以分布函数的广义逆定义 U(t)=F←(1−1/t),则尾假设等价于 U∈RVξ。可以用标准 Pareto 变量 Yi(尾为 1/y)表示 Xi=dU(Yi);单调的广义逆保留排序,因此这个表示允许原样本出现并列值。设 Tn=Y(n−k),实际上

Tnn/k⟶1依概率.

证明只需二项计数。对固定 0<ε<1,在 (1+ε)n/k 以上的 Yi 数量均值为 k/(1+ε),在 (1−ε)n/k 以上的数量均值为 k/(1−ε);要使第 k+1 大门槛越过错误的一侧,计数必须偏离均值至少常数倍的 k。对这类计数 B,将Markov 不等式用于 (B−EB)2,并用二项方差不超过均值,得

P(|B−EB|≥ck)≤Var(B)c2k2≤EBc2k2=O(k−1).

所以两侧偏差概率均趋零,特别地 Tn→∞ 依概率。

随机门槛上的条件表示也可直接验证,不能只引用固定门槛的无记忆性。设标准 Pareto 的密度为 f(y)=y−2,CDF 为 H,尾为 H―(t)=1/t。记门槛上方依次排序的值为 Z1<⋯<Zk。选择哪 n−k−1 个观测在 t 以下、哪一个处于 t、以及上方观测的次序,给联合密度

fT,Z(t,z)=n!(n−k−1)!H(t)n−k−1f(t)∏j=1kf(zj),t<z1<⋯<zk.

对上方次序区域积分得到

fT(t)=n!(n−k−1)!k!H(t)n−k−1H―(t)kf(t).

相除后,几乎每个 t 的条件有序密度为 k!∏jf(zj)/H―(t)k。令 zj=tvj,计入 Jacobian tk,便得

fV(1),…,V(k)∣T=t(v)=k!∏j=1kvj−2,1<v1<⋯<vk.

它与 t 无关,正是 k 个独立标准 Pareto 比值排序后的密度。把这些值随机打乱即可取成未排序的独立样本;对 Hill 的求和,排序本来就没有影响。这也验证了上面精确 Pareto 的指数和表示。

因此给定 Tn 后,可以使用不依赖门槛的标准 Pareto 比值样本 Vj。Potter 界说明:对任意 ε>0,A>1,当 Tn 足够大时,全部 v≥1 都满足

|log⁡U(Tnv)U(Tn)−ξlog⁡v|≤log⁡A+εlog⁡v.

平均后,Hill 估计量与 ξk−1∑jlog⁡Vj 的差被 log⁡A+εk−1∑jlog⁡Vj 控制。这个条件样本的联合律不依赖门槛,所以该平均与一列固定的 IID 率一指数变量之前 k 项平均同分布。大数定律因而使它依概率趋向一。最后让 A↓1、ε↓0,便得到一致性。这个证明只需一阶正则变化,不要求二阶偏差已经比标准误小。

渐近正态为何多出偏差项 ​

一种标准二阶条件是:存在最终非零且符号固定的 A(t)→0、ρ≤0,使

U(tx)/U(t)−xξA(t)⟶xξxρ−1ρ,x>0,

ρ=0 时右侧取 xξlog⁡x。在这一二阶条件下,若中间次序还满足 kA(n/k)→λ∈R,则

k(ξ^k,n−ξ)⇒N(λ1−ρ,ξ2).

偏差常数可以从对数超额展开理解:二阶修正对标准 Pareto 比值的平均为

∫1∞vρ−1ρdvv2=11−ρ.

下面补出随机门槛与余量控制。记 hρ(v)=(vρ−1)/ρ,并令 h0(v)=log⁡v。对固定 v 对数展开,将二阶条件改写为

log⁡U(tv)−log⁡U(t)−ξlog⁡vA(t)⟶hρ(v).

把对数增量在 xy 与 x 处相减,除以基准 tx 的 y≠1 增量,得到 A(tx)/A(t)→xρ。若原来的 A 未声明可测,可先换为

A~(t)=log⁡U(2t)−log⁡U(t)−ξlog⁡2hρ(2)∼A(t).

它可测且最终非零、符号固定,不改变二阶条件或 kA(n/k)→λ。以下仍记作 A,此时 |A|∈RVρ,统一收敛定理与已证 Tn/(n/k)→1 给

A(Tn)A(n/k)⟶1依概率.

还需一个比逐点展开更强的分析输入。Drees–de Haan–Resnick 的 Theorem 1 证明中式 (3.1) 给出:在上述二阶条件下,对每个 δ>0,

supv≥1v−δ|log⁡U(tv)U(t)−ξlog⁡v−A(t)hρ(v)|=o(|A(t)|).

这是本页明确采用的带权一致余量定理,包含 ρ=0;其分析证明援引原文所列的二阶变化引理。本页不把它当成一般逐点收敛的自动推论,也不将光滑 Hall 型幂修正当作整个二阶类的证明。

固定 0<δ<1,把上式余量写成 A(t)rt(v),使 |rt(v)|≤η(t)vδ,其中 η(t)→0。给定 Tn=t,上方未排序的 k 个比值的条件联合律是独立标准 Pareto 的乘积,且与 t 无关;因此可用独立于 Tn 的 V1,…,Vk 表示其和。Hill 的精确表示变成

ξ^k,n=ξk∑j=1klog⁡Vj+A(Tn)1k∑j=1khρ(Vj)+A(Tn)1k∑j=1krTn(Vj).

log⁡Vj 是独立率一指数变量,中心极限定理给

k(1k∑jlog⁡Vj−1)⇒N(0,1).

又有 Ehρ(V)=1/(1−ρ),在 ρ=0 时就是 Elog⁡V=1;大数定律给相应平均的收敛。因为 EVδ=1/(1−δ)<∞,其样本平均有界于概率意义,而

|kA(Tn)1k∑jrTn(Vj)|≤|kA(Tn)|η(Tn)1k∑jVjδ⟶0依概率.

由 kA(Tn)→λ,再用Slutsky 定理,就得到所述中心为 λ/(1−ρ)、方差为 ξ2 的正态极限。这里不需要两个样本平均相互独立。精确 Pareto 的二阶误差可能恒为零,不符合“最终非零”的 A 表述,但其上面的精确指数和公式另行直接给出中心为零的 CLT。

估计量渐近正态在这里可能带非零中心。只有 λ=0 等偏差可忽略情形,才可直接使用以 ξ^ 为中心、标准误约为 ξ^/k 的通常近似;它仍是中间次序渐近结论,不认证八个数据或某个固定 k 的正态误差。

参考资料
  • Richard L. Smith and Ishay Weissman, 《Extreme Values》,§2.5.2 的 Pareto 尾似然及光滑 Hall 型尾修正;该节的可微假设比正文的一般二阶条件强,不能独自支持全部 ρ≤0 的结论。
  • Holger Drees、Laurens de Haan、Sidney Resnick,How to make a Hill Plot,所读为 1998 年 7 月最终稿;§2 条件 (2.2)、Theorem 1 及其证明中的 (3.1)。正文精确采用带权一致余量,并另给随机门槛下的点态 CLT 推导,未声称重证其更强的整个 Hill 过程近似。
  • Léo R. Belzile, EVA 2023:Semiparametric methods and Hill estimation,二阶正则变化下的正态极限与门槛敏感性。
关系图谱29 个相邻概念 · 3 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
分类位置

上位 / 更一般

下位 / 直接特例

暂未标注直接特例。

类型化关系