Skip to content

方法Method

相关系数的 Fisher z 变换

Fisher z transformation · Fisher correlation transform

用反双曲正切稳定二元正态样本相关的一阶方差,再在变换尺度推断并返回相关尺度,明确 n−3 只是有限样本近似修正。

形式陈述 ​

样本相关越接近 ±1,它能向外波动的空间越小,怎样避免在原尺度上使用不合适的对称误差条?设 (Xi,Yi) 为独立同分布的非退化二元正态样本,总体相关 ρ∈(−1,1) 固定。对 n≥3,样本 Pearson 相关系数为

rn=∑i(Xi−X¯)(Yi−Y¯)∑i(Xi−X¯)2∑i(Yi−Y¯)2.

Fisher 变换定义为

z(r)=atanh(r)=12log⁡1+r1−r,−1<r<1.

严格的一阶渐近正态结论为

n[z(rn)−z(ρ)]⇒N(0,1).

实践中常对 n>3 使用 se{z(rn)}≈1/n−3,形成近似区间

[tanh(z(rn)−z1−α/2n−3),tanh(z(rn)+z1−α/2n−3)],

其中 zq 为标准正态分位数。n−3 是常用有限样本近似修正,不是上述一阶极限定理单独推出的精确方差,更不是精确正态分布声明。

直觉

相关系数挤在 (−1,1) 中,靠近边界时同样大小的变化具有不同含义。反双曲正切把两端拉向无穷,并在接近边界处拉得更强。

二元正态下,样本相关的一阶方差含因子 (1−ρ2)2;Fisher 变换的导数恰为 1/(1−ρ2),所以线性误差传播后,两者抵消。这就是“方差稳定”的具体机制。

回到相关尺度时必须把两个端点分别用 tanh 变回去。变换后的区间一般不再围绕 rn 对称,而且始终落在合法范围内;这种不对称是几何本身的结果。

例子与边界

三十个观测,相关为零点六 ​

取 n=30,r=0.6。变换值为

z(r)=12log⁡4=log⁡2≈0.693147.

使用 1/27 作为近似标准误、标准正态 97.5% 分位数 1.959964,变换尺度的区间为

[0.315952,1.070342].

对两个端点分别取 tanh,得到相关尺度的近似 95% 区间

[0.305842,0.789590].

它不是 0.6 加减同一个半宽。特别不能把 z 尺度上的常数标准误直接挪到 r 上;例如 r=0.9,n=30 时,错误地使用 r±1.96/n 会给出大于一的上界。

非正态下,方差未必被稳定成一 ​

取独立标准正态 U,V,另取独立正变量 R,使 R2 以各一半概率等于 1/2 或 3/2。令 X=RU,Y=RV。有 EX2=EY2=1、EXY=0,所以 ρ=0,但共同随机尺度使它们不是独立二元正态。

此时样本相关的一阶影响项是 XY,方差为

E(X2Y2)=ER4=(1/2)2+(3/2)22=54.

在零相关处 z′(0)=1,因此变换后的一阶方差系数仍为 5/4,不是一。存在有限四阶矩也不足以恢复 Gaussian 专属的单位系数。

边界、依赖与样本量 ​

n=2 时,非退化两点样本的相关绝对值恒为一,变换无穷;n=3 时常用的 n−3 修正也无法使用。总体 |ρ|=1 是退化边界,不属于本页固定内部参数的定理。

时间相关或簇相关样本的有效波动不能由原始行数直接代入。样本相关非常接近边界、模型偏离正态或样本很小时,也不能仅凭变换后的数值有限就认定正态近似已经良好。

推论与应用

先推导相关系数的一阶误差 ​

相关不受分别平移与正比例缩放影响,所以证明时可设 EX=EY=0、EX2=EY2=1、EXY=ρ。令三项未中心化样本矩为

An=1n∑iXi2,Bn=1n∑iYi2,Cn=1n∑iXiYi.

样本中心化只会分别减去 X¯2,Y¯2,X¯Y¯,它们都是 OP(n−1),不改变根号样本量的一阶项。对 h(a,b,c)=c/ab 在 (1,1,ρ) 处展开,梯度为 (−ρ/2,−ρ/2,1)。因此

n(rn−ρ)=1n∑i=1nψ(Xi,Yi)+oP(1),ψ(x,y)=xy−ρ2(x2+y2),Eψ=0.

二元正态的四阶矩给出

EX2Y2=1+2ρ2,E[XY(X2+Y2)]=6ρ,E[(X2+Y2)2]=8+4ρ2.

例如写 Y=ρX+1−ρ2V、V 独立标准正态,再用 EX4=3 就能逐项验证。代入后

Eψ2=(1+2ρ2)−6ρ2+ρ24(8+4ρ2)=(1−ρ2)2.

独立同分布的影响项具有零均值与有限方差,中心极限定理给出 n(rn−ρ)⇒N(0,(1−ρ2)2)。

第二次线性化稳定方差 ​

由 Delta 方法,

z′(ρ)=11−ρ2,n[z(rn)−z(ρ)]⇒N(0,(1−ρ2)2(1−ρ2)2).

这就是单位方差的来源。一阶定理只区分 1/n 的主尺度,无法在 1/n,1/(n−1),1/(n−3) 这些同一阶表达中单独选出高阶修正。更精细的小样本近似需要进一步分析;不能把常用修正倒写成一阶证明的结果。

比较两个独立相关估计 ​

若两份样本彼此独立、各自来自二元正态模型,样本量为 n1,n2>3,则在两总体相关相等的原假设下,常用近似统计量为

z(r1)−z(r2)1/(n1−3)+1/(n2−3)≈N(0,1).

独立性使两份方差相加。若两个相关来自同一份数据、共享一个或多个变量,必须加入协方差项,不能把这条两独立样本公式直接套上。

参考资料
  • James E. Pustejovsky,《The multivariate delta method》,Pearson’s r 与 Fisher’s z 两节,样本二阶矩的 Delta 方法推导。
  • University of Washington, Patrick Heagerty 教材资料,《FisherZ》,二元正态大样本变换与 1/(n−3) 近似说明。
关系图谱17 个相邻概念 · 2 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
类型化关系