形式陈述
有三个或更多独立组时,怎样把两组秩比较扩展成一个整体检验?设 k ≥ 2 个组相互独立 理路 独立性 Statistical independence 从概率表理解独立性,区分两两、相互和条件独立,并用可计算反例澄清零协方差与条件均值的限度。 ,第 i 组有 n i ≥ 1 个独立同分布观测 理路 独立同分布样本 IID sample · Independent and identically distributed sample 以乘积分布描述来自同一总体的独立重复观测。 ,总样本量 N = ∑ i n i 。Kruskal–Wallis 检验 理路 统计假设检验 Statistical hypothesis test · Test function 在零假设与备择假设之间作出随机化决定,并对零假设下拒绝概率实施一致控制。 的原假设为
H 0 : F 1 = F 2 = ⋯ = F k , 先假设共同分布连续,因而没有并列。把全部观测合并,按大小顺序 理路 顺序统计量 Order statistic 有限样本按键排序后第 k 个位置的值,保留重复出现的次数。 赋秩 1 , … , N ,记第 i 组秩和为 R i 、平均秩为 r ¯ i = R i / n i 。定义
H = 12 N ( N + 1 ) ∑ i = 1 k R i 2 n i − 3 ( N + 1 ) = 12 N ( N + 1 ) ∑ i = 1 k n i ( r ¯ i − N + 1 2 ) 2 . H 大时拒绝共同分布假设。有限样本可按保持组大小的标签置换 理路 置换检验 Permutation test · Group-invariant randomization test 利用零假设下数据对一组变换的分布不变性,构造有限样本精确检验。 精确校准;当 k 固定且 n i / N → λ i > 0 时,在原假设下
H ⇒ χ k − 1 2 . 此处 ⇒ 指依分布收敛 理路 依分布收敛 Convergence in distribution · Weak convergence 分布函数在极限分布连续点处收敛的随机变量收敛概念。 ,极限为卡方分布 理路 卡方分布 Chi-square distribution · Chi-squared distribution · χ² distribution 若干独立标准正态变量平方和的分布,以自由度记录独立平方方向的数量。 。预先固定 0 < α < 1 与校准方案后,精确标签尾概率不超过 α 时拒绝,或在上述渐近条件下按 χ k − 1 2 的 1 − α 分位数拒绝,构成两种统计检验程序。后者仅有渐近 level,不能给任意小样本精确保证。
直觉
先去掉原始单位,只保留谁比谁大。共同分布下,每个组的平均秩都应该围绕总体平均秩 ( N + 1 ) / 2 摆动。检验把各组平均秩的偏移平方,再按组大小加权合起来。
平方让一组偏大和另一组偏小不会抵消。只有 k − 1 个独立偏移方向,因为全部秩和固定为 N ( N + 1 ) / 2 :某些组多占了大秩,其他组必然相应少占。
这解释了为什么它类似方差分析,却不能简单称为“无条件检验多个中位数相等”。它的基本参考分布来自所有组总体相同;只有额外限定共同形状的位置模型时,才可把偏移解释成中位数差异。
例子与边界
三个两人组,精确概率和卡方近似不同
取 A = ( 1 , 2 ) 、B = ( 3 , 4 ) 、C = ( 5 , 6 ) 。合并秩和分别是 3 , 7 , 11 ,所以
H = 12 6 ⋅ 7 ( 3 2 2 + 7 2 2 + 11 2 2 ) − 21 = 32 7 ≈ 4.5714 . 固定三个组各有两个位置,一共有 6 ! / ( 2 ! 2 ! 2 ! ) = 90 种标签分配。这个 H 是最大可能值:让每个组占据一个相邻两秩块,才能使组均值分离得最远。三个块分给三个组共有 3 ! = 6 种,因此精确上尾 p 值为
p = 6 90 = 1 15 ≈ 0.0667 . 若硬套 χ 2 2 近似,则上尾概率为 e − H / 2 = e − 16 / 7 ≈ 0.1017 。两者都未到 5 % ,但数值差别明显。样本小的时候,渐近表不能代替可直接枚举的精确分布。
同均值、同中位数都不是一般原假设
总体位置、尺度和形状都可能影响平均秩。在共同形状平移模型下,组位置变化往往会造成平均秩变化;没有这个模型时,拒绝共同分布不能自动说成“某两个均值不相等”或“某两个中位数不相等”。
反过来,某些不同但都关于同一点对称的分布,组间成对胜出率可能仍为一半,平均秩检验对这类形状差异未必敏感。它并不是对每一种分布差异都具有一致检出能力的万能检验。
并列值的修正
并列观测使用平均秩。若各并列块大小为 t a ,令
C = 1 − ∑ a ( t a 3 − t a ) N 3 − N . 用平均秩代入原式算出 H ,常用修正统计量为 H / C 。C 来自并列导致的秩方差缩小,下面给出原因。条件标签置换可直接按实际平均秩计算参考分布,不要求“没有并列”。
若所有值相同,则 C = 0 ,平均秩没有任何组间信息,H / C 未定义。不能把 0 / 0 当成一个正常的卡方统计量。相关组、重复测量或区组设计也不满足任意组标签交换的条件。
推论与应用
卡方自由度从哪里来
原假设下,全部秩是一种均匀随机排列,各组取到的秩服从有限总体无放回设计 理路 有限总体抽样设计 Finite population sampling design 把有限总体数值固定、样本集合随机,区分一阶纳入机会与决定方差的联合抽取结构。 。单个秩均值为 ( N + 1 ) / 2 、方差 理路 方差 Variance 随机变量相对其均值的平方偏差期望,也是最佳常数平方预测的剩余误差。 为 ( N 2 − 1 ) / 12 ;两个不同位置的秩协方差 理路 协方差 Covariance 两个随机变量中心化乘积的期望,衡量线性共同变化。 为 − ( N + 1 ) / 12 。后者也可从全部秩之和恒定推出来。
因此
Var ( R i ) = n i ( N − n i ) ( N + 1 ) 12 , Cov ( R i , R j ) = − n i n j ( N + 1 ) 12 ( i ≠ j ) . 定义标准化组偏移
Z i = R i − n i ( N + 1 ) / 2 N ( N + 1 ) n i / 12 , v i = n i / N . 直接代入上式,Z 的协方差矩阵为 I − v v T ,且 v T Z = 0 。这个矩阵作正交投影 理路 正交投影 Orthogonal projection 把向量映到子空间上最近点并使误差与子空间正交的线性算子。 ,把向量投影到垂直于 v 的 k − 1 维空间,同时 H = ∑ i Z i 2 。
固定 k 、各组比例趋于严格正数时,有限总体秩和的联合中心极限定理给出该子空间上的标准正态极限。它适用的原因是秩总体 1 , … , N 的最大中心化平方相对总平方和为 O ( 1 / N ) ,且没有一个组在极限中消失。令 v N = ( n i / N ) i = 1 k ,则 v N → v ∞ = ( λ i ) i = 1 k 。这给出协方差 I − v ∞ v ∞ T 的奇异多元正态 理路 多元正态分布 Multivariate normal distribution · Multivariate Gaussian distribution · Jointly Gaussian vector 以所有线性组合都正态刻画联合高斯向量,并由特征函数连接线性构造、退化支撑、全维密度与条件分布。 极限。由连续映射定理 理路 连续映射定理 Continuous mapping theorem · Mann–Wald theorem 当可测映射的不连续点不承载极限概率时,沿它推前保留弱收敛;阈值映射说明边界质量为何决定成败。 把它送入平方范数;选取极限子空间的一组正交坐标,得到 k − 1 个独立标准正态坐标,其平方和就是 χ k − 1 2 。
这才是卡方近似的机制。“每组至少五个”之类经验规则不是精确保证,也不能覆盖组数一起增加的情形。
并列为什么除以同一个因子
无并列的中心化秩平方和为 N ( N 2 − 1 ) / 12 。把 t 个相邻秩换成其平均值,平方和减少 ( t 3 − t ) / 12 。因此总平方和恰乘以 C ,固定平均秩上的置换协方差也乘以 C 。二次统计量除以 C 才恢复相应方差尺度。
这个修正调整的是二阶尺度,并不让小样本分布突然变成精确卡方;大量并列时尤其应保留实际条件置换校准。
两组时与秩和检验的联系
取 k = 2 ,组大小为 m , n 。采用 Mann–Whitney 的 $Y$ 胜出计数 理路 Wilcoxon–Mann–Whitney 秩和检验 Wilcoxon rank-sum test · Mann-Whitney U test 用两组样本间的成对胜出次数或合并秩和检验共同分布,精确校准来自组标签交换,而中位数解释需要额外条件。 U ,令 Δ = U − m n / 2 。Y 组秩和偏移为 Δ ,X 组偏移为 − Δ ,代入可得
H = 12 Δ 2 m n ( N + 1 ) = ( U − m n / 2 ) 2 Var 0 ( U ) . 因此两组无并列时,它与未作连续性修正的秩和正态统计量平方完全一致。多组检验拒绝后,仍需另作事先规划或适当多重校正的组间比较;一个总体 p 值不会自动指出哪两组不同。
参考资料