形式陈述
观测值是否符合一条事先给定的分布曲线?单样本 Kolmogorov–Smirnov 检验是一种拟合优度检验理路统计假设检验Statistical hypothesis test · Test function在零假设与备择假设之间作出随机化决定,并对零假设下拒绝概率实施一致控制。。设 , 为独立同分布样本理路独立同分布样本IID sample · Independent and identically distributed sample以乘积分布描述来自同一总体的独立重复观测。,要检验
其中 是事先完全指定的连续分布函数理路分布函数Cumulative distribution function · CDF实值分布在每个阈值左侧累积的概率,是非降右连续且端点极限为零和一的函数。,不含用这批样本拟合的未知参数。以经验分布函数理路经验测度Empirical measure · Empirical distribution把有限观测的重复频数编码为原子概率测度。 定义
大值意味着经验曲线至少在某处离原假设很远,因此对预设 ,拒绝域取 。若临界值按原假设分布选到 ,检验水平就不超过 。
令 ,其中 为次序统计量理路顺序统计量Order statistic有限样本按键排序后第 k 个位置的值,保留重复出现的次数。。在原假设下几乎必然没有并列,且
这两个最大值分别检查经验阶梯跳跃之后和之前,少查一侧会改变统计量。
直觉
经验分布是一条每次上升 的阶梯; 是要比较的曲线。KS 只问整张图上最宽的垂直缝隙有多大,不把不同位置的缝隙相加。Cramér–von Mises 检验理路Cramér–von Mises 检验Cramer-von Mises test · Cramér-von Mises statistic将经验分布与指定总体分布之间的平方误差按总体概率累积,得到有精确有序值公式的整体拟合优度统计量。则按总体概率累积平方缝隙;一处较大偏差与多处持续偏差,可能让两种统计量给出相反的异常程度排序。
连续原假设允许把横轴换成概率坐标 。不论原来的单位是秒、米还是别的量,变换后的观测在原假设下都是独立均匀点,参考曲线都变成对角线。因此临界值只依赖样本量和显著性水平,而不依赖 的具体形状。
“分布无关”来自这个精确变换,绝不是说原假设可以随便改、数据可以相关,或者参数可以在同一批数据上任意估计。
例子与边界
五个点,左右两侧都要看
假设原假设为单位区间均匀分布,排序后的数据是
跳跃后差值 依次为 ;跳跃前差值 依次为 。因此
最大的负向差发生在最后一个点的左侧极限。只计算 会误报为 。
三种校准不能混称“精确”
第一种直接使用 个独立均匀点得到的 分布,可计算精确有限样本临界值。也可用原假设模拟近似这个分布,但有限模拟本身有误差;若采用包含原样本在内的交换秩 Monte Carlo 检验,需要按该程序的秩规则计算 值。
第二种使用 DKW 不等式理路Dvoretzky–Kiefer–Wolfowitz 不等式Dvoretzky-Kiefer-Wolfowitz inequality · DKW inequality · DKW-Massart inequality经验分布函数在全部实数阈值上的最大误差具有统一有限样本指数界,可直接形成整条分布函数的置信带。:取
便有有限样本水平上界 ,但一般偏保守。
第三种使用下面的桥极限,例如大样本 临界值约为 。这是渐近校准,不是每个 的精确分位数。三种方法可能给出相近数值,却有不同的保证。
拟合参数与离散总体
若先估计正态均值、方差,再比较 与 ,拟合曲线已经依赖同一批样本。变换后的点不再是独立均匀样本,标准 KS 表不能原样使用;须针对估计过程重新校准,例如在每次原假设模拟中重新拟合参数。一个极小的反例是 、真实 ,却取 再比较拟合 CDF。拟合概率坐标恒为一,因而 ;在固定真 下,正确坐标 均匀, 几乎必然。若对拟合统计量沿用已知参数的连续尾概率,便会恒报零并错误拒绝。
若 离散, 也不均匀。 仍可定义,但精确原假设分布依赖跳跃大小。此时可以按那个离散原假设模拟,或使用仍适用的 DKW 保守界,不能套连续分布无关的精确表。
推论与应用
为什么最大差只需检查跳跃两侧
在两个相邻样本之间, 固定, 单调增加。于是 在区间左端最大, 在右端左极限最大。遍历所有区间,并检查两端无穷远处为零的差,就得到上面的两个有限最大值公式。
连续 下的概率积分变换给出 ,即均匀样本理路均匀分布Uniform distribution在有限集合或有限正测度区域上按计数或体积等比例分配概率的分布。。连续分布即使有平坦段,也只会在原假设概率零的空区间上不严格增加;这不影响统计量的几乎处处变换及分布无关性。
从指数间距走到经验 Brownian 桥
这里需要整条经验曲线的极限,不能只对每个固定阈值应用中心极限定理。下面把它还原为已经证明的随机游走极限。
令 ,取独立率一指数变量 ,。均匀间距的指数表示理路均匀样本的随机间距Uniform spacings · Dirichlet spacings把均匀样本连同两端点之间的间距合起来,得到单纯形上的均匀随机向量,也可由独立指数变量归一化生成。说明 与均匀样本的有序值同分布。令 连接点 ,,作严格递增的分段线性插值。
率一指数分布理路指数分布Exponential distribution具有恒定失效率和连续无记忆性的非负等待时间分布。给出 、,故可对这些中心化增量应用随机游走 Donsker 定理理路Donsker 不变性原理Donsker invariance principle · Functional central limit theorem for random walks有限方差的中心化独立同分布随机游走,经时间和空间缩放后,整条折线路径弱收敛到 Brownian 运动。。令 为归一化中心化部分和的线性插值。固定映射 在一致范数下连续,连续映射定理理路连续映射定理Continuous mapping theorem · Mann–Wald theorem当可测映射的不连续点不承载极限概率时,沿它推前保留弱收敛;阈值映射说明边界质量为何决定成败。给出
极限是标准 Brownian 桥理路Brownian 桥Brownian bridge · Pinned Brownian motion将 Brownian 运动的终点钉住后,剩余波动是协方差为 min(s,t)−st/T 的连续 Gaussian 桥。。另由可积指数样本的大数律理路强大数定律Law of large numbers · Strong law of large numbers · SLLN独立同分布且可积时,样本均值沿几乎每条无限样本路径收敛到共同期望。, 几乎必然;并有精确恒等式
这里分母随 变,不能直接当作固定路径映射。因为 ,有 。于是 ,严格递增逆函数也同样接近恒等函数,并满足
对固定 ,模连续度 在一致范数下是 -Lipschitz。因而由Portmanteau 闭集界理路Portmanteau 定理Portmanteau theorem · Portmanteau lemma · 移植定理把概率测度的弱收敛等价改写为开闭集不等式、半连续函数不等式与连续集上的测度收敛。,对每个 ,
最后一步来自桥路径在紧区间上一致连续。令 ,则 :先限制 ,使用固定 的振荡界,再令 。结合前一个比例误差界, 与 的一致距离依概率趋零。
若 是对应均匀样本的经验分布,则在相邻有序点之间直接比较可得
因此 ;其中 的系数误差也由 控制。对连续路径先用最大绝对值泛函,再把这个实值统计量的 误差用Slutsky 定理理路Slutsky 定理Slutsky's theorem依分布收敛随机量与依概率收敛常量组合时,和、积与合法商保持相应分布极限。消去,得到
经验过程自身有跳跃,不能把它直接当作 的元素;上述连续近似及标量误差控制说明了为何仍能取统计量的极限。
桥的最大值给出渐近临界值
标准桥的双侧最大值分布为,对 ,
这一桥穿越公式可由两侧反射或越界路径分解得到;本页将它作为桥最大值的已知公式使用。代入 得到约 的累计概率。决定 KS 渐近分布的是整条桥的最大偏离,而非某个固定位置的普通正态变量。
参考资料