Kolmogorov–Smirnov 检验

形式陈述

观测值是否符合一条事先给定的分布曲线？单样本 Kolmogorov–Smirnov 检验是一种拟合优度检验。设 $n\ge1$ ， $X_1,\ldots,X_n$ 为独立同分布样本，要检验

H_0:F=F_0,

其中 $F_0$ 是事先完全指定的连续分布函数，不含用这批样本拟合的未知参数。以经验分布函数 $F_n$ 定义

D_n=\sup_{x\in\mathbb R}|F_n(x)-F_0(x)|.

大值意味着经验曲线至少在某处离原假设很远，因此拒绝域取 $D_n>c_{n,\alpha}$ 。若临界值按原假设分布选到 $P_0(D_n>c_{n,\alpha})\le\alpha$ ，检验水平就不超过 $\alpha$ 。

令 $u_i=F_0(X_{(i)})$ ，其中 $X_{(i)}$ 为次序统计量。在原假设下几乎必然没有并列，且

D_n^+=\max_{1\le i\le n}\left(\frac in-u_i\right),\qquad D_n^-=\max_{1\le i\le n}\left(u_i-\frac{i-1}{n}\right), \qquad D_n=\max(D_n^+,D_n^-).

这两个最大值分别检查经验阶梯跳跃之后和之前，少查一侧会改变统计量。

直觉

经验分布是一条每次上升 $1/n$ 的阶梯； $F_0$ 是要比较的曲线。KS 只问整张图上最宽的垂直缝隙有多大，不把不同位置的缝隙相加。Cramér–von Mises 检验则按总体概率累积平方缝隙；一处较大偏差与多处持续偏差，可能让两种统计量给出相反的异常程度排序。

连续原假设允许把横轴换成概率坐标 $u=F_0(x)$ 。不论原来的单位是秒、米还是别的量，变换后的观测在原假设下都是独立均匀点，参考曲线都变成对角线。因此临界值只依赖样本量和显著性水平，而不依赖 $F_0$ 的具体形状。

“分布无关”来自这个精确变换，绝不是说原假设可以随便改、数据可以相关，或者参数可以在同一批数据上任意估计。

例子与边界

五个点，左右两侧都要看

假设原假设为单位区间均匀分布，排序后的数据是

0.08,\ 0.26,\ 0.49,\ 0.72,\ 0.95.

跳跃后差值 $i/5-u_i$ 依次为 $0.12,0.14,0.11,0.08,0.05$ ；跳跃前差值 $u_i-(i-1)/5$ 依次为 $0.08,0.06,0.09,0.12,0.15$ 。因此

D_5^+=0.14,\qquad D_5^-=0.15,\qquad D_5=0.15.

最大的负向差发生在最后一个点的左侧极限。只计算 $|i/n-u_i|$ 会误报为 $0.14$ 。

三种校准不能混称“精确”

第一种直接使用 $n$ 个独立均匀点得到的 $D_n$ 分布，可计算精确有限样本临界值。也可用原假设模拟近似这个分布，但有限模拟本身有误差；若采用包含原样本在内的交换秩 Monte Carlo 检验，需要按该程序的秩规则计算 $p$ 值。

第二种使用 DKW 不等式：取

c_{n,\alpha}=\sqrt{\frac{\log(2/\alpha)}{2n}}

便有有限样本水平上界 $\alpha$ ，但一般偏保守。

第三种使用下面的桥极限，例如大样本 $5\%$ 临界值约为 $1.3581/\sqrt n$ 。这是渐近校准，不是每个 $n$ 的精确分位数。三种方法可能给出相近数值，却有不同的保证。

拟合参数与离散总体

若先估计正态均值、方差，再比较 $F_n$ 与 $\Phi((x-\bar X)/\widehat\sigma)$ ，拟合已经让两条曲线更接近。变换后的点不再是独立均匀样本，标准 KS 表不能原样使用；须针对估计过程重新校准，例如在每次原假设模拟中重新拟合参数。

若 $F_0$ 离散， $F_0(X_i)$ 也不均匀。 $D_n$ 仍可定义，但精确原假设分布依赖跳跃大小。此时可以按那个离散原假设模拟，或使用仍适用的 DKW 保守界，不能套连续分布无关的精确表。

推论与应用

为什么最大差只需检查跳跃两侧

在两个相邻样本之间， $F_n$ 固定， $F_0$ 单调增加。于是 $F_n-F_0$ 在区间左端最大， $F_0-F_n$ 在右端左极限最大。遍历所有区间，并检查两端无穷远处为零的差，就得到上面的两个有限最大值公式。

连续 $F_0$ 下的概率积分变换给出 $U_i=F_0(X_i)\sim\operatorname{Unif}(0,1)$ 。连续分布即使有平坦段，也只会在原假设概率零的空区间上不严格增加；这不影响统计量的几乎处处变换及分布无关性。

从指数间距走到经验 Brownian 桥

这里需要整条经验曲线的极限，不能只对每个固定阈值应用中心极限定理。下面把它还原为已经证明的随机游走极限。

令 $m=n+1$ ，取独立率一指数变量 $E_1,\ldots,E_m$ ， $S_j=\sum_{k=1}^jE_k$ 。均匀间距的指数表示说明 $(S_1/S_m,\ldots,S_n/S_m)$ 与均匀样本的有序值同分布。令 $Q_n$ 连接点 $(j/m,S_j/S_m)$ ， $0\le j\le m$ ，作严格递增的分段线性插值。

对中心化增量 $E_j-1$ 应用随机游走 Donsker 定理。若 $W_m$ 是归一化中心化部分和的线性插值，则在连续路径的一致范数下

R_n(t):=\sqrt m\,[Q_n(t)-t] =\frac{W_m(t)-tW_m(1)}{S_m/m} \ \Rightarrow\ W(t)-tW(1)=B(t).

分母趋于一，极限是标准 Brownian 桥。因此 $\|Q_n-\operatorname{id}\|_\infty=O_P(m^{-1/2})$ ，逆函数也与恒等函数一样近，并且有精确关系

\sqrt m\,[Q_n^{-1}(t)-t]=-R_n(Q_n^{-1}(t)).

$R_n$ 收敛到连续过程意味着其小尺度振荡统一可控；将趋于恒等的随机时间代入，不改变极限。因此右边与 $-R_n(t)$ 的一致距离依概率趋于零。

若 $G_n$ 是对应均匀样本的经验分布，则在每个相邻有序点之间直接比较可得

\|G_n-Q_n^{-1}\|_\infty\le\frac1{n+1}.

于是 $\sqrt n(G_n-\operatorname{id})$ 与一列收敛到 $-B$ 的连续过程一致接近。 $-B$ 与 $B$ 同分布，故最大值泛函给出

\sqrt nD_n\Rightarrow K:=\sup_{0\le t\le1}|B(t)|.

经验过程自身有跳跃，不能把它直接当作 $C[0,1]$ 的元素；上面的连续近似说明了为何仍可对一致连续的路径泛函取极限。

桥的最大值给出渐近临界值

标准桥的双侧最大值分布为，对 $z>0$ ，

P(K\le z)=1-2\sum_{j=1}^{\infty}(-1)^{j-1}e^{-2j^2z^2}.

这一桥穿越公式可由两侧反射或越界路径分解得到；本页将它作为桥最大值的已知公式使用。代入 $z\approx1.3581$ 得到约 $0.95$ 的累计概率。决定 KS 渐近分布的是整条桥的最大偏离，而非某个固定位置的普通正态变量。

参考资料

James W. Pitman，记录 Tianbing Chen，《Brownian Bridge》，Stat 205B Lecture 22，Theorem 22.2 与第 3 页指数有序值表示的证明思路。
Mihael Perman and Jon A. Wellner, 《An Excursion Approach to Maxima of the Brownian Bridge》，§3.1，桥绝对最大值的级数分布。

形式陈述 ​

五个点，左右两侧都要看 ​

三种校准不能混称“精确” ​

拟合参数与离散总体 ​

为什么最大差只需检查跳跃两侧 ​

从指数间距走到经验 Brownian 桥 ​

桥的最大值给出渐近临界值 ​

反向链接