形式陈述
考虑两个简单假设之间的统计假设检验理路统计假设检验Statistical hypothesis test · Test function在零假设与备择假设之间作出随机化决定,并对零假设下拒绝概率实施一致控制。: 对 。本页先取 IID 观测,两个不同的单次分布有共同支配密度 ,并假设它们相互绝对连续。观测依次到达,累计似然比理路似然函数Likelihood function固定可观测数据后,由共同支配密度定义、仅在参数间作相对比较的似然函数。
选边界 :若 停止并拒绝 ;若 停止并接受 ;居中则继续。停止时间
相对于观测过滤是停止时刻理路停时Stopping time · 停止时刻是否已经发生可由当前信息判断、因而不依赖未来的随机时刻。。
Wald 近似边界为 、,目标第一、第二类错误分别为 。离散步长会越界,实际错误通常只近似目标,可用精确递推或模拟校准。
直觉
每个观测把 log likelihood ratio 增加
当对数比在两个分布下可积时,在 下其均值是KL 散度理路KL 散度Kullback–Leibler divergence · Relative entropy同一可测空间上分布 P 相对于 Q 的对数 Radon–Nikodym 导数在 P 下的积分。 ,轨迹倾向上边界;在 下均值为 ,倾向下边界。这里的对数与 KL 都取自然对数。困难样本会在中间徘徊,自动收集更多数据。
Bernoulli 时,成功增加 ,失败增加 。证据逐步加总,不是每一步重新做独立固定样本检验。
实现时递推 。每个观测完成两次对数密度求值后,只需常数次算术运算和边界比较;保存累计对数比与样本计数即可,无需保留全部观测。密度求值的成本、数值精度及计数器位宽应另计,总处理量取决于数据决定的停止次数 。
与固定样本检验的关系
Wald–Wolfowitz 最优性比较的是两个 IID 简单假设下的序贯检验,并以所选 SPRT 实际达到的两类错误概率为约束。在相应停止与期望有限条件下,任何两类错误都不更大的竞争检验,在 和 下的期望样本量都不会更小。近似边界公式中的名义 不能直接冒充实际错误概率。这是关于完整停止规则的结论,不是NP 引理理路Neyman–Pearson 引理Neyman–Pearson lemma简单零假设对简单备择下,给定显著性约束时似然比阈值检验具有最大功效。的固定样本复述。
例子与边界
错误界与期望样本量
若忽略越界 overshoot,、 来自终止似然比的两点近似。严格控制使用 likelihood-ratio martingale 与可选停止;离散增量使实际终值越过边界,因此公式只是近似。
取 且 ,log 边界约 。成功增量 ,失败增量 。连续八次成功使轨迹到 并拒绝;成功失败交替则证据抵消并继续。
在 下单步平均增量为 ,期望样本量近似
两假设越近,KL 越小,平均等待越长。这是序贯效率的定量来源。
边界与失败情形
普通固定样本 p 值反复查看并停止不等于 SPRT,会膨胀错误率。SPRT 边界、假设和停止规则必须预先规定。
真实分布位于 之间时,停止时间可能很长;必须设计最大样本量、截断规则及相应再校准。依赖观测会破坏独立似然乘积。
截止时强制决定会改变两类错误,不能沿用无限期 SPRT 的保证。自适应抽样还要使用给定历史的条件 likelihood ratio;忽略动作机制可能破坏鞅性质。
复合假设的 mixture SPRT、GLR 序贯检验需先验或估计 nuisance 参数,各有不同保证。
在本页的 IID 与绝对连续假设下,,下一项比值又独立于过去,所以似然比过程在 下是非负均值一鞅。因此 Ville 不等式理路Ville 不等式Ville's inequality · Ville inequality非负上鞅在无限时间内达到给定水平的概率,由初始期望除以该水平控制。给
只用上边界即可构造 anytime-valid 检验;双边 SPRT 还要同时设计接受错误。这个鞅界不要求预先固定查看次数,却要求 likelihood ratio 条件正确。
实际试验常采用 group sequential:只在若干预定 information times 查看统计量。Pocock 边界近似均匀分配严格程度,O'Brien–Fleming 早期更严、后期接近固定样本阈值。两者不是 SPRT 的简单离散化,需整体计算 alpha spending。
expected sample size 最优性针对两个简单假设和给定错误上限。加入观察成本、延迟结局、批量采样或第三种行动后,动态规划可能给不同边界。
报告序贯结果应包含计划边界、实际停止时刻、越界方向、最大样本规则和是否存在未成熟结局。只报告停止时普通 p 值会抹掉路径依赖。
若两类错误代价不对称,边界距离也应不对称:更严格控制误拒 会提高上边界,通常延长在 下作出拒绝所需证据。边界设计把错误预算转成样本量权衡,不存在同时无限降低两类错误且不增加观测的免费选择。
SPRT 接受 是在指定 与 二点决策中选择前者,不证明现实参数精确等于 。indifference region 的选择决定“接受”实际含义。
推论与应用
固定起点与未知改变起点会产生不同的预算。CUSUM理路CUSUM 变点检测CUSUM change detection · Page CUSUM · 累积和变点检测对所有可能的改变起点取最大似然比,用可重置递推监测分布变化,并以运行长度而非无限期错误概率校准阈值。把从各个可能起点到现在的似然积取最大,失败证据足够多时允许重置;SR理路Shiryaev–Roberts 变点检测Shiryaev–Roberts detection · Shiryaev-Roberts procedure · SR 变点检测 · Generalized Shiryaev–Roberts procedure对每个可能改变起点的似然比求和,以带新增单位预算的递推监测变化,并通过有界停止证明平均误报等待下界。则把这些积相加。重启或新增候选并不继承本页固定似然过程的无限期错误界。在正常成功概率、改变后的CUSUM例子中,阈值的平均误报等待为,但最终误报概率仍为一;应明确比较的是错误概率还是平均运行长度。
SPRT 把固定样本的Neyman–Pearson 引理理路Neyman–Pearson 引理Neyman–Pearson lemma简单零假设对简单备择下,给定显著性约束时似然比阈值检验具有最大功效。作为对照,却把证据过程与停止规则一并纳入检验设计。其 likelihood-ratio 鞅进一步通向随时有效的证据过程理路检验鞅与 e-processTest martingale · Test supermartingale · e-process · 检验上鞅区分固定时刻的 e 值与可在停时读取的证据过程,并用非负检验上鞅构造随时有效检验。;逐个候选参数反演这种检验可得到置信序列理路置信序列Confidence sequence · Anytime-valid confidence sequence · 时间一致置信序列一列随数据更新的随机置信集合,以规定概率在所有时间同时覆盖同一个固定参数目标。;普通固定样本p 值理路p 值p-value在零假设下校准的证据统计量,其小值事件的概率不超过对应阈值。若被反复查看则没有这项保证。复合假设、分组查看与强制最大样本量都需要重新校准,不能只保留原边界数字。
参考资料
- Abraham Wald, Sequential Analysis, Wiley, 1947。
- Abraham Wald and Jacob Wolfowitz, “Optimum Character of the Sequential Probability Ratio Test”, The Annals of Mathematical Statistics 19(3), 1948, pp. 326–339;实际错误概率约束下的期望样本量最优性。
- David Siegmund, Sequential Analysis, Springer, 1985。
- Tze Leung Lai, “Sequential Analysis: Some Classical Problems and New Challenges,” Statistica Sinica 11, 2001。