“这也是为什么“删掉一些发现总会更保守”不适用于错误比例:删除的可能是真发现,分母下降得比错误数更快。若希望任意事后选择集合并获得高概率比例上界,应使用同时 FDP 保证。”
看完一批结果以后,研究者常想按效果大小、成本或空间位置重选一组值得跟进的候选。普通 FDR 程序保证的是它自己产出的集合;随意删改这个集合,错误比例可能上升。另一种交付方式是:允许选择任何集合,同时给每个集合一张错误数量上界。
这里的“同时”是整项保证的关键。不是对一个固定集合有效,再把它套到事后挑出的集合;而是在同一个概率至少为
形式陈述
保留未被排除的子集
沿用闭合检验的
它是
由此报告
以及真发现数至少为
直觉
同一个事件保护所有选择
若全部零假设都为假,即
局部有效性给出
现在固定一份数据,并假设它落在
证明中的“任意”是在同一份数据、同一个事件内部使用的,所以之后可以令
这不是参数的后验概率,也不表示本次上界一定正确。它说按这一完整规则重复实验时,所有集合一起获得正确上界的概率至少为
例子与边界
无法认出哪一项,却能确认至少两项
取三个零假设,各有 e 值
在
| 子集大小 | 局部乘积 | 局部/闭合拒绝 |
|---|---|---|
| 1 | 6 | 所有单项都不拒绝 |
| 2 | 36 | 所有二元交集都拒绝 |
| 3 | 216 | 三元交集拒绝 |
二元交集上面只剩三元交集,它也通过,所以二元拒绝确实是闭合拒绝。单项仍因自身证据不足而失败。
对
这个结果不矛盾:“至少两个是真的信号”没有指定哪两个。若把它写成“前两项均可靠”,就添加了证明没有给出的定位信息。
依赖条件必须留在交集检验里
上例的独立性是局部乘积合法的条件。如果三个 e 值始终相同,并以概率
遇到任意依赖可以换用平均 e 值或 Bonferroni 局部 p 检验,再执行同一套闭合与上界算法。同时保证的逻辑仍成立,但发现能力可能不同。不能保留独立乘积的好看数字而删去它的条件。
推论与应用
对照 FDR:期望与同时高概率
普通 FDR 控制
若目标是选一个 FDP 不超过
的
固定
小规模枚举与子集最大值变换
先以闭合页的
依次处理元素
处理完前
输出时可同时保存一个达到最大值的未拒绝子集作为见证。它不是“这些项已经被证明为真零”,而是解释当前规则为何无法把上界再缩小。
自测。 上例选择
参考资料
- Jelle J. Goeman and Aldo Solari, Multiple Testing for Exploratory Research, 2011,arXiv:1208.2841v2,§2 “Non-consonant closed testing”、式(1)与 Table 1:从未闭合拒绝子集构造同时错误数上界。本文
乘积例和子集最大值算法单独展开核验。 - Vladimir Vovk and Ruodu Wang, Confidence and discoveries with e-values, Statistical Science, 2023,e 值交集检验与发现数量保证的联系。本文不假定该文的专用计算捷径。