Skip to content

错误发现率与 Benjamini–Hochberg

False discovery rate · Benjamini–Hochberg procedure · FDR

控制错误拒绝占全部拒绝比例期望的多重检验准则与步升程序。

领域
统计学
条目类型
定义

形式陈述

R=|R| 为拒绝数,V=|RI0| 为错误拒绝数。错误发现比例

FDP=VR1,

错误发现率

FDR=E[FDP].

没有拒绝时分母用一使 FDP 为零。FDR 是随机比例的期望,不是 E[V]/E[R]

BH 程序

将有效p 值排序 p(1)p(m),给定目标 q,取

k=max{j:p(j)jq/m},

若集合非空则拒绝前 k 个假设,否则不拒绝。它是 step-up:某个较大秩通过后,其前更小 p 值全部拒绝。

在真实零 p 值独立且有效、并与其他 p 值满足标准独立条件时,

FDRqm0mq.

在 PRDS 等正依赖下仍有控制;任意依赖需 Benjamini–Yekutieli 调整等更保守方法。

直觉

BH 不要求每一次拒绝都正确,而是控制重复实验中“错误发现占全部发现的比例”的期望。排序阈值会随已接受的发现数放宽:证据很强的前几项可以为后续项提供更大的临界值,但整条阶梯仍由预先给定的 q 约束。

例子与边界

m=5,q=0.1,排序 p 值 (0.01,0.03,0.045,0.20,0.40),阈值 (0.02,0.04,0.06,0.08,0.10)。最大通过秩为 3,因此拒绝前三个。注意第二项通过并不要求第四项通过;算法取最大通过秩。

控制机制与 adjusted p 值

独立情形把 FDR 分解为

iI0E[1{iR}R1].

将一个真实 p 值设为零并利用 step-up 的自洽性,可把每项界为 q/m,总计 m0q/m。这一步依赖真实 p 值的超均匀性及合适独立/正依赖结构。

BH adjusted p 值从后向前计算:

p~(j)=minkjmkp(k)1.

后缀最小保证调整值单调。本例前三个均不超过 0.075,第四个为 0.25,因此目标 q=0.1 时拒绝前三项。

边界

“FDR 10%”不表示本次三个发现中恰有 0.3 个错误,也不保证每次 FDP 不超过 10%。它是重复实验的期望准则,单次 FDP 可能很高。

负依赖、选择性过滤或经过数据依赖权重处理的 p 值可能破坏普通 BH 证明。过滤若独立或满足特定结构可安全使用,否则需联合校准。

无效的单项 p 值不会被 BH 修复。可选停止、模型选择和事后扩展发现集合都会改变输入或 R,V 的定义,必须把完整流程纳入保证。

FDR 与FWER不同:前者允许在发现多时容忍少量错误,后者控制任何错误发生。选择哪个准则应由损失和应用风险决定。

推论与应用

基因组、成像和大规模 A/B 指标常使用 BH。它与控制“至少一次错误”的FWER 方法回答不同风险问题;应用时应先选择与损失相符的错误准则,再核对 p 值有效性和依赖条件。

BH 的 self-consistency 可写为 R={i:piqR/m}。这说明每个发现共享由最终拒绝数决定的自适应阈值:发现越多,允许阈值越宽;证明必须同时处理这个随机 R,不能把它当固定常数。

扩展地图

任意依赖下,Benjamini–Yekutieli 把阈值除以 Hm=i=1m1/i,以约 logm 的功效代价换取稳健控制。加权或分层 BH 可以利用外部协变量提高功效,但权重需预先归一化,并与对应真实零 p 值保持所需独立性;数据驱动权重通常要靠样本切分或 independent hypothesis weighting 一类条件校准。

Storey 方法估计 π0=m0/m 后放宽阈值,q-value 则表示使某项进入发现集所需的最小目标 FDR。二者都依赖额外估计条件;q-value 类似 adjusted p 值,却不是“该项为假发现”的后验概率。后者属于 local false discovery rate P(Hi nullZi=z),需要零与备择的混合模型。

online FDR 处理按时间到达的假设,阈值 αt 只能依赖过去信息;LORD、SAFFRON 等程序通过 alpha-wealth 维持序贯约束。把离线 BH 反复应用于不断增长且可选择停止的列表,并不自动获得 anytime 保证。

若目标是让单次实验的 FDP 以高概率不超过阈值,应改用 FDP tail control 或 simultaneous FDP bounds。它们控制的对象比期望 FDR 更强,通常也会牺牲发现数,不能作为普通 BH 的同义改写。

参考资料
  • Yoav Benjamini and Yosef Hochberg, “Controlling the False Discovery Rate,” JRSS B 57(1), 1995。
  • Yoav Benjamini and Daniel Yekutieli, “The Control of the FDR under Dependency,” Annals of Statistics 29(4), 2001。
  • Christopher Genovese and Larry Wasserman, “Operating Characteristics and Extensions of the FDR Procedure,” JRSS B 64(3), 2002。
关系图谱4 个相邻概念 · 2 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
类型化关系