Skip to content

方法Method

置换检验

施工中 · 内容逐步修订

Permutation test · Randomization test

利用零假设下数据对一组变换的分布不变性,构造有限样本精确检验。

形式陈述 ​

在统计检验中,设有限群 G 以可测变换作用于数据 x,零假设要求分布不变性:X=dgX 对每个 g∈G 成立。交换性是一种这样的对称条件,不能直接等同于独立性;某些抽样或随机分配模型会另外用独立假设来证明所需的不变性。给定大值不利的可测统计量 T,置换 p 值为

p(x)=1|G|∑g∈G1{T(gx)≥T(x)}.

在轨道上随机打乱得到的尾部比例是超均匀的,因此规则 p≤α 在有限样本下 level 不超过 α。在拒绝边界加入预先规定的独立随机化,可以精确达到选定水平。

直觉

置换检验不凭空假设一个参数分布,而是利用零假设下标签交换不会改变联合分布这一对称性。把观测数据固定后,所有允许置换形成条件参考分布;“允许哪些置换”由实验设计和交换性决定,而不是任意打乱都合法。

例子与边界

两样本例子 ​

若两组分别由同一分布独立抽样,且两组之间也独立,那么合并 n1+n2 个观测后,组标签条件于合并值在所有 (n1+n2n1) 种分配间等可能。对均值差逐一重标记即可得到精确零分布;仅有每个观测的边缘分布相同,不足以保证这项标签交换性。

保持这个标签机制而改用秩统计量,便得到Wilcoxon–Mann–Whitney 检验;多个独立组的平均秩二次对比则给出Kruskal–Wallis 检验。其有限样本参考来自共同分布,而非仅仅各组中位数相等。

精确性证明与计算轨迹 ​

条件于观测轨道 Ox={gx:g∈G},零假设下 X 在轨道元素间均匀。于是 T(X) 的秩也是离散均匀或在 ties 下超均匀,得到

P0{p(X)≤α∣OX}≤α.

再对轨道取期望即得无条件 level 控制。这个证明解释了为何必须用整个群作用或正确的随机化分布,而不是随意洗牌。

两样本例设组大小 2,2,合并观测 (1,2,5,6),均值差绝对值为 4。六种选两项作为第一组的分配中,只有原极端分割及其标签交换达到绝对差 4,所以双侧精确 p 值为 2/6=1/3。小样本离散性使 p 值不能任意小。

若与数据独立地从 G 均匀、有放回抽取 B 个相互独立的群元素,得到统计量 T1∗,…,TB∗,则使用

p^=1+∑b=1B1{Tb∗≥Tobs}B+1

把原排列纳入秩,避免报告不可能的零 p 值,并保持 Monte Carlo 检验校准。

边界 ​

精确性依赖交换性或指定随机化机制,不只依赖两组均值相等。异方差但均值相等时,原始标签通常不可交换,均值差置换检验未必有效;studentized permutation 可能渐近有效但不是同一有限样本定理。

配对设计应在配对内换符号或交换,聚类设计应置换整个集群。忽略设计单元会制造不存在的独立性。

在独立、关于零对称的配对差值模型下,Wilcoxon 符号秩检验固定绝对值秩并翻转公平符号。对称性保证符号与绝对值独立,不能只用中位数为零代替这个条件。

若先筛选变量、挑最大统计量再置换,必须在每个置换中重做筛选与最大化;只置换最终被选变量会低估选择造成的极端性。

置换分布可用于构造区间:对候选效应 τ0,先按 sharp null 调整观测并做随机化检验,再反演未拒绝的 τ0。Fisher sharp null 指每个单位处理效应完全指定,比“平均效应为零”强;两种零假设不可混用同一精确性声明。

在随机对照试验中,精确性来自已知 treatment assignment mechanism,即使响应不是 iid。观察性两样本比较则通常依赖组间交换性分布假设。相同置换代码可服务两种语境,但概率来源不同。

统计量选择影响 power 而不影响在不变性成立时的基本 level。均值差擅长位置移动,秩统计量对重尾更稳健,最大统计量适合稀疏坐标偏离。看完标签后挑统计量必须在置换中复制选择。

ties 会让轨道统计量重复。使用“至少同样极端”的计数产生保守 p 值;仅随机打破并列,得到的仍只是离散秩。若另取独立的 U∼Uniform(0,1),将整个并列概率块随机展开为

prand(x,U)=#{g:T(gx)>T(x)}+U#{g:T(gx)=T(x)}|G|,

则在群不变零假设下得到连续均匀的随机化 p 值。即使轨道只有一个元素,上式也为 U;没有额外随机化的秩则恒为一。固定取并列块中点的 mid-p 可能减保守,却不保持一般有限样本超均匀。

Kendall 秩关联的独立性检验固定两列观测并置换其中一列的配对关系;有并列时仍可按实际统计量枚举。把完整观测对一起换位置不会改变关联,因而不是这里所需的参考变换。

计算全排列不可能时,可均匀抽取群元素。抽样算法若偏向某些排列,Monte Carlo p 值失效;受限置换还需确认采样覆盖正确的 block/stratum 群。

若零假设是某个协变量给定其余变量后与响应条件独立,已知的条件协变量律可支持条件随机化检验。这时参考列未必来自均匀置换,原列和复制列的条件同分布才是秩校准依据。背景使各行成功概率不同时,仅保留列总数再均匀洗牌可能破坏参考律;需要明确条件权重,并在每个副本一致重算评分过程。

Freedman–Lane 等回归置换方案分别置换 residual、response 或 covariate,只有在相应误差交换性与零模型结构下才有效。把任意回归残差洗牌不会自动保持异方差或 leverage pattern。

置换置信区间通过检验反演得到,不等于 bootstrap percentile interval。前者依赖零假设不变群并控制检验错误,后者近似估计量抽样分布;重采样外观相似但逻辑不同。

对完整枚举得到的非随机化 p 值,若轨道规模小于 1/α,其最小可能尾部比例就大于 α,无法拒绝。这个完整枚举分辨率由实验允许的变换和观测到的并列结构决定,增加 Monte Carlo 抽取次数不会改变这些轨道概率。

加一公式得到的 Monte Carlo p 值则本身构成随机化检验,取值网格为 1/(B+1);某次结果可以小于完整枚举的 p 值。它的 level 保证同时平均原数据与随机变换的随机性,不能仅把它理解成确定性 p 值的一次数值精度提升。

推论与应用

成组随机试验、配对符号翻转和区组设计对应不同的群作用与置换轨道。若完整枚举不可行,可用 Monte Carlo 置换并把模拟秩的不确定性计入p 值;若交换性只在渐近或模型调整后成立,则需要 studentization 或专门置换定理,不能继续声称有限样本精确。

实际处理抽签还给出尖锐零假设随机化检验:先由假设补全未观察结果,再按已知分配概率求尾部。该分布可能不等权,也未必来自一个均匀群作用。配对随机实验的独立公平币则提供对内符号翻转的设计依据;仅有观测配对仍需另外证明交换性。

参考资料
  • Phillip Good, Permutation, Parametric, and Bootstrap Tests, 3rd ed., Springer, 2005。
  • E. J. G. Pitman, “Significance Tests Which May Be Applied to Samples from Any Populations,” 1937。
  • Jesse Hemerik and Jelle Goeman, “Exact Testing with Random Permutations,” TEST 27, 2018, pp. 811–825,§2:群不变性与检验水平。
关系图谱13 个相邻概念 · 4 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
分类位置
类型化关系