Model-X Knockoff 构造

在知道其余协变量后，一个真零变量没有额外响应信息。合法替身模仿它与其他变量的联合关系，并且没有偷看响应。交换这一对后，连响应一起观察也应看不出区别，于是竞争分数没有偏向原变量的理由。

“模型X”的名字强调模型责任放在协变量联合律上。它允许很复杂的响应机制，却不是完全无分布假设的方法。在未知$P_X$时，估计它是额外工作；估计误差不会因为响应模型任意而消失。

固定设计构造理路固定设计 Knockoff 构造Fixed-design knockoffs · Fixed-X knockoffs · 固定设计替身变量在固定满秩正态线性模型中以精确Gram约束构造替身列，并由充分性及反对称性导出零坐标的联合符号公平性。将设计视为确定输入，用响应正态性和充分统计量交换获得分数对称。本页直接让增广协变量与响应的完整联合分布在真零交换下不变，所以不需要限制分数只依赖Gram。这两条证明从不同的概率模型出发。

已知高斯协变量的可执行生成 ​

令总体列向量$X\sim N_p(\mu ,\mathrm{\Sigma })$，真实$\mu ,\mathrm{\Sigma }$已知且$\mathrm{\Sigma }\succ 0$。预先选固定对角$D⪰0$、$2\mathrm{\Sigma }-D⪰0$，令

其中$Z\sim N_p(0,I)$独立于$(X,Y)$，$L{L}^T=V$。$V$半正定时允许奇异因子。矩阵写在列向量左边；若在程序中将一行写为行向量，对应条件均值为$(x-\mu {)}^T(I-{\mathrm{\Sigma }}^{-1}D)+{\mu }^T$，不能颠倒乘法顺序。

证明合法性要检查整个块协方差。由联合正态的仿射构造理路多元正态分布Multivariate normal distribution · Multivariate Gaussian distribution · Jointly Gaussian vector以所有线性组合都正态刻画联合高斯向量，并由特征函数连接线性构造、退化支撑、全维密度与条件分布。，

其中$\mathrm{Cov}(X,\tilde{X})=\mathrm{\Sigma }(I-{\mathrm{\Sigma }}^{-1}D)=\mathrm{\Sigma }-D$；替身协方差展开为$\mathrm{\Sigma }-2D+D{\mathrm{\Sigma }}^{-1}D+V=\mathrm{\Sigma }$。两块均值都为$\mu$。$D$对角使任何逐对交换保持全部均值和协方差不变，从而保持联合高斯律。生成噪声不看$Y$，第二条也成立。

式(4)中$V$可用半正定二次型理路正定与半正定矩阵Positive definite matrix · Positive semidefinite matrix · PSD matrix由二次能量严格为正或非负定义的实对称与复 Hermitian 矩阵。认证：置$H={\mathrm{\Sigma }}^{-1/2}D{\mathrm{\Sigma }}^{-1/2}$，$0⪯H⪯2I$，所以$V={\mathrm{\Sigma }}^{1/2}(2H-H^2){\mathrm{\Sigma }}^{1/2}⪰0$。这同时检查了噪声协方差确实存在。

例如

取$\mu =0$，一行原数据$x=(1,2{)}^T$给替身条件均值$(6/5,3/5{)}^T$。再加协方差$V$的新高斯噪声，不是把这份条件均值本身当作替身。逐行应用这套总体构造时，即使$n=1$也定义良好；它不需要样本Gram可逆。

独立复制整个向量为何仍可能错 ​

令$U,V$为独立公平比特，取

复制向量的边缘律与$X$完全相同，且给定$X$后确实与$Y$独立。然而它不满足逐对交换：原来的第一、二坐标总相等，交换第一对后变为$(V,U)$，有一半概率不同。

三个条件零假设却全成立。因为给定另外两个坐标就已确定$U$，$X_j$和$Y$都是已知常量，所以条件独立。取反对称分数

当$U\ne V$时三个分数全为1，当$U=V$时全为0。以$q=1/3$作Knockoff+，前一种选择全部、后一种不选，FDR为$1/2>1/3$。这里失败的是逐对交换条件，不能把责任推给分数不反对称。

这个退化协变量模型还说明：每个坐标给定其余坐标都无额外信息，不代表$Y$与整个$X$独立。不要未经额外条件就把式(1)的真零集合解释为唯一的最小预测变量集。对于本例，任何合法逐对交换的复制都必须满足${\tilde{X}}_j=U$几乎处处，因为交换后的原向量仍须落在三个坐标相等的支撑上。精确复制因此没有功效，这是目标在完全冗余变量上的真实限制。

估计总体律需要另付误差预算 ​

若把$\hat{\mathrm{\Sigma }}$代入式(4)，得到的联合律一般不满足相对于真实$\mathrm{\Sigma }$的式(5)。即使$\hat{\mathrm{\Sigma }}$来自独立的未标注数据，条件于估计值后也不能把错误协方差变成正确协方差。模型拟合得好可以是实证依据，不能直接宣称式(3)精确成立。

同样，边缘分布拟合正确并不证明联合逐对交换；给替身额外使用$Y$也可能违反第二条。只在已知真实核的合同下使用本页有限保证，近似核需另外报告误差理论或明确缺少精确认证。

单个真零交换保留完整观测律 ​

用核写法可避免假设联合密度存在。记$Z=(X,\tilde{X})$、其分布为${\mu }_Z$，响应条件核为$K(X,dy)$。第二条使$(Z,Y)$的联合律为${\mu }_Z(dz)K(x,dy)$。

若$H_j$成立，存在只依赖$x_{-j}$的核$K_j$，使$K(X,\cdot )=K_j(X_{-j},\cdot )$几乎处处。交换第$j$对不改动$X_{-j}$。同时${\mu }_Z$在此交换下不变，故对任意有界可测测试函数$h$，

交换不变也保证原核等式的零测例外不会在变换后取得正概率。标准Borel假设使所需正则条件核可用。逐个应用式(7)，任意真零子集的同时交换都保留完整联合律；独立行乘积将结论传给整份数据。

从交换群到公平符号 ​

反对称统计量把每个真零列交换变成相应分数变号。给定全部绝对值与非零假设分数后，这些量自身不受真零翻转影响，因此条件符号分布仍在所有真零翻转下不变。对于$m$个非零真零坐标，任意两种符号向量可由一次子集翻转互相到达，故每种概率相同，均为$2^{-m}$。这给出Knockoff+所需的相互独立公平符号，再由其阈值定理得到式(3)。

如果用可交换的两套变量重要性$Z_j,{\tilde{Z}}_j$，取$W_j=Z_j-{\tilde{Z}}_j$就是一个接口。但“重要性可交换”要检查整个拟合流程：固定的列编号优先规则、只对原列调参或某个非对称的最优解选择，都可能破坏它。可以在确定性种子下逐对交换输入并检查输出恒等式；有限测试只能发现错误，完整保证仍来自算法设计的等变性证明。

成本与单项检验的分工 ​

已知稠密高斯参数时，先求解线性系统并分解$p\times p$的$V$，预处理成本为$O(p^3)$；对$n$行求条件均值并施加噪声因子，成本$O(n{p}^2)$，保存数据与因子为$O(np+p^2)$。一般协变量核的抽样成本另计，不存在由“Model-X”这个名称自动提供的通用高效抽样器。

条件随机化检验理路条件随机化检验Conditional randomization test · CRT for conditional independence · 条件协变量重抽样检验从已知协变量条件律重抽样单列，以统一评分和有限加一秩检验条件独立，并分清均匀洗牌、冻结拟合及随意停机的失效边界。也消费已知协变量条件律，但它为某一项假设生成多次条件参考分数，输出一个校准p值。本页生成一套逐对联合可交换替身后，以符号结构控制整个选择集。两个流程对复制的要求、计算次数和输出保证不同，不能只把复制次数从一次改成多次就交换定理。