条件logistic回归

分层二元资料中，每层可能有自己的基准发生率，而我们关心的是层内协变量怎样改变成功优势。条件logistic回归保留每层已经观察到的成功总数，只比较这些成功出现在哪些成员上。这样可以严格消去层截距，代价是总数本身携带的信息也不再进入条件似然。

形式陈述

概率来自哪一个模型

固定J个层的全部协变量 $x_{ij}\in\mathbb R^d$ ，其中1≤i≤n_j、n_j≥1。以Bernoulli–logit模型为起点，假设全部响应在给定设计与参数后相互独立，且

\log\frac{p_{ij}}{1-p_{ij}}=\alpha_j+x_{ij}^\mathsf T\beta,\qquad Y_{ij}\sim\operatorname{Bernoulli}(p_{ij}).\tag{1}

共同斜率β∈R^d是目标，J个有限实数α_j是层截距。令 $M_j=\sum_iY_{ij}$ 。本页的条件模型是式(1)在事件 $M_j=m_j$ 上的条件分布，0≤m_j≤n_j。有限参数使这些事件都有正概率。

将一层的成功成员集合记为A。给定|A|=m_j，其质量是

P_\beta(A\mid M_j=m_j,X_j) =\frac{\exp(\beta^\mathsf T T_j(A))}{C_j(\beta)},\qquad T_j(A)=\sum_{i\in A}x_{ij}, \qquad C_j(\beta)=\sum_{B\subseteq\{1,\ldots,n_j\},\ |B|=m_j} \exp(\beta^\mathsf T T_j(B)).\tag{2}

这是一个有限子集上的概率分布，C_j是其归一化常数。给定各层总数后，各层仍相互独立，所以条件对数似然为

\ell_c(\beta)=\sum_j\{\beta^\mathsf T T_j(A_j^{\rm obs})-\log C_j(\beta)\}.\tag{3}

截距为何消失

在式(1)下，一层完整0–1向量的质量为

P_{\alpha_j,\beta}(Y_j=y_j\mid X_j) =\frac{\exp\{\alpha_j\sum_i y_{ij}+\beta^\mathsf T\sum_i y_{ij}x_{ij}\}} {\prod_i[1+\exp(\alpha_j+x_{ij}^\mathsf T\beta)]}.

固定 $\sum_i y_{ij}=m_j$ 后，分子中的 $e^{\alpha_jm_j}$ 与整个分母，对所有允许向量都相同。在条件概率的分子分母中约掉这些因子，就得到式(2)。不同层原本的联合质量是乘积，条件事件也是按层相乘，故条件分布继续分解为各层因子。

条件化并没有估计α_j，也没有证明它们相等。它构造了一个不再含α_j的概率实验；目标是这个实验中的共同β。

得分、信息和可识别方向

有限支持允许直接逐项求导。由得分与信息的定义，

U_c(\beta)=\nabla\ell_c(\beta) =\sum_j\{T_j(A_j^{\rm obs})-E_\beta T_j(A)\},\qquad -\nabla^2\ell_c(\beta)=\sum_j\operatorname{Cov}_\beta(T_j(A)).\tag{4}

例如 $\nabla C_j=\sum_B T_j(B)e^{\beta^\mathsf T T_j(B)}$ ，除以C_j即为期望；再求导便得二阶矩减均值外积。因此ℓ_c是凹函数，但不一定严格凹。

某个方向v没有信息，当且仅当对每个层， $v^\mathsf T T_j(A)$ 在该层的全部允许子集上为常数。因为式(2)赋予每个允许子集严格正质量，零方差恰好等于这个逐点常数条件。它也说明为何层内恒定协变量不可识别：每次固定选择m_j人，总贡献不变。

直觉

以每层两人为例，只保留恰有一人成为成功者的层。层截距可以同时把两人的发生概率推高或压低，却不会改变两种允许标记“第一人成功”和“第二人成功”的相对权重。相对权重只剩协变量差与β。

当一层有四个人、两个成功时，允许结果不是两次互不相关的选择，而是六个二人子集。成功总数固定，会使成员的成功指示相关；这正是归一化常数需要对所有合法子集求和的原因。

条件于总数以后，原来判断整层“为何多发或少发”的资料被放下了。因此共同斜率的条件推断与绝对发生率预测是不同任务。若要预测某层的实际成功概率，仍需关于截距和抽样机制的额外信息。

例子与边界

一成功配对：只有协变量差进入似然

取n_j=2、m_j=1。把该层观察到的成功者标为第一人，定义 $\Delta_j=x_{1j}-x_{2j}$ 。式(2)给

P_\beta(\text{第一人成功}\mid M_j=1,X_j)=\sigma(\beta^\mathsf T\Delta_j).

因此该层对式(3)的贡献为 $\log\sigma(\beta^\mathsf T\Delta_j)$ 。单变量的三层差值取1、2、−1，有

\ell_c(\beta)=\log\sigma(\beta)+\log\sigma(2\beta)+\log\sigma(-\beta),\qquad U_c(\beta)=3-2\sigma(\beta)-2\sigma(2\beta).

得分严格递减，在β→−∞时趋3，在β→∞时趋−1，故只有一个有限根。令z=e^β>0，根满足

z^3-z^2-z-3=0,\qquad z\approx2.1303954348,\qquad \widehat\beta_c\approx0.7563076126.

正负差值共同阻止系数逃向一端。如果三层差值改成1、2、1，每项都会随β增加，条件似然仍然没有有限极大点。消去截距并不会自动消除分离造成的存在性问题。

二成功、四候选：核全部子集

现在只有一层，n=4、m=2，单个协变量为0、1、2、3。取β=log2，则各成员的权重 $w_i=e^{\beta x_i}$ 为1、2、4、8。六个子集、统计量T与未归一化权重为

所选协变量	T	权重
0、1	1	2
0、2	2	4
0、3	3	8
1、2	3	8
1、3	4	16
2、3	5	32

总权重C=70。若观察到0与3成功，则该完整标记的概率为8/70=4/35；统计量T=3的概率却是16/70，因为另一个子集也给T=3。似然定义在原标记上，求T的分布时要合并所有产生同一T的结果。

直接求和给

E_\beta T=\frac{141}{35},\qquad \operatorname{Var}_\beta T=\frac{1434}{1225},\qquad U_c(\log2)=3-\frac{141}{35}=-\frac{36}{35}.

负得分表示在这一观察下，从β=log2向较小β移动会提高条件似然。方差严格正，说明这层对该斜率确有局部信息。

哪些层和方向没有信息

m_j=0时只有空子集，m_j=n_j时只有全体子集；两种情况下式(2)都等于1，式(3)贡献0，式(4)贡献零矩阵。这些层没有条件斜率信息，并不是原始资料完全没有关于发生率的信息。

若给同一层所有协变量加同一个向量c_j，则每个允许T都增加m_jc_j，分子分母共同乘 $e^{m_j\beta^\mathsf T c_j}$ ，条件分布不变。由此可在层内中心化协变量，也可看到“层的统一水平”为什么无法由本条件模型识别。

即使原始含层指标的设计矩阵满秩，剩余条件差值也可能全零。例如两层各有两人：第一层的协变量为(0,0)、响应为(0,1)，第二层的协变量为(0,1)、响应为(0,0)。以两列层指标和一列协变量组成设计，出现(1,0,0)、(0,1,0)、(0,1,1)三条线性独立的行，故原设计满列秩。但第二层总成功数为0，没有条件信息；第一层的两种允许结果各有1/2概率，也与β无关。对原设计做一次秩检查，不能替代式(4)中的条件信息检查。

归一化不用枚举所有组合

对一层省略j下标，令 $w_i=e^{\beta^\mathsf T x_i}>0$ 。C是多项式

\prod_{i=1}^n(1+w_i z)

中z^m的系数。使用动态规划，定义E_{k,r}为前k人中选r人的总权重，初始化E_{0,0}=1，其余非法状态为0，递推

E_{k,r}=E_{k-1,r}+w_k E_{k-1,r-1}.\tag{5}

第一项不选第k人，第二项选它；两类互斥且覆盖所有子集，因此递推精确。只需保留r=0,…,m。原地更新时r必须从大到小，才能使右端读到加入第k人之前的状态。最后C=E_{n,m}。

在四候选例中，截到r=2的状态依次为

(1,0,0)\to(1,1,0)\to(1,3,2)\to(1,7,14)\to(1,15,70).

一次归一化需要O(n(m+1))次加乘、O(m+1)存储，而直接枚举需要处理 $\binom nm$ 个子集。这里是给定权重后的算术成本；指数函数求值与数值精度另行计入。

同一递推也算得分与信息

为每个状态同时维护未归一化的一阶向量M与二阶矩阵R：它们分别为该状态中各子集的“权重乘T”之和与“权重乘TT^T”之和。初始M、R全零。加入第k人时，记上一行r−1状态为 $(Z_-,M_-,R_-)$ ，上一行r状态为 $(Z,M,R)$ ，则

\begin{aligned} Z_{\rm new}&=Z+w_kZ_-,\\ M_{\rm new}&=M+w_k(M_-+x_k Z_-),\\ R_{\rm new}&=R+w_k(R_-+x_kM_-^\mathsf T+M_-x_k^\mathsf T+x_kx_k^\mathsf T Z_-). \end{aligned}\tag{6}

这些式子只是在选中第k人时将T换成T+x_k并展开外积。最终 $E T=M/Z$ 、 $\operatorname{Cov}(T)=R/Z-(M/Z)(M/Z)^\mathsf T$ 。对于d维协变量，直接实现每层需要O(n(m+1)d²)次算术、O((m+1)d²)附加存储。这里保留m+1个状态，因此也覆盖m=0的空子集情形；当m≥1时，分别化为通常的O(nmd²)与O(md²)。

大权重时不能直接依赖浮点乘积。可以对全部状态Z、M、R做共同的正比例缩放并累计对数因子，或用对数权重与稳定的归一化计算；缩放必须同时作用于三种状态，才保持矩比值。极端条件下还应检查方差的非负性与舍入误差。

把各层结果相加便得到式(3)、(4)。若条件信息正定，可解 $I_c\delta=U_c$ 并对条件对数似然回溯更新；若存在平坦方向或分离，则应先报告相应结构，不能将奇异信息或不断增大的系数仅解释为“多迭代几次”。二组计数资料进一步汇总后，得到优势比的精确条件推断，其中有限支持还允许直接反演检验。

参考资料

Sean X. Chen and Jun S. Liu，Statistical Applications of the Poisson-Binomial and Conditional Bernoulli Distributions，Statistica Sinica 7,1997,pp.875–892，§2与§3.1；条件Bernoulli权重、组合递推与logistic条件化。
Alan Agresti，A Survey of Exact Inference for Contingency Tables，Statistical Science 7(1),1992,pp.131–153，§5；通过条件化处理logistic干扰参数，以及条件样本空间的限制。

形式陈述

概率来自哪一个模型

截距为何消失

得分、信息和可识别方向

一成功配对：只有协变量差进入似然

二成功、四候选：核全部子集

哪些层和方向没有信息

相关配对和抽样标签不是自动许可证

归一化不用枚举所有组合

同一递推也算得分与信息

反向链接

形式陈述 ​

概率来自哪一个模型 ​

截距为何消失 ​

得分、信息和可识别方向 ​

一成功配对：只有协变量差进入似然 ​

二成功、四候选：核全部子集 ​

哪些层和方向没有信息 ​

相关配对和抽样标签不是自动许可证 ​

归一化不用枚举所有组合 ​

同一递推也算得分与信息 ​

反向链接

形式陈述

概率来自哪一个模型

截距为何消失

得分、信息和可识别方向

一成功配对：只有协变量差进入似然

二成功、四候选：核全部子集

哪些层和方向没有信息

相关配对和抽样标签不是自动许可证

归一化不用枚举所有组合

同一递推也算得分与信息