去偏 Lasso 与坐标置信区间

用残差得分补回收缩 ​

Lasso 的惩罚将系数向零收缩，便于利用稀疏结构，但这种收缩也进入坐标估计误差。最优点的残差得分通常为 $\lambda \hat{s}$，而不是零。去偏步骤读取这个尚未消失的得分，再用 $M$ 把响应方向的残差相关性转换为系数方向的修正。即使初始估计包含许多零坐标，修正后的 $b$ 也通常不再稀疏：它的目标是推断一个系数，而非保留变量筛选结果。

若 $\mathrm{\Gamma }$ 可逆，选 $M={\mathrm{\Gamma }}^{-1}$ 就能完全消去初始估计误差。高维情况下 $p>n$，$\mathrm{\Gamma }$ 必然奇异，因此需要放宽为只让所需行近似实现逆矩阵的作用。近似误差无需对所有可能的系数方向都很小；它与当前估计误差相乘后的坐标影响，才是区间能否校准的关键。

一步修正的精确分解 ​

把模型代入残差，有

继续代入去偏定义，逐项整理得

这一步纯属代数，对任何初始向量和任何 $M$ 都成立，不依赖 Lasso 是否精确求解。Lasso 的作用是提供一个可能具有良好统计误差界的初始估计；求解误差若没有忽略，也已经包含在 $L$ 中。

写 $a^{\mathsf{T}}=e_j^{\mathsf{T}}-m_j^{\mathsf{T}}\mathrm{\Gamma }$、$h=\hat{\beta }-{\beta }^0$，逐项取绝对值便得到

这是有限维 Hölder 不等式公理库Hölder 不等式Hölder's inequality共轭指数下函数乘积的 L¹ 范数由各自的 Lᵖ 范数乘积控制。的 ${\ell }_{\mathrm{\infty }}$–${\ell }_1$ 配对。它展示了两个改进方向：更准确的初始估计缩小 $L$，更准确的逆矩阵行缩小 ${\delta }_j$。即便其中一个量单独不够快，乘积仍可能小于该坐标的随机标准误。

正态的是线性主项 ​

条件于 $X$ 后，$M$ 也固定。在上述正态噪声假设下，联合正态向量的线性变换给出

于是

对随机设计，条件分布始终是同一个标准正态，故积分后 $Z_j$ 的无条件分布也精确标准正态。余项 ${\mathrm{\Delta }}_j$ 使用同一份数据，通常与 $Z_j$ 相关；下面的概率证明只控制其大小，不要求两者独立。

相关列如何把残差带到另一个坐标 ​

用一个无噪声代数算例看清修正方向。取 $n=3,p=2$，设计的两列为

设 ${\beta }^0=(1,0{)}^{\mathsf{T}}$、$Y=X{\beta }^0$、$\lambda =1/4$。候选 $\hat{\beta }=(3/4,0{)}^{\mathsf{T}}$ 的残差是 $X_1/4$，故

第一坐标为正，得分恰为 $\lambda$；第二坐标为零，得分绝对值 $1/8\le \lambda$。两条 KKT 条件均成立，且 $\mathrm{\Gamma }$ 的特征值为 $3/2,1/2$，平方损失严格凸，因此这是唯一 Lasso 解。

先取 $M=I$，直接加回得分，得到

第一坐标收缩被补回，第二坐标却出现 $1/8$。原因是两列的相关性为 $1/2$：沿第一列的残差也与第二列相关，单位矩阵没有把两者拆开。恒等式在这里给出

第二行的缺陷为 ${\delta }_2=1/2$，初始误差为 $L=1/4$，所以 $|R_2|={\delta }_{2}L=1/8$。乘积界在这个坐标恰好取等号。

改取真正的逆矩阵，

得分的第一坐标修正为 $(4/3)(1/4)-(2/3)(1/8)=1/4$，第二坐标修正为 $-(2/3)(1/4)+(4/3)(1/8)=0$。因此 $b=(1,0{)}^{\mathsf{T}}$，两坐标都回到真值。

精确消除余项与方差代价 ​

上面的 $Y=X{\beta }^0$ 用于逐项核验代数。现在保留同一个设计，让 $Y$ 按正态噪声模型重新采样；去偏定义对每次采样都给出

所以在满列秩设计中，精确逆修正就是普通最小二乘，与起点的具体 Lasso 解无关。它的条件协方差为 ${\sigma }^2{\mathrm{\Gamma }}^{-1}/n$：两个坐标的方差均为 $4{\sigma }^2/(3n)$，协方差为 $-2{\sigma }^2/(3n)$。本例 $n=3$，分别为 $4{\sigma }^2/9$ 与 $-2{\sigma }^2/9$。相较于相同列范数、正交设计的 ${\sigma }^2/n$，列相关性提高了每个系数的估计方差。

完全相同的列留下不可消除的缺陷 ​

再考虑两个完全相同、平方范数均为 $n$ 的列，此时

任取 $m=(u,v{)}^{\mathsf{T}}$，有 $\mathrm{\Gamma }m=(a,a{)}^{\mathsf{T}}$，其中 $a=u+v$。要近似第一坐标方向 $e_1$，最小可能缺陷是

下界来自 $1\le |a-1|+|a|\le 2max\{|a-1|,|a|\}$；取 $a=1/2$ 就达到下界。因而这个设计根本不存在缺陷小于 $1/2$ 的修正方向。

统计障碍同样直接：${\beta }^0=(1,0{)}^{\mathsf{T}}$ 与 ${\beta }^0=(0,1{)}^{\mathsf{T}}$ 都只有一个非零坐标，却给出完全相同的 $X{\beta }^0$；配上同一个噪声分布，全部观测的分布相同。两种参数的第一坐标不同，故仅凭这些观测无法区分它们，稀疏性本身不能识别第一坐标。可识别的是两个系数的和。

从余项界得到有限样本分布界 ​

固定 $\eta >0$、$0\le \tau \le 1$，假设已证明

令 $E$ 表示大括号中那个量不超过 $\eta$ 的好事件，则 $\text{Pr}(E^c)\le \tau$，并且在 $E$ 上有 $|T_j-Z_j|\le \eta$。对任意实数 $t$，成立以下事件包含关系：

第一条说主项即使向右移动 $\eta$ 也不会越过 $t$；第二条说总量已经不超过 $t$ 时，主项最多比它大 $\eta$。取概率，只在移除好事件时损失至多 $\tau$，得到

标准正态密度处处不超过 $1/\sqrt{2\pi }$，所以长度为 $\eta$ 的区间概率至多为 $\eta /\sqrt{2\pi }$。于是整个分布函数与标准正态之间的最大差满足

同一好事件还能直接控制双侧区间。记 $c=z_{1-\alpha /2}$、$G(u)=\text{Pr}(|Z_j|\le u)$，约定 $u<0$ 时 $G(u)=0$。由 $||T_j|-|Z_j||\le \eta$ 可得

$G$ 的变化率至多为 $2/\sqrt{2\pi }$，而 $G(c)=1-\alpha$，因此已知 $\sigma$ 的正态区间满足

这里坏事件只计一次，因为同时控制两端使用的是同一个 $E$。整个论证没有使用主项与余项的独立性。对随机设计，上述概率默认对完整数据取值；若要逐个设计给出条件覆盖界，则须相应控制 $\text{Pr}(E^c\mid X)$。

用 Slutsky 定理替换噪声尺度 ​

若形式陈述中的标准化乘积依概率趋零，则 ${\mathrm{\Delta }}_j\stackrel{P}{\to }0$。每个 $n$ 的 $Z_j$ 都服从标准正态，所以 Slutsky 定理公理库Slutsky 定理Slutsky's theorem依分布收敛随机量与依概率收敛常量组合时，和、积与合法商保持相应分布极限。先给出 $T_j=Z_j+{\mathrm{\Delta }}_j\stackrel{d}{\to }N(0,1)$，再给出

标准正态在 $\pm c$ 没有概率质量，故标准化统计量落在 $[-c,c]$ 的概率趋于 $1-\alpha$，这就完成了坐标区间的证明。$\hat{\sigma }$ 与 $b_j$ 可以来自同一数据；所需的是比值一致性。上面的有限样本界则使用已知 $\sigma$，若希望连同尺度估计一起获得定量覆盖误差，还需要对尺度比值的偏离给出概率界。

如何选择修正方向 ​

一种直接构造逐坐标求解

其中 $\mu \ge 0$ 是允许的逆矩阵缺陷。这是 Javanmard 与 Montanari 所研究的构造：目标控制高斯主项的方差，约束确保 ${\delta }_j\le \mu$，因为 $\mathrm{\Gamma }$ 对称。$\mathrm{\Gamma }$ 半正定，目标为凸二次函数，约束是凸集；但给定设计与 $\mu$ 后仍须确认可行性。完全相同列的例子已经说明，任意缩小 $\mu$ 可能使问题无解。

更小的可行域倾向于要求更精确的逆作用，而更大的可行域容许降低方差；选择时必须结合 $L$ 的控制来判断乘积余项。$v_j$ 本身也要正，标准化才有意义。另一条常见路径是逐列回归的 nodewise Lasso，用一列对其余列的残差构造修正方向；van de Geer 的讲义给出了这种构造及相应余项分析。

实际应用中，${\delta }_j$ 和 $v_j$ 可由设计与修正矩阵计算，$L$ 含未知真参数，需要由模型假设下的统计理论控制。设计的可识别结构、列尺度、真实支持大小和惩罚选择会共同影响这个控制。对偶间隙可以认证 Lasso 优化是否充分完成，却不能独自认证 $L$ 足够小；完成修正优化也只解决了缺陷与方差的取舍。

“去偏”指一阶收缩影响被修正，并不声称所有有限样本下 $\mathbb{E}[b_j]={\beta }_j^0$。这里的结论是预先指定坐标的区间覆盖；若从很多坐标中挑出最大的结果再报告，或要求所有坐标同时覆盖，需要另行校准联合误差。

正态主项的简单公式也有明确适用范围：若 $M$ 依赖 $Y$，条件于 $X$ 后它仍随机，便不能直接当作固定矩阵变换正态噪声；若噪声条件协方差为 $\mathrm{\Omega }$，线性主项的协方差应改成 $M{X}^{\mathsf{T}}\mathrm{\Omega }X{M}^{\mathsf{T}}/n^2$。非正态噪声下可以另行研究正态近似，但本页的精确条件正态论证不再直接适用。