Lasso 支持恢复与不可表示条件

先假定支持与符号都猜对了。活动坐标上的 ${\ell }_1$ 惩罚便有固定斜率 $\lambda z$，所以可以解一个普通线性系统得到式(1)。但它只让活动列达到平衡；还必须检查剩余列有没有超过阈值、要求进入模型的相关性。这正是式(3)的任务。

不可表示条件检查一种“借道进入”的机制。活动系数为了支付惩罚而收缩，留下沿活动列的残差。如果某个非活动列能与这些残差过强地对齐，它就会被 Lasso 选进来，即使没有任何观测噪声。条件依赖真实符号 $z$，而不只是两两相关性的绝对值。

最小信号条件的作用不同。即便所有列彼此正交，一个幅度小于 $\lambda$ 的真实系数也会被软阈值压成零。良好设计不能替代足够的信号强度，足够强的信号也不能替代非活动列的对偶余量。

证明：从候选到唯一真解 ​

Lasso 的 KKT 条件理路Lasso 的最优性与对偶间隙Lasso optimality conditions · Lasso duality gap · Lasso primal-dual certificate从残差相关性核验 Lasso 的零与非零坐标，并用可行对偶值认证剩余优化误差。在本页定标下是 $X^{\mathsf{T}}(Y-Xb)/n=\lambda s$，其中非零坐标 $s_j=\mathrm{sign}(b_j)$，零坐标允许 $|s_j|\le 1$。活动部分由式(1)直接得到

非活动部分则恰好是式(3)左端向量。因此式(2)、(3)让候选满足全部 KKT，得到全局最优性。

为了证明唯一性，先说明所有最优解都有相同的拟合值。若两个最优解的 $Xb$ 不同，平方损失在这两个拟合值的中点严格小于端点平均，而 ${\ell }_1$ 惩罚在中点至多等于端点平均，于是中点目标严格更小，矛盾。故所有最优解的残差与残差得分都相同。

式(3)使每个非活动得分严格小于 $\lambda$。任何最优解若在这个坐标非零，KKT 就要求得分绝对值恰等于 $\lambda$，矛盾。因此所有最优解都只用 $S$。最后 ${\mathrm{\Gamma }}_{SS}$ 正定意味着 $X_S$ 满列秩；相同拟合值只能来自相同的活动系数，唯一性得证。

一个相关设计，三项条件都能核算 ​

取

这里 $S=\{1\}$、$z=1$。活动候选是 $b_1=1+1/20-1/4=4/5$，仍为正。不可表示量为 $1/2$，可取 $\eta =1/2$；投影后噪声是

非活动得分等于 $3/40+1/8=1/5<1/4$。因此唯一解为 $(4/5,0)$，支持恢复正确。它仍有系数收缩误差 $(-1/5,0)$，说明支持正确不等于参数已经等于真值。该 $W$ 可由满列秩设计上的某个噪声向量实现；这项确定性检查本身未声称该噪声事件具有任何特定概率。

若同一设计无噪声，则唯一解变为 $(3/4,0)$。这与受限设计页的预测、参数计算使用同一组定标；是否恢复支持是额外核查出来的事实。

全局正定、预测趋准，支持仍可一直错误 ​

取三个列的 Gram 矩阵

其特征值为 $1,1+3\sqrt{2}/5,1-3\sqrt{2}/5$，全部为正，所以全空间以及受限锥理路受限特征值与稀疏可识别性Restricted eigenvalue condition · Compatibility condition for Lasso · Lasso 兼容条件在稀疏误差锥上定量比较预测与参数范数，精确定标兼容常数和受限特征值，并处理非零优化容差。上的参数方向都可辨认。可是对真支持 $S=\{1,2\}$，不可表示量是 $(3/5,3/5)(1,1{)}^{\mathsf{T}}=6/5>1$。

在 $\lambda =1/10$ 时，只用真支持的候选为 $(9/10,9/10,0)$，第三列的残差得分是 $3/25=0.12>\lambda$，违反 KKT。实际唯一解为

验证很短：有 ${\mathrm{\Gamma }}^{-1}\mathbf{1}=(10/7,10/7,-5/7{)}^{\mathsf{T}}$， 所以 $\hat{\beta }={\beta }^0-\lambda {\mathrm{\Gamma }}^{-1}\mathbf{1}$ 的三个坐标全为正，且残差得分恰为 $\lambda \mathbf{1}$。正定性给出唯一性。其均值预测误差为

更一般地，对每个 $0<\lambda <7/10$，同一形式都让第三坐标等于 $5\lambda /7>0$。当 $\lambda \downarrow 0$，预测和参数误差都趋零，但原始 Lasso 支持始终是三个变量。这给出了“小误差不推出恰好为零”的具体序列。

正交设计也会漏掉弱信号 ​

若 $\mathrm{\Gamma }=I_p$ 且无噪声，Lasso 是逐坐标软阈值： ${\hat{\beta }}_j=\mathrm{sign}({\beta }_j^0)(|{\beta }_j^0|-\lambda {)}_{+}$。 此时不可表示量为零，非活动得分也为零；但若某个非零系数满足 $|{\beta }_j^0|\le \lambda$，它仍被删掉。边界等号也返回零，所以保证保留真支持需要严格的信号余量。

重复列则有更根本的障碍。若 $X_1=X_2$，真参数 $(1,0)$ 与 $(0,1)$ 的全部观测分布相同，任何算法都不能在两个模型上同时以趋一概率恢复各自不同的支持。这个障碍来自实验设计中的不可识别性，不是 Lasso 独有的缺点。

从确定性余量到概率保证 ​

式(1)–(3)是固定噪声向量下的充分条件。要写“以至少 $1-a$ 概率恢复”，还须在已声明的噪声模型下证明式(5)、(6)共同成立的概率；不能只看到 $\Vert W{\Vert }_{\mathrm{\infty }}\le \lambda /2$，就认为投影后噪声也满足同一个界。矩阵 ${\mathrm{\Gamma }}_{SS}^{-1}$ 和 ${\mathrm{\Gamma }}_{S^{c}S}{\mathrm{\Gamma }}_{SS}^{-1}$ 可能放大原始噪声。

例如用矩阵行绝对值和范数 $\Vert B{\Vert }_{\mathrm{\infty }\to \mathrm{\infty }}=\underset{i}{max}\sum _j|B_{ij}|$，可得

把一个已证明的噪声上界代入右端，才得到可使用的 beta-min 要求。该上界可能保守，但暴露了活动设计病态会把噪声和收缩同时放大的原因。

优化近似与阈值化支持 ​

小优化 gap 不保证候选的零坐标恰好为零。即便精确解唯一且非活动 KKT 余量严格，给某个非活动坐标加入任意趋零的小数，也得到目标差趋零但支持错误的候选。因此本页精确 KKT 定理不能把 $\hat{\beta }$ 不加说明地换成数值迭代中任何近似向量。

有误差界时，可以明确改变报告规则。若某估计量满足 $\Vert \tilde{\beta }-{\beta }^0{\Vert }_{\mathrm{\infty }}\le r$，且 ${\beta }_{min}>2r$，定义

真零坐标的估计绝对值至多 $r$，不会被保留；真非零坐标的估计绝对值至少 ${\beta }_{min}-r>r$，所以 ${\hat{S}}_r=S$。一个 ${\ell }_1$ 上界也能充当保守的 $r$，因为 $\Vert h{\Vert }_{\mathrm{\infty }}\le \Vert h{\Vert }_1$。这里保证的是明确阈值化后的支持，不能把它写成原始 Lasso 自动支持恢复。

支持恢复与坐标推断是两个终点 ​

去偏 Lasso理路去偏 Lasso 与坐标置信区间Debiased Lasso · de-biased Lasso · de-sparsified Lasso · desparsified Lasso · 去稀疏 Lasso用近似逆矩阵修正 Lasso 的残差得分，将坐标误差拆成高斯主项与可控制的乘积余项，并据此构造置信区间。给预先指定坐标构造置信区间，其修正后系数通常不再稀疏；它的余项条件可以在未恢复完整支持时成立。相反，即使这次选对了支持，也没有自动得到无偏系数或校准的标准误。若用同一资料先筛选再报告区间，还要考虑选择后推断理路选择后推断与截断正态校准Post-selection inference · Selective inference · 选择性推断在同一观测先被筛选再用于推断时，按选择事件重算零分布，并由截断正态枢轴得到条件有效的检验和区间。的目标与条件分布。

实际报告可以分别回答三件事：原设计的均值预测误差多大，系数估计误差有什么条件界，非零名单是否有经过验证的恢复保证。每件事的证据应对应其自己的定理。