线性平方损失的隐式偏置

形式陈述

训练误差有多个最小者时，优化器仍会返回一个具体参数。隐式偏置研究这项选择怎样由更新规则和初始化产生。本页固定线性模型与欧氏梯度下降，完整刻画其极限；这里的“偏置”不是统计估计量期望减去真值的定义。

设 $X\in\mathbb R^{n\times d}$ 、 $y\in\mathbb R^n$ ，训练目标为

L(w)=\frac12\|Xw-y\|_2^2.

不要求 $X$ 满秩，也不要求 $Xw=y$ 有解。由最小二乘与正规方程，最小者总存在。记 $w^\dagger=X^+y$ 为其中最小欧氏范数解， $P_0$ 为到 $\ker X$ 的正交投影。

当 $X\ne0$ ，取固定步长

0<\eta<\frac{2}{\|X\|_2^2},

从任意 $w_0$ 执行精确的梯度下降

w_{t+1}=w_t-\eta X^{\mathsf T}(Xw_t-y).

则

P_0w_t=P_0w_0,\qquad w_t\longrightarrow w_\infty=X^+y+P_0w_0.

这个极限也是唯一的最近初值解：

w_\infty=\operatorname*{argmin}_{w\in\arg\min L}\|w-w_0\|_2.

因此，极限是最小范数解，当且仅当 $P_0w_0=0$ ；零初始化是充分条件，但不是唯一选择。若 $X=0$ ，梯度恒零，任意步长下都保持 $w_t=w_0$ ，不使用含零分母的步长公式。

直觉

矩阵只能看到参数在训练特征张成空间中的分量。每次梯度都是训练特征的线性组合，所以更新只能在这片行空间内移动；正交于所有训练特征的零空间分量没有受到任何力。

当行空间分量走到唯一的最优位置，零空间分量仍保留初始化的值。零初始化因此留下零核分量，得到最小范数解；非零初始化可能留下训练损失看不见的参数。

两条平行的梯度下降轨迹分别从零和一负一出发，抵达同一最小者直线上的不同点；它们的零空间偏移保持不变。 — 行空间更新保留初始零空间偏移

图中的直线 $w_1+w_2=1$ 包含全部训练最小者。两条轨迹的位移始终沿 $(1,1)$ ；它们之间的偏移 $(1,-1)$ 始终不变。优化收敛与选择哪一个最小者由同一更新的两个不同方向解释。

例子与边界

相同训练轨迹，不同未见点预测

取 $X=(1,1)$ 、 $y=1$ 、 $\eta=1/4$ 。记坐标和 $s_t=w_{1,t}+w_{2,t}$ 、差 $d_t=w_{1,t}-w_{2,t}$ ，更新给出

s_{t+1}=\frac12s_t+\frac12,\qquad d_{t+1}=d_t.

从 $w_0=(0,0)$ 与 $\widetilde w_0=(1,-1)$ 出发，两者的初始和都为零，故

w_t=\left(\frac{1-2^{-t}}2,\frac{1-2^{-t}}2\right), \qquad \widetilde w_t=w_t+(1,-1).

轮数	从 $(0,0)$ 出发	从 $(1,-1)$ 出发	共同训练损失
$0$	$(0,0)$	$(1,-1)$	$1/2$
$1$	$(1/4,1/4)$	$(5/4,-3/4)$	$1/8$
$2$	$(3/8,3/8)$	$(11/8,-5/8)$	$1/32$
极限	$(1/2,1/2)$	$(3/2,-1/2)$	$0$

一般轮数的共同损失为 $L(w_t)=L(\widetilde w_t)=4^{-t}/2$ 。两极限都完全拟合训练点 $(1,1)$ ，但在新输入 $x=(1,0)$ 上分别预测 $1/2$ 与 $3/2$ 。训练损失无法区分这两个结果；哪个预测更好，还要知道新输入的目标或数据分布。本定理本身不提供泛化优势排序。

不一致数据仍然收敛

取

X=\begin{pmatrix}1&0\\1&0\end{pmatrix},\qquad y=\binom{1}{3}.

两个训练响应无法同时拟合，最小者集合是 $\{(2,b):b\in\mathbb R\}$ 。从 $(a,b)$ 出发，第一坐标满足

w_{1,t+1}-2=(1-2\eta)(w_{1,t}-2),

第二坐标始终为 $b$ 。对 $0<\eta<1$ ，极限为 $(2,b)$ ，最终损失为 $1$ ，而不是零。因此“最小二乘极限”不能在一般情形被改写成“插值解”。

步长与坐标的作用

前一个单样本例子的 $\|X\|_2^2=2$ ，安全区间是 $0<\eta<1$ 。若从零出发取端点 $\eta=1$ ，坐标和在 $0$ 与 $2$ 间振荡；取更大的步长则误差绝对值增长。严格步长区间保证所有初值收敛，不排除个别已经最优的初值在区间外仍保持不动。

“最小范数”还依赖参数坐标。把同一预测器改写为 $w=\operatorname{diag}(2,1)\theta$ ，从 $\theta_0=0$ 对 $\theta$ 做欧氏梯度下降，设计矩阵变成 $(2,1)$ 。取 $0<\eta_\theta<2/5$ ，极限是 $\theta_\infty=(2/5,1/5)$ ，对应 $w_\infty=(4/5,1/5)$ 。这次最小化的是满足训练等式时的 $w_1^2/4+w_2^2$ 。表示的预测函数类没有改变，更新的几何却变了。

推论与应用

逐个奇异方向证明收敛

对非零 $X$ 取紧奇异值分解

X=U_r\Sigma_rV_r^{\mathsf T},\qquad \Sigma_r=\operatorname{diag}(\sigma_1,\ldots,\sigma_r),\quad\sigma_i>0.

$V_r$ 的列张成行空间， $P_0=I-V_rV_r^{\mathsf T}$ 。因为 $P_0X^{\mathsf T}=0$ ，直接将更新乘以 $P_0$ 即得零空间不变量。

令 $a_{i,t}=v_i^{\mathsf T}w_t$ 。沿第 $i$ 个正奇异方向，矩阵迭代变成一个标量递推：

a_{i,t+1}=(1-\eta\sigma_i^2)a_{i,t}+\eta\sigma_i u_i^{\mathsf T}y.

移去不动点后展开，得到

a_{i,t}=\frac{u_i^{\mathsf T}y}{\sigma_i} +(1-\eta\sigma_i^2)^t \left(a_{i,0}-\frac{u_i^{\mathsf T}y}{\sigma_i}\right).

步长条件使每个 $|1-\eta\sigma_i^2|<1$ 。行空间极限因此是

\sum_{i=1}^r\frac{u_i^{\mathsf T}y}{\sigma_i}v_i=X^+y,

再加上不变的核分量，就得到所述 $w_\infty$ 。 $y$ 中与列空间正交的分量被 $X^{\mathsf T}$ 消掉，所以证明从未要求数据可插值。

定义

q=\max_{1\le i\le r}|1-\eta\sigma_i^2|<1.

由正交坐标平方求和，有

\|w_t-w_\infty\|_2\le q^t\|w_0-w_\infty\|_2.

这里最大值只遍历正奇异值。完整更新矩阵在核上有特征值一，不能声称它在整个参数空间严格压缩。它压缩的是同一初始核分量内的误差。

为什么恰好最近，以及能证明什么

所有最小者写成 $w^\dagger+z$ ，其中 $z\in\ker X$ 。把初值正交拆开，得

\|w^\dagger+z-w_0\|_2^2 =\|w^\dagger-V_rV_r^{\mathsf T}w_0\|_2^2 +\|z-P_0w_0\|_2^2.

第一项与 $z$ 无关，第二项唯一在 $z=P_0w_0$ 处取零。这证明最近初值性质。另由

\|w^\dagger+z\|_2^2=\|w^\dagger\|_2^2+\|z\|_2^2,

得到最小范数当且仅当初始核分量为零。

显式正则化会修改目标；这里目标没有添加惩罚，选择来自可达的仿射空间。固定本页二次目标与初始化后，允许区间内的不同常步长改变收敛速度，却不改变极限。这不是对任意优化器、非线性参数化或神经网络的结论。

若只为求最小范数解，SVD 数值求解直接给出另一条计算路线。稠密梯度更新不必形成 $X^{\mathsf T}X$ ，每轮两个矩阵—向量乘法需 $O(nd)$ 运算及 $O(n+d)$ 工作空间（数据存储另计）；所需轮数由正奇异值上的 $q$ 决定。小训练残差、少量迭代或提前停止不能自动替代上述极限结论。

自测

仍用 $X=(1,1),y=1$ ，若从 $(2,0)$ 出发，极限是什么？初始核投影为 $(1,-1)$ ，所以极限仍为 $(3/2,-1/2)$ 。两初值不同却有相同核分量时，它们会选择同一个最小者；初值本身不是决定极限的全部信息。

参考资料

Suriya Gunasekar, Jason Lee, Daniel Soudry, and Nathan Srebro, “Characterizing Implicit Bias in Terms of Optimization Geometry”, PMLR 80, ICML 2018，§§2.1–2.2：可实现线性模型的最近初值刻画与优化几何。其一般损失结论以到达零损失为条件；本文另给固定平方损失的显式收敛证明。
Charles L. Byrne, Applied and Computational Linear Algebra: A First Course, 作者公开稿，访问于2026年，§26.2.2.2、式 (26.4)、Theorem 26.1，正文 pp. 314–315：Landweber 迭代与最近最小二乘解。该在线稿未明确版本日期；此处章节编号对应所链接稿件。

形式陈述 ​

相同训练轨迹，不同未见点预测 ​

不一致数据仍然收敛 ​

步长与坐标的作用 ​

逐个奇异方向证明收敛 ​

为什么恰好最近，以及能证明什么 ​

自测 ​

反向链接