偏差、方差与均方误差

把同一参数下重复实验的估计值画成一团点，偏差是点云中心到目标的位移，方差是点云围绕自身中心的散布，MSE 则是点到目标的平均平方距离。改变估计规则可能移动中心，也可能压缩点云；二者最终都要在同一目标尺度上计入。

三项都会随 $\theta$ 改变。所谓低偏差、低方差若没有参数范围，只给出残缺比较；从点态 MSE 走到最坏风险或先验平均风险，还需再对 $\theta$ 取上确界或积分，量词不能由图像直觉代替。

若 $n\ge 1$，$X_1,\dots ,X_n$ 独立同分布，均值为 $\mu$、方差为 ${\sigma }^2<\mathrm{\infty }$，则 $\overline{X}$ 无偏且

把传感器零点偏移通常很小这一领域知识写成固定收缩规则 ${\hat{\mu }}_c=c\overline{X}$。其偏差为 $(c-1)\mu$，方差为 $c^2{\sigma }^2/n$，故

当 ${\mu }^2+{\sigma }^2/n>0$ 时，若暂时把 $\mu$ 当作已知常数来做点态优化，形式上的最优系数为

若 $\mu =0$ 且 ${\sigma }^2=0$，则每个 $c$ 的风险都为零，不需要使用这个分母为零的式子。非退化情形中的最优系数依赖正要估计的 $\mu$，因而不能直接实施。这个 oracle 计算的用途是定位权衡边界：靠近零时收缩收益较大，远离零时偏差代价占主导；它没有构造出一项合法估计量。

正态样本方差给出一个确实由偏差换得较低 MSE 的有限样本例子。以下取 $n\ge 2$，$X_1,\dots ,X_n$ 独立服从 $N(\mu ,{\sigma }^2)$，且 $\sigma >0$。令

$S_n^2$ 的偏差为 $-{\sigma }^2/n$，而 $S_{n-1}^2$ 无偏；利用正态残差平方和的$\chi^2$ 分布理路卡方分布Chi-square distribution · Chi-squared distribution · χ² distribution若干独立标准正态变量平方和的分布，以自由度记录独立平方方向的数量。可得

对 $n>1$，前者反而更小。无偏校正解决了期望中心问题，却不是平方损失下自动最优的校正。

样本量增大时，$\overline{X}$ 的方差以 $1/n$ 衰减。对一般规则，若偏差趋于非零常数 $b$，只能先推出 $\underset{n}{lim inf}\mathrm{MSE}\ge b^2$；还需方差趋于零，才有 MSE $\to b^2$。例如始终只用首个无偏读数再加上固定偏移 $b$，其 MSE 仍为 $\mathrm{Var}(X_1)+b^2$，新增观测并没有进入估计规则。更多数据可以压缩适当估计规则的抽样波动，却不会自动消除由固定正则化、测量偏移或模型失配造成的持续位移。

边界与失败情形 ​

向量目标必须先指定几何。对 Euclidean 平方损失，

改用权重矩阵 $W⪰0$ 后，右侧相应变成 $\mathrm{tr}\{W\mathrm{Cov}(\hat{g})\}+{\mathrm{Bias}}^{\mathsf{T}}W\mathrm{Bias}$。协方差矩阵只有相对于方向或损失权重才能化成标量风险。

绝对损失、$0$–$1$ 损失与对数损失没有同一条分解。预测误差还可能依次平均训练集、未来协变量和观测噪声；若这些随机层级改变，教科书中的 prediction bias–variance 公式也要重新推导，不能直接借用这里的参数估计恒等式。

二阶矩不存在时，MSE 与方差可能为无穷，交叉项的代数操作也需谨慎；此时用有限数字比较两条规则没有根据。无偏同样不蕴含一致性理路估计量的一致性Consistency of estimators · Consistent estimator估计误差随实验规模增长而消失的点态、统一、弱与强收敛性质及其证明边界。：估计量若始终保留固定方差，其中心虽正确，误差却不会收缩。

该分解允许分别追踪正则化产生的系统位移与有限数据产生的波动。核密度带宽理路非参数密度估计Nonparametric density estimation不预设有限维密度族，通过核和平滑带宽从样本估计概率密度。、模型复杂度和收缩强度通常通过参数类上的积分风险、上确界风险或交叉验证来选择，因为不存在一个可实施规则把两项在每个参数点同时压到最低。

恒等式只负责记账，不提供偏差或方差的数量级。收敛率要由矩条件、光滑性、模型结构或信息下界理路Cramér–Rao 下界Cramér–Rao lower bound · Information inequality正则可微模型中由 score 协方差恒等式推出的方差与 MSE 下界、等号条件及非正则边界。另行推出；从 MSE $\to 0$ 可借Markov 不等式理路Markov 不等式Markov's inequality非负随机变量超过阈值的概率由其期望除以阈值控制。得到依概率一致，反向则还需要尾部控制。

随机设计还有一层中心移动 ​

局部加权预测理路Nadaraya–Watson 核回归Nadaraya-Watson regression · Kernel regression · 核加权回归将邻域核值归一化为响应权重，区分随机比值、人口平滑目标、边界偏差以及密度核和正半定核。常先条件于训练输入 $X_{1:n}$。设 $\hat{m}(x)=\sum _i{w}_i(X_{1:n},x)Y_i$，权重只由输入与独立资料决定。若使用独立资料或随机种子，以下先条件于它们的已冻结结果，再对设计与噪声处理；要得到不条件于该资料的结果，最后再平均一次。给定设计的噪声均值为零、条件协方差矩阵为 ${\mathrm{\Sigma }}_X$。记

固定设计时MSE为 $b_X^2+v_X$。在全部项可积时，全期望与全方差理路全期望公式与全方差公式Law of total expectation · Law of total variance · Iterated expectation借助条件信息分解总体均值，并把总波动拆成组内与组间两部分。给

因此无条件偏差是 $E{b}_X$，但不能用 $(E{b}_X{)}^2+E{v}_X$ 冒充总MSE；它漏掉设计改变所带来的 $\mathrm{Var}(b_X)$。

例如只有一个训练输入 $X$，等概率取0与1；响应为 $Y=X+\epsilon$，$\epsilon$独立、均值零、方差1。用 $Y$ 预测查询0的条件均值 $m(0)=0$。条件偏差为 $X$，条件方差为1，总MSE为 $E{X}^2+1=3/2$。无条件偏差 $1/2$、方差 $1+1/4=5/4$，仍给 $1/4+5/4=3/2$。若只平均噪声方差再平方平均偏差，则错误得到 $5/4$。

若权重是看过当前响应才选出的，例如用同一响应选带宽，上述“固定输入即固定权重”的步骤不再成立。应将选择过程作为整个估计器重新分析，或用独立资料选择后再应用固定权重公式。局部区间理路局部平滑的置信区间Local smoothing confidence intervals · Bias-aware nonparametric confidence intervals从固定设计的加权正态误差构造偏差可控区间，精确展示MSE带宽欠覆盖，并区分单点、网格与连续曲线覆盖。还进一步比较偏差与标准误：二者一起趋零不代表其比值趋零。