偏差、方差与均方误差

把同一参数下重复实验的估计值画成一团点，偏差是点云中心到目标的位移，方差是点云围绕自身中心的散布，MSE 则是点到目标的平均平方距离。改变估计规则可能移动中心，也可能压缩点云；二者最终都要在同一目标尺度上计入。

三项都会随 $\theta$ 改变。所谓低偏差、低方差若没有参数范围，只给出残缺比较；从点态 MSE 走到最坏风险或先验平均风险，还需再对 $\theta$ 取上确界或积分，量词不能由图像直觉代替。

若 $X_1,\dots ,X_n$ 独立同分布，均值为 $\mu$、方差为 ${\sigma }^2<\mathrm{\infty }$，则 $\overline{X}$ 无偏且

把传感器零点偏移通常很小这一领域知识写成固定收缩规则 ${\hat{\mu }}_c=c\overline{X}$。其偏差为 $(c-1)\mu$，方差为 $c^2{\sigma }^2/n$，故

若暂时把 $\mu$ 当作已知常数来做点态优化，形式上的最优系数为

它依赖正要估计的 $\mu$，因而不能直接实施。这个 oracle 计算的用途是定位权衡边界：靠近零时收缩收益较大，远离零时偏差代价占主导；它没有构造出一项合法估计量。

正态样本方差给出一个确实由偏差换得较低 MSE 的有限样本例子。令

$S_n^2$ 的偏差为 $-{\sigma }^2/n$，而 $S_{n-1}^2$ 无偏；利用正态平方和的 ${\chi }^2$ 分布可得

对 $n>1$，前者反而更小。无偏校正解决了期望中心问题，却不是平方损失下自动最优的校正。

样本量增大时，$\overline{X}$ 的方差以 $1/n$ 衰减；若某规则的偏差趋于非零常数 $b$，其 MSE 只能趋向 $b^2$。更多数据可以压缩抽样波动，却不会自动消除由固定正则化、测量偏移或模型失配造成的持续位移。

边界与失败情形 ​

向量目标必须先指定几何。对 Euclidean 平方损失，

改用权重矩阵 $W⪰0$ 后，右侧相应变成 $\mathrm{tr}\{W\mathrm{Cov}(\hat{g})\}+{\mathrm{Bias}}^{\mathsf{T}}W\mathrm{Bias}$。协方差矩阵只有相对于方向或损失权重才能化成标量风险。

绝对损失、$0$–$1$ 损失与对数损失没有同一条分解。预测误差还可能依次平均训练集、未来协变量和观测噪声；若这些随机层级改变，教科书中的 prediction bias–variance 公式也要重新推导，不能直接借用这里的参数估计恒等式。

二阶矩不存在时，MSE 与方差可能为无穷，交叉项的代数操作也需谨慎；此时用有限数字比较两条规则没有根据。无偏同样不蕴含一致性公理库估计量的一致性Consistency of estimators · Consistent estimator估计误差随实验规模增长而消失的点态、统一、弱与强收敛性质及其证明边界。：估计量若始终保留固定方差，其中心虽正确，误差却不会收缩。

该分解允许分别追踪正则化产生的系统位移与有限数据产生的波动。核密度带宽公理库非参数密度估计Nonparametric density estimation · Kernel density estimation不预设有限维密度族，通过核和平滑带宽从样本估计概率密度。、模型复杂度和收缩强度通常通过参数类上的积分风险、上确界风险或交叉验证来选择，因为不存在一个可实施规则把两项在每个参数点同时压到最低。

恒等式只负责记账，不提供偏差或方差的数量级。收敛率要由矩条件、光滑性、模型结构或信息下界公理库Cramér–Rao 下界Cramér–Rao lower bound · Information inequality正则可微模型中由 score 协方差恒等式推出的方差与 MSE 下界、等号条件及非正则边界。另行推出；从 MSE $\to 0$ 可借 Markov 不等式得到依概率一致，反向则还需要尾部控制。