估计量、决策规则与风险

模型描述数据怎样随机出现，规则描述看到数据后做什么，损失把行动后果换成可比较的数值，风险再沿重复抽样取平均。这四层不能合并：一份样本上的误差可能偶然很小，风险比较的却是同一真实参数下反复使用整套规则的长期表现。

“最优”必须连同行动空间、损失与参数量词给出。平方损失重罚大误差，绝对损失按距离线性计费，非对称损失可以让漏诊比误报更昂贵；即使模型与数据完全相同，三种损失也可能选择不同规则。

设校准实验的读数 $X_1,\dots ,X_n\sim N(\mu ,{\sigma }^2)$，${\sigma }^2$ 已知，以平方损失 $L(\mu ,a)=(a-\mu {)}^2$ 估计仪器偏移 $\mu$。样本均值规则 $\delta (X)=\overline{X}$ 的风险为

与 $\mu$ 无关。

若先验工程知识表明偏移常靠近零，可以考察固定收缩规则 ${\delta }_c=c\overline{X}$：

第一项来自抽样波动，第二项来自系统收缩。对靠近零的 $\mu$，适度收缩可能降低点风险；在无界参数空间上，任何固定 $c\ne 1$ 的最坏风险却因 ${\mu }^2$ 项而无穷大。一个局部区域的改进不能升级成全参数空间支配。

一般平方损失下，任意二阶可积估计量都满足逐参数分解

这是在同一个 $\theta$ 下展开平方所得的恒等式。无偏只消去第二项，不保证第一项小，更不保证其他损失下表现好；偏差—方差—MSE公理库偏差、方差与均方误差Bias–variance decomposition · Mean squared error平方损失下将点态估计风险精确拆成抽样波动与系统位移，并说明两者的权衡边界。必须作为平方损失风险的特例来理解。

在疾病筛查的二元决策中，行动空间为 $\{\text{转诊},\text{不转诊}\}$。若漏诊损失为 $c_{10}$、误报损失为 $c_{01}$，风险会分别加权两类错误概率；把两项权重都设为一才得到对称 $0$–$1$ 损失。改变临床代价而不改变检测分布，就会改变合理阈值，这正是决策层独立于模型层的例子。

边界与失败情形 ​

实际数据上通常连 $L(\theta ,\delta (x))$ 都无法直接计算，因为真参数未知；风险更是模型下对潜在重复实验的期望。交叉验证、无偏风险估计和测试集误差是估计风险的不同工具，不应倒过来充当定义。

预测问题常把未来 $(X,Y)$ 也纳入损失期望；参数估计的点风险固定 $\theta$，平均的是当前实验与规则随机性。两者可以放进同一决策框架，前提是明确哪些随机量在训练阶段、哪些在未来预测阶段，而不是因为都写作 risk 就互换公式。

期望风险较小不保证每次误差都小，也不直接控制尾部灾难概率。应用若关心超限概率、约束违反或风险敏感效用，应把这些要求写进损失或另给风险泛函。可积性同样是实质条件：重尾数据配上增长过快的损失会使风险为无穷。

随机化规则的风险要同时平均数据和内部随机币。随机币若依赖未知参数，规则便不可实施；若只报告种子平均结果，还要确认应用确实接受这种平均，而不是要求每个部署实例都满足硬约束。

若对所有 $\theta$ 都有 $R(\theta ,{\delta }_1)\le R(\theta ,{\delta }_2)$，且至少一个参数点严格，便称 ${\delta }_1$ 支配 ${\delta }_2$。不被任何其他规则支配称为 admissible；这只排除一致更差的规则，并不保证它在 Bayes、minimax 或有限样本某一点上唯一最优。

Bayes 规则公理库Bayes 估计量与后验风险Bayes estimator · Posterior expected loss给定观测后最小化后验期望损失的行动规则及其条件风险。通过逐数据最小化后验期望损失得到：平方损失下是后验均值，绝对损失下是后验中位数。minimax 分析则寻找任何规则都无法避开的最坏参数风险。后续的 Cramér–Rao、Rao–Blackwell 与 Lehmann–Scheffé 都在更窄的模型、损失或无偏类中比较规则，不能替代这里的完整评价框架。