Bayes 估计量与后验风险

三种典型损失 ​

实值参数、平方损失 $L(\theta ,a)=(a-\theta {)}^2$ 下，若后验二阶矩有限，

故唯一 Bayes 行动为后验均值。

绝对损失 $|a-\theta |$ 下，后验一阶绝对矩有限时，任何后验中位数都是 Bayes 行动；若中位数区间不唯一，Bayes 行动也不唯一。对离散行动和 $0$–$1$ 损失，选择后验概率最大的状态，即 MAP 行动。

这些结论由损失决定。后验均值、后验中位数和 MAP 不是三个可以随意互换的“Bayesian 点估计”。

取 $a,b>0$，以 Beta$(a,b)$ 为先验。观察整数 $n\ge 1$ 次 Bernoulli 试验，其中成功 $s$ 次（$0\le s\le n$），则

平方损失下 Bayes 估计为

它可写为

即先验均值与样本比例的加权平均。取 $a=b=1,n=8,s=6$，结果为 $7/10$，而样本比例为 $3/4$。

若目标行动是预测下一次 $0$ 或 $1$ 且错判损失相同，则后验预测成功概率超过 $1/2$ 时选 $1$。这与估计连续参数的平方损失问题不同。

若低估损失权重为 $c_{-}>0$、高估权重为 $c_{+}>0$，损失写成

后验一阶绝对矩有限时，最小化后验风险得到分位数 $q=c_{-}/(c_{-}+c_{+})$。当漏报代价更高时 $q$ 上移，行动更保守地覆盖大参数；这是损失改变最优规则的可追踪机制，不需要修改后验本身。

边界与失败情形 ​

Bayes 规则不总是 MAP。连续参数下“精确猜中”的 $0$–$1$ 损失几乎处处为一，不能简单用密度众数解释；MAP 常对应小邻域损失的极限，并且受参数化影响。

后验风险是给定模型和当前数据的条件期望，不等于频率学点风险 $R(\theta ,\delta )$。Bayes 规则平均意义好，不保证对每个固定 $\theta$ 都优于其他规则。

已知正态噪声的Tweedie公式理路Tweedie公式与正态后验矩Tweedie's formula for normal means · Gaussian posterior score identity · Tweedie后验均值公式从正态混合边缘密度的导数恢复后验均值和方差，证明后验均值单调，并区分固定先验公式、密度代入和重新拟合的导数。用观测边缘密度的斜率和曲率恢复后验均值、方差；对任意正常先验，正态似然都保证每个固定观测处的后验矩有限。若先从同批数据估计先验，再把它固定来套公式，得到的是拟合模型的条件量。它不自动等于这套经验估计规则的重复抽样风险；重新拟合时的输入导数也不同于固定先验下的导数。

若后验二阶矩无穷，则对每个有限实数行动 $a$，平方损失风险都无穷；即使均值存在，也不足以恢复有限风险比较。另一方面，行动空间非闭或损失不下半连续时，风险下确界可能不被达到。$\mathrm{argmin}$ 可以作为空集定义，但选取 ${\delta }_B(x)\in \mathrm{argmin}$ 前必须证明它非空。

不当先验若后验虽 proper，某些损失下的后验矩仍可能发散。代数上得到后验核不保证每种 Bayes 行动可定义。

若后验二阶矩有限且行动受约束，如 $a\ge 0$，平方损失 Bayes 行动是后验均值在非空闭凸行动集上的投影。非凸行动空间可能产生多个全局极小点，数值优化返回其中一个时要保留其决策等价性。

后验风险还能比较行动的不确定代价，而不只输出点估计。非对称损失把高估和低估赋予不同权重，Bayes 行动变为相应后验分位数。

在适当条件下，Bayes 规则可为 admissible；某些 least favorable prior 的 Bayes 规则还达到minimax 风险理路极小极大风险Minimax risk在模型族最坏参数上评价算法风险，再在所有允许算法中寻找最优值。。但这些结论需要全参数风险分析，不能从“使用了先验”直接推出。

若两个行动 $a_1,a_2$ 具有相同的有限最小后验风险 $r_{\ast }$，以概率 $\lambda$ 选择前者、以概率 $1-\lambda$ 选择后者，风险仍为 $\lambda r_{\ast }+(1-\lambda )r_{\ast }=r_{\ast }$。这只用期望对随机化分布的线性性，不要求损失对行动线性。直接输出平均行动 $\lambda a_1+(1-\lambda )a_2$ 则是另一回事：它首先须合法，若风险对行动凸，才保证其风险不高于两者的平均。

唯一性可由凸行动集上后验风险的严格凸性保证，并不要求后验非退化。例如后验集中在一个点时，平方损失仍有唯一极小点。软件在并列极小点中固定返回第一个，只是确定了一条选择规则。

多分类行动可用损失矩阵 $C_{ij}$ 表示真实状态 $i$ 却选择 $j$ 的代价。给定后验概率 $q_i(x)$，行动 $j$ 的风险是 $\sum _i{C}_{ij}{q}_i(x)$，逐列计算后取最小者。若所有错分代价为同一个正常数、正确代价为零，这就退化为选择最大后验概率类别。