Bayes 预测器与 Bayes 风险

若同一 $x$ 的标签以 $0.8/0.2$ 随机出现，任何分类器至少承担 $0.2$ 条件错误。正 Bayes 风险不是样本少或优化失败，而是观察 $X$ 后仍不可消除的不确定性。

Bayes classifier 不要求给参数设置先验。Bayes 定理理路Bayes 定理Bayes' theorem · Bayes' rule用先验与证据在各假设下的可能性反转条件方向，得到归一化后验。可帮助计算条件概率；本页“Bayes 最优”说的是相对真实联合分布与损失的最优预测，有限样本学习器只能尝试估计它。与之相近的Bayes 估计量理路Bayes 估计量与后验风险Bayes estimator · Posterior expected loss给定观测后最小化后验期望损失的行动规则及其条件风险。则先对参数设先验，再最小化后验平均损失，所平均的是参数不确定性。

以两个特征值为例：$\text{Pr}(X=a)=\text{Pr}(X=b)=1/2$，$\text{Pr}(Y=1\mid a)=0.9$、$\text{Pr}(Y=1\mid b)=0.4$。0–1 Bayes 分类器在 $a$ 预测 1、在 $b$ 预测 0，风险为

始终预测多数类 1 的风险则为 $\text{Pr}(Y=0)=0.35$。这个算例既说明特征条件化能降低风险，也说明 Bayes 风险不必为零。

最优阈值也依赖损失。若误报正类与漏报正类的代价分别为 $c_{01},c_{10}\ge 0$，且 $c_{01}+c_{10}>0$，两动作的条件风险分别为 $c_{01}(1-\eta )$ 和 $c_{10}\eta$，因此在 $\eta \ge c_{01}/(c_{01}+c_{10})$ 时预测 $1$。漏报代价为误报四倍时阈值为 $1/5$，不能仍取 $1/2$。

若动作还允许拒绝，条件成本要再加入拒绝代价，并同时报告接受覆盖率与接受后错误；完整规则见选择性分类理路选择性分类与拒绝风险Selective classification · Classification with reject option · Risk-coverage tradeoff为可拒绝预测同时定义覆盖率、接受后错误和拒绝成本，推导Bayes拒绝区间与固定覆盖率最优选择，并说明校准保证可保留的筛选范围。。若另要求跨群组的选择比例或条件错误率满足约束，优化目标也要增加相应条件，见群体公平准则理路分类中的群体公平准则Demographic parity · Equalized odds · Equality of opportunity用不同条件独立关系区分选择比例平衡、等化错误率、机会均等与概率校准，并在同一混淆表中计算它们的差异。。对连续概率分数，群体校准与正负类平均分平衡理路校准与群体平衡的不可兼得性Calibration fairness impossibility在不同非退化基率下，用两条平均分恒等式证明群体内概率校准与正负类平均分平衡只有完美预测例外，并区分阈值错误率条件。在不同基率下还存在明确的不可兼得性，单一总体风险最优不会自动解决这些约束。

多类并列时，任取条件概率最大的标签都有相同条件风险，但学习器必须固定可测的平票规则。连续动作还需检查可积性：平方损失下若条件二阶矩为无穷，即使条件均值有限，也不能据此得到有限的条件风险。

Bayes 风险还可写成条件最优风险的期望：

这里需要条件下确界可测，并能由允许的可测规则实现或逼近。例如非负损失下，若对每个 $\eta >0$ 都有可测规则 $h_{\eta }$ 满足 $r(h_{\eta }(x)\mid x)\le \underset{a}{inf}r(a\mid x)+\eta$ 几乎处处，积分后再令 $\eta \downarrow 0$ 即得等式。仅允许“所有可测规则”并不能自动保证这样的选择存在。若只在假设类 $\mathcal{H}$ 中优化，得到的是 $R_{\mathcal{H}}^{\ast }$，通常大于 $R^{\ast }$；把二者相减才是逼近误差。

平方回归还给出精确的误差分解。若 $\mathbb{E}{Y}^2<\mathrm{\infty }$ 且 $\mathbb{E}h(X{)}^2<\mathrm{\infty }$，将上面的条件平方恒等式积分便得

第一项是观察 $X$ 后仍残留的噪声，第二项是预测器偏离条件均值的代价。分类中的代理损失需要另一种联系：分类校准约束逐点条件风险的最优决策，不能单凭校准就断言任意受限假设类的代理损失最优解也是该类的 0–1 最优解。

当 $Y$ 为二元标签、$X$ 换成报告概率 $S$ 时，再用全方差公式比较条件均值与总体基率，可得Brier 分数的可靠度—分辨力分解理路Brier 分数的可靠度—分辨力分解Brier score decomposition · Murphy decomposition把二元概率平方误差严格分为可靠度损失减分辨力加基率不确定性，并逐项算出校准修正和无信息预报的差别。。它区分了报告值失准造成的损失与不同报告档真实风险差异带来的收益，所以完全校准的常数预报仍可能不够有用。

Gaussian 判别分析理路Gaussian 判别分析Gaussian discriminant analysis · Linear discriminant analysis · Quadratic discriminant analysis · LDA · QDA从类别条件正态密度与先验推导 LDA/QDA 分数，明确误分类成本、协方差假设和估计参数后的插件规则。给出显式分类实例：类别条件密度正态时，Bayes 比较化为含先验和协方差行列式的二次分数；共享协方差时化为线性分数。未知参数的训练估计产生插件规则，不自动继承已知真实模型下的 Bayes 最优性。