可实现与不可知学习

若 Bayes 风险为零但类不含 Bayes 规则，问题对 $\mathcal{H}$ 仍不可实现，这是模型错设。若类含 Bayes 规则而标签内在随机，Bayes 风险也可为正。两者都进入不可知比较，却有不同来源。分类噪声模型理路分类噪声模型Classification noise model · Random classification noise类内真概念的标签以固定且独立的小于二分之一概率翻转。则在可实现真概念之上规定结构化翻转，位于两端之间。

可实现性也不承诺能计算出一致规则。PAC理路PAC 可学习性PAC learnability · Probably Approximately Correct learning在可实现设定中，以有限样本和高概率达到任意小总体错误的可学习性。加入样本与概率量词；高效 PAC 再要求多项式时间。存在、统计可学和计算可解是三层问题。

可实现设定给学习器一条很强的证据：类内确实存在零总体风险规则，所以零经验误差候选只需排除“坏规则恰好在样本上幸存”的单侧事件。不可知设定没有这个锚点，学习器必须在两个都带采样噪声的经验风险之间做比较，通常需要双侧控制。这解释了有限类的标准样本界为何分别含 $1/\epsilon$ 与 $1/{\epsilon }^2$：前者排除一直没暴露错误的坏规则，后者要分辨相差 $\epsilon$ 的两个带噪均值。

确定标签也可能错设 ​

设 $X\in \{1,2,3,4\}$ 均匀，阈值类规定 $h_a(x)={\mathbf{1}}_{\{x\ge a\}}$。标签 $0,0,1,1$ 由 $a=3$ 完全实现；标签 $0,1,0,1$ 则不由任何单阈值实现，即使标签是确定的、Bayes 风险为零，类内最优仍至少错一个点，风险为 $1/4$。这把“标签有噪声”和“类选错了”清楚分开。

插值不等于可实现 ​

甚至不需要复杂插值就能看出区别。若 $X$ 恒定、$Y$ 独立均匀取 $0,1$，假设类只有两个常数规则，任何规则的总体错误都是 $1/2$。但 $m$ 个样本标签恰好全相同的概率为 $2^{1-m}$，在这个事件上仍存在零训练错误规则。观察到一致只排除了与这批标签冲突的候选，没有消除未来标签的随机性。

一般损失下，“存在零经验损失规则”也可能没有稳定意义。对连续噪声回归，有限样本可被高次插值多项式逐点穿过，平方训练损失为零，但总体风险未必接近类内最优。不可知目标比较真实风险而非是否插值，正是为了容纳噪声、错设和有限样本偶合。

结构化噪声的中间位置 ​

结构化噪声模型不会简单落在二选一标签中。Classification noise 仍有隐藏的类内真概念，但观测风险最低值为 $\eta >0$；从零风险定义看它不可实现，从可恢复结构看又强于完全不可知。使用哪个定理必须跟随观测分布的形式条件。

PAC 定义会据此分成可实现与不可知版本：前者要求以高概率输出风险至多 $\epsilon$ 的规则，后者要求输出风险至多类内最优加 $\epsilon$。VC 维、Rademacher 复杂度和一致收敛等工具可以服务两条分支，但定理的样本依赖与学习器条件不能混用。

实践中，选择分支并不是问“训练误差是否已经为零”，而是问数据生成分布是否满足类内零风险假设。若这一假设无法辩护，应报告相对类内最优的超额风险；若另有 Massart、Tsybakov 等噪声结构，则应显式使用相应中间条件，以换取比完全不可知更精细的速率。