可实现与不可知学习

若 Bayes 风险为零但类不含 Bayes 规则，问题对 $\mathcal{H}$ 仍不可实现，这是模型错设。若类含 Bayes 规则而标签内在随机，Bayes 风险也可为正。两者都进入不可知比较，却有不同来源。分类噪声模型公理库分类噪声模型Classification noise model · Random classification noise类内真概念的标签以固定且独立的小于二分之一概率翻转。则在可实现真概念之上规定结构化翻转，位于两端之间。

可实现性也不承诺能计算出一致规则。PAC公理库PAC 可学习性PAC learnability · Probably Approximately Correct learning在可实现设定中，以有限样本和高概率达到任意小总体错误的可学习性。加入样本与概率量词；高效 PAC 再要求多项式时间。存在、统计可学和计算可解是三层问题。

可实现设定给学习器一条很强的证据：类内确实存在零总体风险规则，所以零经验误差候选只需排除“坏规则恰好在样本上幸存”的单侧事件。不可知设定没有这个锚点，学习器必须在两个都带采样噪声的经验风险之间做比较，通常需要双侧控制。

确定标签也可能错设 ​

设 $X\in \{1,2,3,4\}$ 均匀，阈值类规定 $h_a(x)={\mathbf{1}}_{\{x\ge a\}}$。标签 $0,0,1,1$ 由 $a=3$ 完全实现；标签 $0,1,0,1$ 则不由任何单阈值实现，即使标签是确定的、Bayes 风险为零，类内最优仍至少错一个点，风险为 $1/4$。这把“标签有噪声”和“类选错了”清楚分开。

插值不等于可实现 ​

一般损失下，“存在零经验损失规则”也可能没有稳定意义。对连续噪声回归，有限样本可被高次插值多项式逐点穿过，平方训练损失为零，但总体风险未必接近类内最优。不可知目标比较真实风险而非是否插值，正是为了容纳噪声、错设和有限样本偶合。

结构化噪声的中间位置 ​

结构化噪声模型不会简单落在二选一标签中。Classification noise 仍有隐藏的类内真概念，但观测风险最低值为 $\eta >0$；从零风险定义看它不可实现，从可恢复结构看又强于完全不可知。使用哪个定理必须跟随观测分布的形式条件。

两种设定对应不同证明信息。可实现一致分类知道类内最优经验与总体风险都为零，可只控制坏规则“幸存”的单侧事件；不可知学习不知道最优经验值，需要比较两个带噪风险并通常做双侧估计。这正是有限类样本率从 $1/\epsilon$ 变为 $1/{\epsilon }^2$ 的来源之一。

PAC 定义会据此分成可实现与不可知版本：前者要求以高概率输出风险至多 $\epsilon$ 的规则，后者要求输出风险至多类内最优加 $\epsilon$。VC 维、Rademacher 复杂度和一致收敛等工具可以服务两条分支，但定理的样本依赖与学习器条件不能混用。

实践中，选择分支并不是问“训练误差是否已经为零”，而是问数据生成分布是否满足类内零风险假设。若这一假设无法辩护，应报告相对类内最优的超额风险；若另有 Massart、Tsybakov 等噪声结构，则应显式使用相应中间条件，以换取比完全不可知更精细的速率。