预测器与假设类

预测器回答“给定一个新输入，怎样产生预测”，学习算法回答“看过这些数据后，选出哪一个预测器”。假设类则划定允许比较的整批规则。单个模型参数、训练程序和模型家族因此处在三个不同层次。

学习后留下的对象是可供新输入调用的规则；训练数据可以参与这条规则，例如最近邻预测会保存训练点，但仍须明确新输入怎样映射到输出。因而“训练完只剩参数向量”只是某些实现，并非预测器的定义。

限定假设类，是让已有样本能够对未见位置施加约束。例如一维阈值一旦选定，整条实数轴上的标签随之确定；完全自由的函数却可以只在训练点上保持一致，其他地方任意改变。关键不只是参数多不多，而是训练点之间以及训练点之外的行为被怎样联系起来。

阈值类：无限多个函数，有限种样本表现 ​

取 $\mathcal{X}=\mathbb{R}$，$h_t(x)=\mathbf{1}\{x\ge t\}$，其中 $t\in \mathbb{R}$。训练点为 $(1,0),(2,0),(4,1)$ 时，所有 $t\in (2,4]$ 都完全拟合训练集。它们却不是同一函数：$t=2.5$ 与 $t=3.5$ 在新输入 $x=3$ 上给出不同预测。

对任意 $m$ 个互异且已排序的实数输入，阈值只能在相邻输入之间切换，因而产生恰好 $m+1$ 种二元标签向量。参数可取不可数多个值，样本上的行为却只有线性多种。这比简单计算参数个数更接近增长函数公理库增长函数与打散系数Growth function · Shattering coefficient计算二分类函数类在有限点集上能够实现的不同标注数。所刻画的学习复杂度。

参数冗余与输出类型 ​

线性阈值分类器 $h_{w,b}(x)=\mathbf{1}\{w^{\mathrm{\top }}x+b\ge 0\}$ 满足

因为正倍数不改变符号，零边界处的判定约定也相同。然而实值打分函数 $s_{w,b}(x)=w^{\mathrm{\top }}x+b$ 会被缩放；再通过 logistic 函数转换出的概率通常也会改变。因此“这些参数表示相同预测器”依赖于究竟把分类标签、打分还是概率作为输出。

若预测器输出一个概率分布，随后再抽样产生标签，确定的对象可以是概率核 $x\mapsto Q_x$；每次抽出的标签则仍然随机。不能因为训练完成就把所有随机预测都误写成固定标签函数。

经验表现与总体表现 ​

给定非负损失 $\ell (\hat{y},y)$，经验风险和总体风险分别为

总体风险要求相应损失可测；允许它取无穷，或另加可积条件保证有限。经验风险只检查已见样本，总体风险则涉及抽样分布 $P$。前面的两个阈值经验风险相同，却可能有不同总体风险。具体取 $X$ 在 $\{1,2,3,4\}$ 上均匀分布，真实标签由 $h_{2.5}$ 产生。在已给训练点 $1,2,4$ 上，两者都不犯错；在剩下的 $3$ 上，$h_{2.5}(3)=1$ 而 $h_{3.5}(3)=0$，故两者总体风险分别为 $0$ 与 $1/4$。样本限制只能确定一组候选，并没有自动确定未见位置的标签。

经验风险最小化公理库经验风险最小化Empirical risk minimization · ERM在假设类中选择训练样本平均损失最小的规则。在最小值取得时选取 $\hat{h}\in \arg \underset{h\in \mathcal{H}}{min}{\hat{R}}_S(h)$。一般函数类中最小值可能不取得，此时应使用近似最小化条件，而不是把空的 argmin 当成算法输出。

没有限制时，未见标签可以完全独立 ​

考虑有 $2m$ 个输入点的均匀分布，并让每个点的二元标签独立公平选择。一批 $m$ 个训练样本至多见到 $m$ 个不同输入，所以至少一半的输入点未被观察。给定训练数据，任一未见点的标签仍是独立公平比特；任何学习规则在这些点上的平均错误率都是 $1/2$。

因此，对随机选取的目标标记，学习器的期望总体错误至少为 $1/4$，从而存在某个固定目标标记也使其期望错误至少这么大。在含任意大有限子集的无限输入域上，所有二元函数组成的类不可能拥有分布无关的有限样本统一保证。这个障碍不适用于固定有限域的同样结论：已知域只有 $N$ 个点时，样本量可以依赖 $N$，记忆足够多观测本身也能形成学习规则。

为假设类选择合适的限制，需要同时考虑能否表达目标和能否从有限数据辨别候选。缩小类可能排除真实规律，但扩大类也可能让许多相互冲突的预测器在训练集上毫无区别。VC 维公理库VC 维Vapnik–Chervonenkis dimension · VC dimension二分类假设类能够完全打散的最大有限点集大小。、增长函数和Rademacher 复杂度公理库Rademacher 复杂度Rademacher complexity · empirical Rademacher complexity通过拟合随机符号理解函数类复杂度，推导线性类、有限类和泛化界，并说明损失类与数据依赖选择的区别。刻画的是这些行为能力，不是“参数越少必然越好”的排序。

ReLU 网络函数类公理库ReLU 网络函数类ReLU network function class · 一维 ReLU 折点表示从固定架构的函数集合出发，用斜率跳跃证明一维连续分段仿射函数的精确 ReLU 表示，并核对宽度、参数与泛化条件。给出另一种具体的表示冗余：正齐次性允许同时缩放隐藏单元的输入权重和反向缩放输出权重，而保持预测函数不变。在一维情形，把网络整理为折点、斜率跳跃和最左直线，还能直接看出哪些单元相互抵消。

函数类与优化方法也应分离。两个训练算法即使搜索同一个类，也可能因初始化、优化误差、正则化或样本依赖的选择规则，返回不同预测器。反过来，同一个预测函数可以有多种参数表示；验证它的数学性质时，应检查输入—输出行为，不能只比较参数向量是否相等。