预测器与假设类

参数表示与样本行为 ​

实线阈值类 $h_a(x)=\mathbf{1}\{x\ge a\}$ 有不可数多个参数。对 $x_1<\cdots <x_m$，阈值只能落在 $m-1$ 个相邻间隙或两端，产生

共 $m+1$ 种标注。有限样本上的有效表达力来自这些不同限制模式，而不是参数集合是否不可数。

参数重复在一个简单模型中已经出现。令 $h_{w,b}(x)=\mathrm{sign}(wx+b)$；把 $(w,b)$ 同乘任意正数，分类函数完全不变。因此“半径不超过 100 的参数有更多模型”并不能直接推出分类函数更多，margin 分析还会把这种缩放商掉。反过来，实线阈值虽然只用一个参数，却能随样本位置连续移动；有限样本上的有效复杂度由它产生的不同限制模式决定。

score 与最终预测也属于不同层。实值函数 $f$ 可以携带置信方向和幅度，分类器 $\mathrm{sign}f$ 只保留决策；两个 score 即使给出相同分类，也可能在 logistic 损失下承担不同代价。讨论函数类时必须先说明类中装的是 score、标签预测还是动作分布。

表达力与可测性边界 ​

取所有二元函数能记住任意有限样本，却对未见点没有可借用的共同结构；表达力最大不等于分布无关可学。这个失败来自函数类允许的行为，而不是“参数太多”这一句口号，具体容量和可学习性由后继页面刻画。

可测性问题在不可数类中尤其真实：即使每个 $h$ 可测，随机上确界 $\underset{h\in \mathcal{H}}{sup}$ 或数据依赖 argmin 也未必可测。常见教材用可数决定子类、可分参数化或外概率处理病态集合。省略这些集合论技术时，仍应声明采用能使风险、上确界和学习器输出可测的标准正则性条件。

比较类、搜索类与输出类 ​

概念类常指允许生成标签的真规则，假设类则指学习器搜索、输出或比较的候选规则；在简单 ERM 中三者可以相同，但一般不能默认如此。算法可能在凸松弛空间中搜索，最终输出投票函数，却仍与原始离散类的最优风险比较。若不分别命名，就会把“优化器找到了松弛最优”误写成“原类 ERM 已求解”。

Proper learner公理库Proper 与 Improper 学习Proper learning · Improper learning区分比较类与学习器实际允许输出的函数类。 的最终输出属于指定假设类 $\mathcal{H}$；improper learner 的输出不必属于 $\mathcal{H}$，却仍以 $\underset{h\in \mathcal{H}}{inf}R(h)$ 为基准。这个区分只约束输出与比较类的关系，不要求两个类具有包含关系，也不替代中间参数化或搜索空间的说明。随机化预测器则是从 $x$ 到动作分布的 kernel，评价时还须对动作随机性取期望。

假设类也不等于训练算法。统计学习问题公理库统计学习问题Statistical learning problem从未知分布的有限观测中选择决策规则，并以样本外表现评价其质量。先固定函数类与信息协议，损失和总体风险公理库损失函数与总体风险Loss function · Population risk · Expected risk损失刻画一次决策的代价，总体风险是未知分布下的平均代价。再规定比较尺度；线性分类器与几何间隔公理库线性分类器与几何间隔Linear classifier · Geometric margin用仿射超平面分类，并以缩放不变的几何间隔衡量分离余量。只是一个具体类及其数据依赖几何。阈值扫描、正则化或 tie-breaking 属于算法层，不能反过来定义类本身。