主动学习与分歧系数

主动学习只为仍能改变候选集合的标签付费。version space 越收缩，分歧区域通常越小；分歧系数衡量“候选已经彼此接近”能否真正转化成“需要查询的输入区域也同步缩小”。

阈值分类器例子 ​

令 $H=\{h_a(x)=\mathbf{1}\{x\ge a\}:a\in \mathbb{R}\}$，$P_X$ 在一个区间上无原子，分布函数记作 $F_X$。两个阈值的风险距离为 $|F_X(a)-F_X(a^{\ast })|$。半径 $r$ 的球在目标两侧各能伸展至多 $r$ 的概率质量，故其分歧区域质量至多 $2r$，从而 ${\theta }_{h^{\ast }}(r_0)\le 2$。当 $0<F_X(a^{\ast })<1$ 时，足够小的 $r$ 两侧都能取得质量 $r$，所以 ${\theta }_{h^{\ast }}(0)=2$。

算法只需不断查询当前候选阈值夹出的窄区间内的点，标签复杂度可对 $1/\epsilon$ 呈对数依赖，而被动学习仍需要看到足够多自然落近边界的标记点。这一收益来自有序阈值几何和边缘分布，不是主动选择对所有类都能指数省标签。

一般标签复杂度形状 ​

为统一处理分歧区域为空等退化情形，记 $\mathrm{\Theta }(r)=max\{1,{\theta }_{h^{\ast }}(r)\}$。在可实现条件下，若非空类 $H$ 的VC 维理路VC 维Vapnik–Chervonenkis dimension · VC dimension二分类假设类能够完全打散的最大有限点集大小。为有限的 $d$，$0<\epsilon ,\delta <1/2$，CAL 的一种标准标签复杂度保证为

Hanneke 的 Theorem 5.1 把上述 $\mathrm{\Theta }$ 称为分歧系数；本页在几何定义中保留未截断的 $\theta$，在复杂度界中使用 $\mathrm{\Theta }$。隐含常数不依赖目标、误差和置信参数。其机制是：在同时有效的一致学习事件上，把 version space 包进逐渐缩小的目标风险球，再用分歧系数控制每个阶段请求标签的概率。小分歧系数时，对 $1/\epsilon$ 的依赖只剩对数，优于通常被动学习的逆误差尺度；若 $\theta (\epsilon )$ 接近 $1/\epsilon$，这种优势可能消失。

该式只说明标签数。为了等到足够多落在分歧区域的未标记点，算法可能消费更多未标记样本；如果收集输入也昂贵，就不能把它们视为免费。

失败边界 ​

若假设类能在许多互不相交的小区域各自翻转标签，则每个近邻只与 $h^{\ast }$ 在很小区域不同，但这些区域的并集可能覆盖几乎全部输入，分歧系数很大。算法几乎处处都需查询，主动学习退回被动复杂度。小 VC 维也不单独保证小分歧系数，因为后者同时依赖 $P_X$ 和目标位置。

标签噪声、模型错设和选择偏差会改变 version space。硬删除真实目标后无法恢复；实际噪声主动学习使用置信区间、surrogate loss 或 disagreement-based 的软版本，并需要 Massart/Tsybakov 等额外条件。

与其他查询模型的边界 ​

池式/流式主动学习只能查询由 $P_X$ 产生的输入。成员查询理路成员与等价查询学习Membership query learning · Equivalence query learning · Exact learning from queries在可主动询问目标概念标签并提交完整候选接受反例的协议中，以查询数和计算时间衡量精确概念识别。允许任意构造 $x$，可能访问分布质量为零的点；等价查询还能获得全局反例。三者的 label/query complexity 不应直接比较而不说明 oracle 能力。

主动学习降低的是标注成本，不自动降低总体风险估计偏差。因为训练样本被选择性标注，若要估计自然分布下的风险，需使用独立评估集或校正查询概率。

阈值与低分歧系数类可把标签复杂度对 $1/\epsilon$ 的依赖从线性降为对数，而未标记样本和计算成本仍需单独核算。噪声条件下，置信 version space 与 Massart/Tsybakov 结构决定这种收益能否保留。

池式筛选、流式触发和成员查询使用不同输入权限。应用到医学标注、内容审核或实验设计时，应先说明系统能否选择任意输入、是否只能从自然流中挑选，以及最终风险如何在原分布上评估。