统计学习问题

二分类用 0–1 损失评价错误概率；平方回归评价数值偏差。共同协议并未强迫预测器是有限维参数，它也可以是树、查找规则或随机决策核。

已知完整目标函数后求最小值是优化问题公理库优化问题Optimization problem在可行解集合上最小化或最大化目标函数的计算问题。；目标由未知分布定义、只能用样本近似，并须接受样本外评价时才出现学习层。假设类规定比较对象，损失规定何谓表现好，学习协议则规定算法实际看到了什么。这三层不能由某个优化器的名字代替。

IID 是本页主线而非学习的唯一可能：时间序列、自适应采样和分布漂移需要另写数据协议，不能沿用 $D^m$ 的证明。样本复杂度公理库样本复杂度、精度与置信度Sample complexity · Accuracy and confidence用 m(ε,δ) 描述达到风险精度与失败概率所需的数据量。随后把风险目标变成有限数据保证。

统计困难来自看不见的总体目标：算法只能计算样本上的经验量，部署时评价的却是未知分布下的新观测。假设类限制比较范围，损失把行动后果变成数值，数据协议决定经验量为何有机会代表总体；三者共同定义“学得好”。

邮件分类与分布迁移 ​

一项完整的统计学习问题还必须固定信息边界。设邮件分类的 $X$ 包含正文和发件域，$Y$ 表示是否为垃圾邮件；训练样本若来自旧月份，而部署风险按新月份分布计算，就不再是同一个 $D$。即使训练误差为零，原 IID 保证也没有覆盖这种分布迁移。相反，若先把某月邮件随机分成训练和测试两部分，测试集在算法完成前始终封存，测试平均才可视为对数据依赖预测器的一次独立风险估计。

量词顺序 ​

量词顺序决定陈述强弱。分布无关结论形如“存在一个算法 $A$，对每个允许分布 $D$，当 $S\sim D^m$ 时以高概率成功”；它不是“对每个 $D$ 都能另选一个预先知道 $D$ 的算法”。后者把未知对象泄露给了学习器。监督学习、在线学习和 bandit 的主要差别也首先在信息协议：批学习一次拿到 $S$，在线学习逐轮揭示结果，bandit 还隐藏未选动作的反馈。

估计作为学习的特例 ​

令 $Y\sim \mathrm{Bernoulli}(p)$，预测器是常数 $a\in [0,1]$，损失为 $(a-Y{)}^2$。总体风险可以逐项算出：

唯一最优动作是 $a=p$，经验风险最小化器则是样本均值 $\hat{p}=m^{-1}\sum _i{Y}_i$。因此 Bernoulli 参数估计确实是常数预测器类上的平方损失学习，而不只是术语类比。反过来，只有神经网络训练脚本、没有分布族、损失和样本外基准，还没有定义完整的统计学习问题。

分布族边界 ​

最后还需规定允许的分布族。分布无关 PAC 允许全部满足可测性与损失条件的 $D$，minimax 估计常把 $D$ 限制在参数族 $\{P_{\theta }\}$，协变量漂移则假定条件分布某部分保持。限制越强，可能获得越快的速率；这些速率不能回填到未受限制的协议。

经验风险最小化把未知总体风险换成样本上可计算的目标；一致收敛、复杂度界或稳定性再负责证明这个替换对数据依赖输出仍可靠。算法成功需要两件事同时成立：经验目标确实被近似优化，经验量与总体量之间的桥也足够牢固。

PAC 可学习性进一步为本页协议加入 $\epsilon$ 精度、$\delta$ 置信度和样本复杂度量词。可实现与不可知版本选择不同的总体基准，VC 理论、PAC-Bayes 和算法稳定性则提供不同的泛化证明路线；它们共享本页对象，却不能省略各自的附加条件。

若数据改为逐轮到达、算法必须在结果揭示前行动，问题转向在线学习协议公理库在线学习协议Online learning protocol学习器按轮先行动、再接收结果与反馈的序贯决策协议。，评价也常改为相对比较器的遗憾；若未选动作的结果被隐藏，则进一步进入 bandit。批学习、在线学习和 bandit 采用不同的信息结构，不能把三者视为同一算法的运行模式标签。