AdaBoost 算法

正确分类时 $y_i{h}_t(x_i)=1$，权重乘 $e^{-{\alpha }_t}$；误分类时该乘积为 $-1$，权重乘 $e^{{\alpha }_t}$。归一化后，下一轮更重视当前组合的困难点。若 ${\epsilon }_t<1/2$，则 ${\alpha }_t>0$；当 ${\epsilon }_t=1/2$ 时该分类器没有贡献；大于 $1/2$ 时弱学习条件失效，通常应翻转分类器或停止，而不是照搬正系数解释。

与乘法权重的精确对应 ​

把训练点视为动作，令本轮的辅助损失为 ${\ell }_t(i)=(1+y_i{h}_t(x_i))/2\in \{0,1\}$，即正确点记 $1$、错误点记 $0$。取学习率 ${\eta }_t=2{\alpha }_t$，则指数乘法更新理路乘法权重更新方法multiplicative weights update · MWU以指数方式降低高损失动作的权重，并用总权重势函数给出累计性能保证。满足

共同因子在归一化中消失，恰得到 AdaBoost 更新。这解释了为何它提高错误点的相对权重；这里使用的是更新结构，下面的训练误差证明不需要套用固定学习率的专家 regret 界。

指数损失推导 ​

令加法 score $F_T(x)=\sum _t{\alpha }_t{h}_t(x)$。经验指数损失为

按上述更新展开可得它等于 $\prod _{t=1}^T{Z}_t$。对固定 $h_t$，最小化 $Z_t=(1-{\epsilon }_t)e^{-\alpha }+{\epsilon }_t{e}^{\alpha }$ 得到给定的 ${\alpha }_t$，且最小值 $2\sqrt{{\epsilon }_t(1-{\epsilon }_t)}$。又因为误分类时 $e^{-y_i{F}_T(x_i)}\ge 1$，训练错误率不超过这组归一化常数的乘积。

四个等权样本上，若弱分类器只错一个，则 $\epsilon =1/4$、$\alpha =\frac{1}{2}\log 3$。正确点的未归一化权重是 $1/(4\sqrt{3})$，错误点为 $\sqrt{3}/4$，总和 $Z=\sqrt{3}/2$。归一化后错误点占 $1/2$，另外三点各占 $1/6$，原来的一处错误现在拿到半数训练权重。下一轮若仍输出同一分类器，其加权错误恰为 $1/2$，不再提供正优势；所以不能把弱学习条件只验证在初始均匀分布上。

在含少量几何上困难点的二维样本中，第一棵决策桩会分对大多数点；误分点权重上升后，第二棵桩沿另一坐标切分，最终加权 score 综合两条边界。若困难点实际是错标异常值，权重也会持续集中到它们上面，导致对噪声敏感；这不是算法必然“自动忽略异常”的场景。

指数训练损失下降不等于总体误差必然下降，仍需 margin 或复杂度泛化分析。AdaBoost 优化的代理是 exponential loss，与分类代理损失理路分类代理损失与校准classification calibration · classification surrogate loss说明可优化代理风险在什么条件下能够控制二分类的零一超额风险。相关；它不是交叉熵算法，也不是单纯多数概率放大。

归一化常数的乘积给出 AdaBoost 训练错误的指数下降界；进一步考察归一化 margin 分布，可解释训练错误归零后继续迭代时的部分泛化现象。两者控制的对象不同，不能以训练势函数直接替代测试风险。

决策桩、浅树和其他弱学习器都可嵌入该更新，只要它们在当前加权分布上保持正优势。标签噪声会让权重长期集中到不可拟合点，实践中常需收缩步长、早停或更稳健的损失。