专家建议预测

Hedge 不急着永久选定一位专家，而是让每位专家的累计表现决定下一轮话语权。一次损失只把对应权重乘上一个因子，因此短期失误不会把专家彻底清零；长期持续较差的专家则会指数级失去权重。势函数把所有候选的剩余质量放在同一个数里，上界记录算法每轮付出的混合损失，下界保留事后最好专家那一项。

$\log N$ 不是说必须逐个“学会”所有专家，而是同时与 $N$ 个固定参照竞争所付的复杂度。专家之间可以高度相关，甚至大多数都很差；保证只需要最好固定专家藏在集合里，并不假设多数投票可靠，也不保证这个最好者的绝对损失很小。

天气预测与凸混合 ​

天气预测器可被视为专家，但它们不必独立、诚实或各自准确；保证只与最好固定专家比较。学习器的混合可作为随机选专家，也可在凸损失下直接组合预测。

专家给“建议”和专家直接承担“损失”是等价接口的两步：若专家 $i$ 预测 $z_{t,i}$，环境揭示结果 $y_t$ 后定义 ${\ell }_{t,i}=\ell (z_{t,i},y_t)$；若损失对预测凸，学习器还可输出加权平均 $\sum _i{p}_{t,i}{z}_{t,i}$，其损失不超过混合损失。非凸 0–1 损失下通常需要随机选专家，不能无条件平均标签。

信息次序与比较器边界 ​

若 $N=1$，算法只能跟随唯一专家，遗憾恒为零但绝对损失可能很大；专家框架从不保证世界可预测。若专家在看见本轮随机选择后才提交建议，也破坏了标准信息次序，不能沿用同一势函数分析。

比较器只允许挑一个固定专家。若希望与最好的专家切换序列比较，要限制切换次数并增加相应罚项；否则每轮挑当轮零损失专家的 oracle 过强，标准 Hedge 的 $O(\sqrt{T\log N})$ 结论没有覆盖它。

对 0–1 预测和错误计数，Weighted Majority 算法公理库Weighted Majority 算法Weighted Majority · 加权多数算法在二元在线预测中，对犯错专家乘法降权并按剩余权重多数表决。对犯错专家乘性降权，得到相对于最佳固定专家的错误界；对一般有界损失，Hedge公理库指数权重与 HedgeHedge algorithm · exponential weights在全信息有界损失下按累计损失指数加权，并取得平方根级专家 regret。用指数权重给出期望或确定性混合损失的遗憾界。二者共享乘性更新骨架，但输出规则与损失模型应随协议分别陈述。

专家框架可以聚合天气模型、资产配置规则、超参数实例或不同算法的在线预测。只要每轮能在更新前收齐各专家建议，并在结果出现后计算所有专家损失，Hedge 的保证便与专家内部如何产生建议无关；这使它成为组合异质预测器的通用外层。

若反馈缩减为仅观察所选专家，问题转为多臂赌博机，重要性加权会把估计方差和动作数带入遗憾。若损失序列很容易、方差很小，二阶专家建议界公理库二阶专家建议界Second-order expert bounds · Variance regret bound用每轮专家损失相对学习器混合损失的平方偏差替代最坏轮数，使指数权重在容易序列上自动获得更小遗憾。还能用实际波动替代最坏的 $T$ 依赖，在简单序列上给出更敏感的保证。

把固定专家换成允许有限次切换的路径，可得到 tracking the best expert；把专家数扩展到连续参数族，则需用先验权重、覆盖或凸优化结构代替有限求和。每次增强比较器都扩大了事后选择能力，也必须在遗憾中支付相应复杂度。