专家建议预测

Hedge 不急着永久选定一位专家，而是让每位专家的累计表现决定下一轮话语权。一次损失只把对应权重乘上一个因子，因此短期失误不会把专家彻底清零；长期持续较差的专家则会指数级失去权重。势函数把所有候选的剩余质量放在同一个数里，上界记录算法每轮付出的混合损失，下界保留事后最好专家那一项。

$\log N$ 不是说必须逐个“学会”所有专家，而是同时与 $N$ 个固定参照竞争所付的复杂度。专家之间可以高度相关，甚至大多数都很差；保证只需要最好固定专家藏在集合里，并不假设多数投票可靠，也不保证这个最好者的绝对损失很小。

天气预测与凸混合 ​

天气预测器可被视为专家，但它们不必独立、诚实或各自准确；保证只与最好固定专家比较。随机选专家时，实际损失是 ${\ell }_{t,I_t}$；若本轮损失不依赖尚未抽出的动作，其条件期望才等于 $⟨p_t,{\ell }_t⟩$。混合损失的确定性界并不保证每次随机运行都满足同一错误界。

例如两专家预测概率 $0$ 和 $1$，各获一半权重，结果为 $1$。随机选专家的期望平方损失为 $1/2$；直接输出平均概率 $1/2$ 的平方损失为 $1/4$。后者更小来自凸性，这两种输出方式并非逐轮损失相同的算法。

专家给“建议”和专家直接承担“损失”是等价接口的两步：若专家 $i$ 预测 $z_{t,i}$，环境揭示结果 $y_t$ 后定义 ${\ell }_{t,i}=\ell (z_{t,i},y_t)$；若损失对预测凸，学习器还可输出加权平均 $\sum _i{p}_{t,i}{z}_{t,i}$，其损失不超过混合损失。非凸 0–1 损失下通常需要随机选专家，不能无条件平均标签。

信息次序与比较器边界 ​

若 $N=1$，算法只能跟随唯一专家，遗憾恒为零但绝对损失可能很大；专家框架从不保证世界可预测。若专家在看见本轮随机选择后才提交建议，也破坏了标准信息次序，不能沿用同一势函数分析。

比较器只允许挑一个固定专家。若希望与最好的专家切换序列比较，要限制切换次数并增加相应罚项；否则每轮挑当轮零损失专家的 oracle 过强，标准 Hedge 的 $O(\sqrt{T\log N})$ 结论没有覆盖它。

在专家给出二元标签、反馈真实标签的 0–1 预测子协议中，Weighted Majority 算法理路Weighted Majority 算法Weighted Majority · 加权多数算法在二元在线预测中，对犯错专家乘法降权并按剩余权重多数表决。对犯错专家乘性降权，得到相对于最佳固定专家的乘性错误界；它不因此获得本页一般有界损失的加性无遗憾保证。对一般有界损失，Hedge理路指数权重与 HedgeHedge algorithm · exponential weights在全信息有界损失下按累计损失指数加权，并取得平方根级专家 regret。用指数权重给出期望或确定性混合损失的遗憾界。二者共享乘性更新骨架，但输出规则与损失模型应随协议分别陈述。

专家框架可以聚合天气模型、资产配置规则、超参数实例或不同算法的在线预测。只要每轮能在更新前收齐各专家建议，并在结果出现后计算所有专家损失，Hedge 的保证便与专家内部如何产生建议无关；这使它成为组合异质预测器的通用外层。

若反馈缩减为仅观察所选专家，问题转为多臂赌博机，重要性加权会把估计方差和动作数带入遗憾。若损失序列很容易、方差很小，二阶专家建议界理路二阶专家建议界Second-order expert bounds · Variance regret bound用每轮专家损失相对学习器混合损失的平方偏差替代最坏轮数，使指数权重在容易序列上自动获得更小遗憾。还能用实际波动替代最坏的 $T$ 依赖，在简单序列上给出更敏感的保证。

把固定专家换成允许有限次切换的路径，可得到 tracking the best expert；把专家数扩展到连续参数族，则需用先验权重、覆盖或凸优化结构代替有限求和。每次增强比较器都扩大了事后选择能力，也必须在遗憾中支付相应复杂度。