形式陈述
设 适应于滤过 ,条件均值为零。假设有非负可预测量 ,使对每个 ,条件矩母函数公理库矩母函数Moment-generating function · MGF在存在邻域内以 E[e^{tX}] 编码随机变量各阶矩的函数。满足
记 、,初值均为零。对固定 ,
是初值一的非负上鞅公理库鞅Martingale · Submartingale · Supermartingale在当前全部信息下,下一步条件均值等于当前值的可积适应过程。。证明直接来自单步乘法:,其条件均值不超过一。
在观察数据前固定 ,用正态分布公理库正态分布Normal distribution · Gaussian distribution · 高斯分布具有指数平方密度、在仿射变换与独立求和下封闭的概率分布族。 混合 。假设被积过程对样本与 联合可测,则
给定 ,定义
于是有双侧、全时间保证
这里 是控制条件指数矩的方差代理,可以随过去变化;它不必等于真实条件方差,也不是未经证明就能换成的样本方差。
直觉
固定 相当于预先选择一种下注力度。小 倾向捕捉长时间累积的小偏差,大 更关注短期大偏差。若看完数据再挑表现最好的力度,赢家财富会受到选择偏差;混合方法则在开始时把一元本钱按概率权重分给所有力度,让总财富仍有一元的预算。
双侧高斯混合同时给正、负 分配权重。正偏差使正 的策略赚钱,负偏差使负 的策略赚钱;因此同一个财富门槛已经控制两侧合在一起的错误,不需要再把本页公式中的 换成 。
为什么积分仍是合法证据
非负性允许用Tonelli 定理公理库Tonelli 定理Tonelli's theorem非负可测函数的二重积分与两种迭代积分相等,允许共同取无穷。及其条件期望形式交换积分:
每个固定时刻的期望至多为一,也保证混合量几乎必然有限。它的初值为 ,所以是检验上鞅。
把正态密度代入后,指数为
完成平方并积分,得到形式陈述中的闭式。再对 取对数并移项:
这恰为 。最后应用 Ville 不等式公理库Ville 不等式Ville's inequality · Ville inequality非负上鞅在无限时间内达到给定水平的概率,由初始期望除以该水平控制。,就把同一个财富预算转成整条路径的边界保证。
例子与边界
有界观测的实际尺度
设 且 。条件 Hoeffding 引理对 给出 ,因此 。取 、:
|
|
|
均值半径 |
| 10 |
2.5 |
5.03535464 |
0.50353546 |
| 100 |
25 |
15.50769448 |
0.15507694 |
| 1000 |
250 |
53.76566087 |
0.05376566 |
第一行半径很大,反映小样本下全时间保证可能相当保守。这里无需观测独立同分布,只需所写的条件均值与有界性;也不能把 解读为已经测得的累计真实方差。
Bernoulli 的 Beta 混合
若模型明确为 IID Bernoulli,,可以直接混合似然比。设前 次有 次成功,对备择成功率 使用预先固定的 Beta 权重,其中 ,并定义
积分得到
每个 对应合法似然比鞅,所以这个概率混合也合法。对 ,若前 次全成功,则 ,从而 。第四次财富为 ,第五次为 ;阈值为 时,第五次才拒绝。
为比较两种策略,把它们都放在全成功路径 上:检验鞅例子公理库检验鞅与 e-processTest martingale · Test supermartingale · e-process · 检验上鞅区分固定时刻的 e 值与可在停时读取的证据过程,并用非负检验上鞅构造随时有效检验。中的固定 策略在第四次越界,Beta 混合在第五次越界,晚了一次,但它事先没有把全部预算押在某一个备择上。被链接例子实际展示的是 ;若采用那条路径,Beta 混合第五次的财富为 ,不会达到阈值 。
这种混合的任务是平均检验证据以保存预算,与有限混合模型中的潜在类别建模、EM 的似然优化不同。
调参、尾部与增长率
决定预算在不同力度之间怎样分配,必须在观察这批数据前固定。看完数据挑最好的 ,或直接使用 ,都不是上述概率积分;要获得有效性,必须另行校准选择。总质量无限的非正常先验也不能当作初值一的普通混合。
本页要求所有实数 的条件指数矩界。只有有限方差的重尾观测通常不满足它;仅混合 时,高斯积分闭式也会改变。本页的高斯混合边界在固定 后按 增长,并非迭代对数尺度 的最优边界。
推论与应用
将有界观测例中的 代回边界,对 反解就得到置信序列公理库置信序列Confidence sequence · Anytime-valid confidence sequence · 时间一致置信序列一列随数据更新的随机置信集合,以规定概率在所有时间同时覆盖同一个固定参数目标。。这让同一批不断增长的数据可以持续显示有覆盖保证的均值区间。
Chernoff 方法公理库Chernoff 方法与 Chernoff 界Chernoff method · Chernoff bounds从指数矩与 Markov 不等式推导尾界,给出独立 Bernoulli 和的乘法形式、KL 形式及适用条件。在固定时刻优化指数参数,常得到更短的当时尾界;混合方法为整条时间轴保存一个共同的证据预算,解决的是不同的量词要求。作为e-process公理库检验鞅与 e-processTest martingale · Test supermartingale · e-process · 检验上鞅区分固定时刻的 e 值与可在停时读取的证据过程,并用非负检验上鞅构造随时有效检验。的构造,混合还可以用于不同预测策略之间的证据分配,但每个被混合策略自身必须先在同一零假设下有效。
参考资料
- Steven R. Howard, Aaditya Ramdas, Jon McAuliffe, Jasjeet Sekhon, Time-uniform, nonparametric, nonasymptotic confidence sequences, The Annals of Statistics 49(2), 1055–1080, 2021;作者稿,§3.2、Appendix A.3 的双侧 normal mixture。本页使用明确的条件矩母函数充分条件。
- Aaditya Ramdas, Peter Grünwald, Vladimir Vovk, Glenn Shafer, Game-Theoretic Statistics and Safe Anytime-Valid Inference, Statistical Science 38(4), 576–601, 2023,§3.2.3。