Skip to content

方法Method

混合序贯边界

Mixture boundary · Method of mixtures · Normal mixture boundary

对指数上鞅作预先固定的概率混合,再把财富阈值反解为对所有时间同时有效的偏差边界。

形式陈述 ​

设 (Dt) 适应于滤过 (Ft),条件均值为零。假设有非负可预测量 vt,使对每个 λ∈R,条件矩母函数满足

E[eλDt∣Ft−1]≤eλ2vt/2.

记 St=∑i=1tDi、Vt=∑i=1tvi,初值均为零。对固定 λ,

Lt(λ)=exp⁡{λSt−λ2Vt/2}

是初值一的非负上鞅。证明直接来自单步乘法:Lt/Lt−1=exp⁡(λDt−λ2vt/2),其条件均值不超过一。

在观察数据前固定 ρ>0,用正态分布 π=N(0,1/ρ) 混合 λ。假设被积过程对样本与 λ 联合可测,则

Mt=∫RLt(λ)π(dλ)=ρVt+ρexp⁡{St22(Vt+ρ)}.

给定 0<α<1,定义

uα(v)=(v+ρ)log⁡v+ρρα2.

于是有双侧、全时间保证

P(∃t≥1:|St|≥uα(Vt))≤α.

这里 vt 是控制条件指数矩的方差代理,可以随过去变化;它不必等于真实条件方差,也不是未经证明就能换成的样本方差。

直觉

固定 λ 相当于预先选择一种下注力度。小 λ 倾向捕捉长时间累积的小偏差,大 λ 更关注短期大偏差。若看完数据再挑表现最好的力度,赢家财富会受到选择偏差;混合方法则在开始时把一元本钱按概率权重分给所有力度,让总财富仍有一元的预算。

双侧高斯混合同时给正、负 λ 分配权重。正偏差使正 λ 的策略赚钱,负偏差使负 λ 的策略赚钱;因此同一个财富门槛已经控制两侧合在一起的错误,不需要再把本页公式中的 α 换成 α/2。

为什么积分仍是合法证据 ​

非负性允许用Tonelli 定理及其条件期望形式交换积分:

E[Mt∣Ft−1]=∫E[Lt(λ)∣Ft−1]π(dλ)≤∫Lt−1(λ)π(dλ)=Mt−1.

每个固定时刻的期望至多为一,也保证混合量几乎必然有限。它的初值为 π(R)=1,所以是检验上鞅。

把正态密度代入后,指数为

−Vt+ρ2λ2+λSt=−Vt+ρ2(λ−StVt+ρ)2+St22(Vt+ρ).

完成平方并积分,得到形式陈述中的闭式。再对 Mt≥1/α 取对数并移项:

St2Vt+ρ≥2log⁡(1/α)+log⁡Vt+ρρ.

这恰为 |St|≥uα(Vt)。最后应用 Ville 不等式,就把同一个财富预算转成整条路径的边界保证。

例子与边界

有界观测的实际尺度 ​

设 Xt∈[0,1] 且 E[Xt∣Ft−1]=p。条件 Hoeffding 引理对 Dt=Xt−p 给出 vt=1/4,因此 Vt=t/4。取 α=0.05、ρ=1:

t Vt u0.05(Vt) 均值半径 u0.05(Vt)/t
10 2.5 5.03535464 0.50353546
100 25 15.50769448 0.15507694
1000 250 53.76566087 0.05376566

第一行半径很大,反映小样本下全时间保证可能相当保守。这里无需观测独立同分布,只需所写的条件均值与有界性;也不能把 t/4 解读为已经测得的累计真实方差。

Bernoulli 的 Beta 混合 ​

若模型明确为 IID Bernoulli(p0),0<p0<1,可以直接混合似然比。设前 t 次有 s 次成功,对备择成功率 q 使用预先固定的 Beta(a,b) 权重,其中 a,b>0,并定义

B(a,b)=∫01qa−1(1−q)b−1dq.

积分得到

Mt(p0)=B(s+a,t−s+b)B(a,b)p0s(1−p0)t−s.

每个 q 对应合法似然比鞅,所以这个概率混合也合法。对 a=b=1,p0=1/2,若前 t 次全成功,则 B(t+1,1)=1/(t+1),从而 Mt=2t/(t+1)。第四次财富为 16/5=3.2,第五次为 32/6=16/3;阈值为 5 时,第五次才拒绝。

为比较两种策略,把它们都放在全成功路径 1,1,1,1,1 上:检验鞅例子中的固定 q=3/4 策略在第四次越界,Beta 混合在第五次越界,晚了一次,但它事先没有把全部预算押在某一个备择上。被链接例子实际展示的是 1,1,1,1,0;若采用那条路径,Beta 混合第五次的财富为 16/15,不会达到阈值 5。

这种混合的任务是平均检验证据以保存预算,与有限混合模型中的潜在类别建模、EM 的似然优化不同。

调参、尾部与增长率 ​

ρ 决定预算在不同力度之间怎样分配,必须在观察这批数据前固定。看完数据挑最好的 ρ,或直接使用 supλLt(λ),都不是上述概率积分;要获得有效性,必须另行校准选择。总质量无限的非正常先验也不能当作初值一的普通混合。

本页要求所有实数 λ 的条件指数矩界。只有有限方差的重尾观测通常不满足它;仅混合 λ≥0 时,高斯积分闭式也会改变。本页的高斯混合边界在固定 ρ 后按 O(vlog⁡v) 增长,并非迭代对数尺度 O(vlog⁡log⁡v) 的最优边界。

推论与应用

将有界观测例中的 St=t(X¯t−p) 代回边界,对 p 反解就得到置信序列。这让同一批不断增长的数据可以持续显示有覆盖保证的均值区间。

Chernoff 方法在固定时刻优化指数参数,常得到更短的当时尾界;混合方法为整条时间轴保存一个共同的证据预算,解决的是不同的量词要求。作为e-process的构造,混合还可以用于不同预测策略之间的证据分配,但每个被混合策略自身必须先在同一零假设下有效。

参考资料
关系图谱12 个相邻概念 · 2 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
类型化关系