“概率循环期望界给出一个定量接口:在可数离散状态上,非负扩展实值函数按逐点序构成完备格,满足 $\Phi(I)\le I$ 的候选函数因而给循环最小不动点一个上界。在一般可测状态空间上,任意上…”
形式陈述
对循环
若非负可测函数
本页讨论没有非确定选择的程序。对于下界,给出一个足够条件:循环从所讨论初态几乎必停,
直觉
上界可以从零开始归纳:零不超过候选界,每次展开后仍不超过它,极限自然也不超过它。下界若从一个较大的候选开始,可能一直保留只在无限运行中存在的“虚假奖励”;要把这种残留消掉,需要终止和尾部条件。
因此概率不变式不是把布尔循环不变式的真、假换成数字就结束了。极限中的奖励是否还留在未终止路径上,是新的证明义务。
例子与边界
手算对称赌徒的胜率
状态
在内部,
从任意内部状态,连续四次选同一方向的概率至少为
下不动点本身为什么不够
对 while true do skip,特征函数为
让尾项消失的具体计算
记终止时刻为
若
如果
推论与应用
本页的上界证明只需从零开始的可数迭代:由
若状态空间可数且取离散 σ-代数,则所有非负扩展实值函数都可测,它们的逐点序确实构成完备格,这时也可直接用 Knaster–Tarski 不动点定理。一般可测空间中,任意一族可测函数的逐点上确界未必可测,不能无条件调用其完备格版本。
若想证明有限期望运行时间,应对成本特征函数寻找上界,而非只对终止奖励一寻找上界。排序上鞅提供平均下降证书,运行时间变换器则将每条语句的成本逐项组合。
参考资料
- [1] Annabelle McIver, Carroll Morgan, Benjamin Lucien Kaminski and Joost-Pieter Katoen, A New Proof Rule for Almost-Sure Termination, 2018,循环不变式、下界与终止条件。
- [2] Benjamin Lucien Kaminski et al., Weakest Precondition Reasoning for Expected Run-Times of Probabilistic Programs, 2016,循环上界归纳。