Skip to content

定义Definition

概率循环不变式与期望界

Probabilistic loop invariant · Expectation invariant

以循环特征函数的不等式证明输出期望界,展示上界归纳、下界反例,以及几乎必停和有界性怎样消除尾项。

形式陈述 ​

对循环 W=while G do C 与非负后期望 f,沿用最弱前期望特征函数

Φf(X)=[¬G]f+[G]wp[C](X),w=lfpΦf.

若非负可测函数 I 满足 Φf(I)≤I,则 w≤I。I 是一个上界不变式或超不动点。若只知 I≤Φf(I),一般不能推出 I≤w。[1]

本页讨论没有非确定选择的程序。对于下界,给出一个足够条件:循环从所讨论初态几乎必停,I 有统一有限上界,并满足 I≤Φf(I),则 I 是可靠下界。更一般的无界版本需要一致可积性等额外尾部控制。

直觉

上界可以从零开始归纳:零不超过候选界,每次展开后仍不超过它,极限自然也不超过它。下界若从一个较大的候选开始,可能一直保留只在无限运行中存在的“虚假奖励”;要把这种残留消掉,需要终止和尾部条件。

因此概率不变式不是把布尔循环不变式的真、假换成数字就结束了。极限中的奖励是否还留在未终止路径上,是新的证明义务。

例子与边界

手算对称赌徒的胜率 ​

状态 x∈{0,1,2,3,4},在 1,2,3 时等概率走到 x−1 或 x+1,到边界 0,4 停止。后期望为 f=[x=4],候选 I(x)=x/4。

在内部,Φf(I)(x)=12(x−1)/4+12(x+1)/4=x/4;在边界,I(0)=0、I(4)=1 与奖励相同。因此上界规则给胜率至多 x/4。

从任意内部状态,连续四次选同一方向的概率至少为 1/16,在此前必已碰到边界。故每四步仍未终止的概率至多乘 15/16,循环几乎必停。又有 0≤I≤1,下界条件也成立,于是胜率恰为 x/4;从 x=1 出发为 1/4。

下不动点本身为什么不够 ​

对 while true do skip,特征函数为 Φ(X)=X。取常数 I=1,有 I≤Φ(I),但循环永不终止,所以最弱前期望是零,1≤0 显然错误。失败来自最小不动点的选择,而不是某次代数计算。

让尾项消失的具体计算 ​

记终止时刻为 T、运行状态为 Sn。将 I≤Φf(I) 展开 n 次,得到

I(s)≤Es[f(ST)1T≤n+I(Sn)1T>n].

若 I≤M<∞,第二项至多 MPrs(T>n);几乎必停使它趋零。第一项由非负单调收敛定理趋于真实终止奖励 w(s),所以 I(s)≤w(s)。

如果 I(Sn) 在越来越罕见的未终止路径上爆炸,概率趋零本身不能保证乘积期望趋零。这正是无界期望需要额外分析的地方。

推论与应用

本页的上界证明只需从零开始的可数迭代:由 0≤I、Φf(I)≤I 及单调性,归纳得到 Φfn(0)≤I;再用单调收敛取极限。这个证明不要求全体可测函数构成完备格。

若状态空间可数且取离散 σ-代数,则所有非负扩展实值函数都可测,它们的逐点序确实构成完备格,这时也可直接用 Knaster–Tarski 不动点定理。一般可测空间中,任意一族可测函数的逐点上确界未必可测,不能无条件调用其完备格版本。

若想证明有限期望运行时间,应对成本特征函数寻找上界,而非只对终止奖励一寻找上界。排序上鞅提供平均下降证书,运行时间变换器则将每条语句的成本逐项组合。

参考资料
关系图谱8 个相邻概念 · 2 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
类型化关系