连续时间 Markov 链 | Codeboy's Blog

形式陈述

连续时间里，“下一步”发生在随机时刻。要用当前状态预测未来，必须同时指定在此状态停多久，以及离开后去哪里。

本页先讨论非空有限或可数状态空间 $S$ （配备全体子集）上的非爆炸齐次纯跳随机过程 $X(t)$ ，路径右连续，在有限时间内只有有限次实际跳变。令 $\mathcal F_t=\sigma(X(s):0\le s\le t)$ 。指定一族转移概率核 $P(h)$ ，Markov 性写成

\mathbb E[\mathbf1_{\{X(t+h)=j\}}\mid\mathcal F_t] =P_{X(t),j}(h)\quad\text{几乎处处},\qquad t,h\ge0.

左侧是关于完整历史的条件期望。在 $\Pr(X(t)=i)>0$ 时， $P_{ij}(h)$ 才能同时写成初等的 $\Pr(X(t+h)=j\mid X(t)=i)$ ；从未访问状态的行仍由模型指定。对每个初始状态使用同一转移族时，它满足 $P(0)=I$ 和 $P(s+t)=P(s)P(t)$ 。

本页选择稳定、保守的速率数组 $Q$ ：对 $j\ne i$ 有

q_{ij}=\lim_{h\downarrow0}\frac{P_{ij}(h)}h\ge0,\qquad q_i=\sum_{j\ne i}q_{ij}<\infty,\qquad q_{ii}=-q_i=\lim_{h\downarrow0}\frac{P_{ii}(h)-1}h.

有限状态时这是通常的生成矩阵；可数无限时，乘法中的求和须按可数级数理解。若 $q_i>0$ ，每次进入 $i$ 后，停留时间服从速率 $q_i$ 的指数分布，目的地按 $q_{ij}/q_i$ 选择，二者在给定进入状态后相互独立并与此前历史独立。若 $q_i=0$ ，则一直停留在吸收态 $i$ ，不使用 $\operatorname{Exp}(0)$ 或除以 $q_i$ 的公式。

反过来，给定每行有限且和为零的 $Q$ ，可以按上述规则逐次生成停留与跳转；但这只先构造到跳时刻的极限 $\zeta$ 为止。“保守”仅指速率行和为零，不自动保证 $\zeta=\infty$ 。若 $\zeta<\infty$ ，可在此后送入额外墓地态；限制回原空间 $S$ 的转移数组这时可能只有次概率行和。只有验证非爆炸，才得到前面在 $S$ 上始终取值的链。有限状态下非爆炸自动成立；可数状态下 $\sup_iq_i<\infty$ 是一个充分条件。

直觉

$q_{ij}$ 是“每单位时间向 $j$ 跳变的局部强度”，不是一步转移概率；它可以大于一。短时间 $h$ 内，转移概率才近似为 $q_{ij}h$ 。指数停留时间保证已经停留的时长不会继续影响未来，否则仅记录当前状态就丢失了必要信息。

在 $q_i>0$ 的状态，实际跳变时刻所见的嵌入离散链，其非自环转移概率为 $q_{ij}/q_i$ ；到达吸收态后实际跳转序列终止。它记录访问次序，却没有记录停留长短，因此其平稳访问频率一般不等于连续时间的占用比例。

例子与边界

设备有工作态 $U$ 和维修态 $D$ ，故障速率为 $\alpha>0$ ，维修完成速率为 $\beta>0$ ，单位均为每小时。生成矩阵为

Q=\begin{pmatrix}-\alpha&\alpha\\\beta&-\beta\end{pmatrix}.

一次工作期平均长 $1/\alpha$ 小时，维修期平均长 $1/\beta$ 小时。每次实际跳变必在两态之间交替，所以嵌入链访问频率各为 $1/2$ ；时间占用却为

\pi_U=\frac{1/\alpha}{1/\alpha+1/\beta}=\frac\beta{\alpha+\beta}, \qquad \pi_D=\frac\alpha{\alpha+\beta}.

当维修比故障发生得快，设备自然在工作态停留得更多。只看跳转次数会看不见这一点。

可数状态的纯生链给出爆炸反例：从 $n$ 只向 $n+1$ 跳，速率 $2^n$ 。从 $0$ 出发，各段独立指数停留时间 $H_n$ 的非负期望求和给出 $\sum_n2^{-n}<\infty$ ，故总停留时间几乎必然有限。每个状态的出发速率都有限、每行和都为零，仍不够阻止爆炸。

若维修时长固定为 $b$ ，设备的工作/维修二状态过程通常不是 CTMC：已维修 $b-\varepsilon$ 的设备与刚开始维修的设备，未来 $\varepsilon$ 内完成的概率不同。可以把维修年龄纳入状态，但这已超出本页离散状态纯跳模型。

推论与应用

Kolmogorov 方程由局部速率计算任意时长的转移概率；当所有出发速率有一个有限共同上界时，均匀化用 Poisson 候选时钟与离散转移精确实现同一过程律；其有限状态计算分支另以 Poisson 尾控制分布近似误差。没有共同速率上界时，不在这个实现的适用范围内。只允许相邻状态变化时得到生灭过程，是基础排队模型的结构来源。

参考资料

Ward Whitt, Continuous-Time Markov Chains, 2012，§2–3、§10。

形式陈述 ​

反向链接

形式陈述