形式陈述

离散时间随机过程 $(X_n)_{n\ge0}$$(X_n{)}_{n\ge 0}$ 称为 Markov 链，若对所有具有正概率的历史都有

$$ \Pr(X_{n+1}=j\mid X_0=i_0,\ldots,X_n=i) = \Pr(X_{n+1}=j\mid X_n=i). $$$$\text{Pr}(X_{n+1}=j\mid X_0=i_0,\dots ,X_n=i)=\text{Pr}(X_{n+1}=j\mid X_n=i).$$

若右侧不依赖 $n$$n$，称时间齐次，并以转移矩阵 $P=(p_{ij})$$P=(p_{ij})$ 表示，其中 $p_{ij}\ge0$$p_{ij}\ge 0$、$\sum_jp_{ij}=1$$\sum _j{p}_{ij}=1$。给定初始分布 $\mu$$\mu$，第 $n$$n$ 步分布为 $\mu P^n$$\mu P^n$，且 Chapman–Kolmogorov 关系给出 $P^{m+n}=P^mP^n$$P^{m+n}=P^m{P}^n$。状态空间可有限或可数；一般状态空间需用转移核表述。

直觉

当前状态被选为足以预测下一步的全部摘要；过去并非消失，而是其与未来有关的信息已经压缩进当前状态。

例子与边界

简单随机游走在整数线上以概率 $1/2$$1/2$ 从 $i$$i$ 移到 $i\pm1$$i\pm 1$，是齐次 Markov 链。若只记录天气“晴/雨”，而转移实际还依赖连续晴天数，则这个二状态描述未必满足 Markov 性；扩充状态后可能恢复。Markov 性是关于所选状态变量和条件分布的性质，不等于相邻变量独立。

推论与应用

Markov 链用于随机算法、排队、可靠性、统计物理和 MCMC。进一步研究不可约性、常返性、周期、平稳分布与混合时间，可判断长期行为和采样误差。

参考资料

• J. R. Norris, Markov Chains, Cambridge University Press, 1997，Ch. 1, transition matrices and the Markov property。
• Rick Durrett, Probability: Theory and Examples, 5th ed., Cambridge University Press, 2019，Ch. 5, discrete-time Markov chains。