Markov 链

Markov 性要求当前状态已经概括预测未来所需的全部历史信息。过去没有消失；与未来有关的部分被压缩进状态变量。因此“无记忆”说的是给定当前状态后的条件分布，不表示相邻状态独立，也不保证状态停留时间服从无记忆分布。

Markov 性依赖建模方式。同一个现象若状态取得太粗，遗漏信息仍会影响未来，Markov 性便失败；把必要记忆并入状态后，往往可以恢复。只保留正概率转移的支撑，可以把它画成无外部输入的状态机公理库状态机State machine · Transition system用状态集合、初始状态和转移关系描述系统可能执行轨迹的模型。；这个对应只记录允许的路径，丢掉边上的概率后便无法计算路径概率。

初始分布与转移核共同决定整条路径分布。有限状态时，矩阵编码一步规律，矩阵乘法汇总中间状态，矩阵幂给出多步转移。可数链使用相应的无穷求和，一般状态空间则用概率核的积分。

整数轴上的简单随机游走：$p_{i,i+1}=p_{i,i-1}=1/2$，是时间齐次 Markov 链。两步转移一算便知：从 $i$ 出发以 $1/4$ 到达 $i\pm 2$、以 $1/2$ 回到 $i$，这正是 $P^2$ 的第 $i$ 行，与 Chapman–Kolmogorov 方程一致。

Markov 性依赖状态的选取。只记录天气"晴/雨"时，若真实机制是"连续晴天越久，明天转雨概率越大"，那么这个二状态过程不满足 Markov 性——预测明天需要的不止是今天；把状态扩充为（今日天气，已连续天数）后 Markov 性即可恢复。一般的教训是：对 Markov 链的状态做归并（取链的函数）通常会破坏 Markov 性，因为压缩可能把必要的记忆挤出状态之外。

还应把 Markov 性与独立性公理库独立性Statistical independence从概率表理解独立性，区分两两、相互和条件独立，并用可计算反例澄清零协方差与条件均值的限度。分开：随机游走中 $X_{n+1}$ 与 $X_n$ 高度相关，Markov 性只约束"给定现在后过去失效"，在已经满足 Markov 性的链中，若各转移行相同，下一步便独立于整个过去；但相邻变量独立本身不足以推出 Markov 性。例如取独立公平比特 $A,B$，令 $X_0=A,X_1=B,X_2=A\oplus B$，三者两两独立，给定完整的前两步却能确定第三步。另外，定义中的条件式只对正概率历史提出要求；齐次性是额外假设，转移规律随时间变化的非齐次链同样存在，只是许多结论需要在齐次假设下陈述。

若把两个状态依次记为 $0,1$，并取转移矩阵

则两步转移概率不是把矩阵元素逐项平方，而是计算

例如从状态 $0$ 出发，两步后仍在 $0$ 的概率 $0.85$ 来自两条互斥路径：连续留在 $0$，概率 ${0.9}^2$；或先到 $1$ 再返回，概率 $0.1\times 0.4$。矩阵乘法正是在自动汇总所有中间状态，因此 $P^n$ 才能编码 $n$ 步转移。

条件概率给出 Markov 性的精确定义，矩阵与谱分析则控制长期行为。状态空间先由沟通类与不可约性公理库沟通类与不可约性Communication classes · Irreducible Markov chain按正概率多步可达性分解 Markov 链状态空间，并刻画整个链是否互相可达。分解，随后用常返、暂留与周期性公理库常返、暂留与周期性Recurrence and transience · Periodicity of Markov chains用返回概率、返回时间与可返回步数刻画 Markov 链状态的长期类型。判断质量是否逃逸以及边缘分布是否振荡；平稳分布公理库平稳分布Stationary distribution经马尔可夫转移后保持不变的状态分布。刻画不变概率质量，细致平衡公理库可逆链与细致平衡Reversible Markov chain · Detailed balance由相反方向概率流逐边平衡所刻画的 Markov 链时间反演对称性。则提供一种更强的逐边对称结构。这些概念各自回答不同问题，不应在 Markov 性定义里合并成笼统的“遍历”。

极限问题应沿不同出口继续。时间平均遍历定理公理库马尔可夫链时间平均遍历定理Ergodic theorem for Markov chains不可约正常返 Markov 链的一条长轨道，其可积观测时间平均几乎必然趋于平稳平均。研究一条长轨道上的经验平均；平稳分布收敛定理公理库Markov 链平稳分布收敛定理Convergence to stationarity for Markov chains · Markov chain convergence theorem不可约、正常返且非周期的可数状态 Markov 链，其逐时刻转移分布收敛到唯一平稳分布。研究第 $n$ 步边际分布是否趋稳；混合时间公理库混合时间Mixing time · Markov chain mixing timeMarkov 链从最坏初态接近平稳分布到指定总变差精度所需的步数。再量化有限步距离。三者的对象、假设和量词不同，不能用“链最终稳定”一句话互相替代。

把步数换成连续时间后，连续时间链公理库连续时间 Markov 链Continuous-time Markov chain · CTMC以指数停留时间和跳转概率构造连续时间链，并将局部速率与非爆炸条件分开。还需指定指数停留速率，并检查非爆炸性。Kolmogorov 方程公理库连续时间链的 Kolmogorov 方程Kolmogorov forward and backward equations由短时间生成矩阵和半群性质推出前向与后向方程，明确行向量约定和无限状态边界。由生成矩阵计算转移概率；速率有共同有限上界时，均匀化公理库连续时间链的均匀化Uniformization · Randomization method for CTMC · 均匀化用共同 Poisson 时钟和自环表示有界速率连续时间链，并以 Poisson 尾控制数值截断误差。再把它表示成 Poisson 时钟驱动、允许自环的离散链。

若转移时刻受到删失，转移概率可以先从各状态风险集估计局部风险，再按时间顺序组合。Aalen–Johansen 估计公理库Aalen–Johansen 估计量Aalen-Johansen estimator按时间顺序相乘局部转移矩阵，把多状态风险增量转换成总和为一的状态概率。给出这一乘积矩阵，并区分 Markov 条件转移概率与更宽情形下的边缘状态占据概率。

布尔立方体上逐坐标随机翻转给出一个可显式对角化的例子。布尔噪声算子公理库布尔噪声算子Boolean noise operator · Bonami-Beckner noise operator把逐坐标随机扰动写成条件平均，并利用字符特征值 rho 的次数幂解析它的平滑作用。把一次转移写成条件平均，并以奇偶字符为特征函数，特征值为 ${\rho }^{|S|}$；连续施加两次转移使相关参数相乘。它展示了谱结构怎样区分不同阶数的信息衰减。