形式陈述
一个折扣马尔可夫决策过程通常写成
其中 是状态空间， 是状态 可选的动作集， 是初始状态分布， 是折扣因子。转移规则 是从状态—动作对到下一状态分布的概率核公理库概率核（Markov 核）Probability kernel · Markov kernel · 转移核从每个输入状态可测地指定一个输出概率分布的映射。；奖励可写成有界均值 ，也可由联合核 同时描述下一状态和随机奖励。若只给均值 ，它足以计算风险中性的期望回报，却不能回答奖励方差或尾部风险问题。
马尔可夫条件要求，在允许的决策规则下，
其中 是全部历史。这并不是说未来与过去无关，而是说过去对下一步预测的作用已被 汇总。动作仍可由历史选择；“过程是否马尔可夫”与“控制器是否只看当前状态”是两个不同命题。
有限 MDP 指 与每个 都有限。有限时， 对 求和为一；连续空间则需保留核的可测性条件。终止任务常把终点建成零奖励的吸收状态，从而仍可用同一无限时域记号。若任务自然持续，也可研究平均奖励而不是人为选取折扣。
直觉
MDP 把“行动会改变以后看到什么”纳入模型。监督学习的一条样本通常在预测后结束；MDP 中今天的动作既产生即时奖励，也改变明天的状态分布，因此贪图眼前奖励可能损失长期价值。状态的职责不是保存所有原始历史，而是保存对未来决策有用的那部分信息。
可以把 看成世界的动力学，把奖励看成任务给这套动力学贴上的偏好标签。同一仓库机器人动力学可以配上“速度优先”或“能耗优先”的奖励，形成不同决策问题；同一奖励在不同转移核下也可能要求完全不同的行为。MDP 本身尚未指定如何行动，行动规则由MDP 中的策略公理库MDP 中的策略Policy in an MDP · MDP policy · 马尔可夫策略规定每个决策时刻如何由可用信息选择动作，并区分平稳、马尔可夫、历史依赖与随机策略。补上。
例子与边界
设机器有健康态 和故障态 。在 可选“运行”或“保养”：运行立即得 ，下一步以 留在 、以 到 ；保养立即得 ，并必然回到 。在 只能“维修”，立即得 ，下一步必回 。例如从 运行一次再观测，下一状态分布就是
两步确定计划“先运行，若故障则维修，否则继续运行”的期望未折扣奖励为
这个计算同时展示了分支概率、动作依赖转移和状态反馈；不能把第二步奖励简单写成两个动作奖励的平均数。
边界在于状态必须真的足够。若机器的失效概率还取决于未记录的累计磨损，仅用 就不是马尔可夫状态；可以把磨损加入状态，或改用部分可观测模型。若转移规律随日历时间漂移，固定核 也失效。把越来越长的历史机械拼入状态虽然形式上可恢复马尔可夫性，却可能使学习与规划在计算上不可行。
推论与应用
一旦给定行动规则，MDP 会诱导普通马尔可夫链；反过来，优化问题要在多种诱导链之间比较。折扣回报公理库折扣回报Discounted return · Discounted cumulative reward · 折扣累计奖励将轨迹上未来奖励按几何权重汇总，并用递归分解连接即时奖励与后续决策价值。把一条随机轨迹压成标量，状态值与动作值函数公理库状态值与动作值函数State-value and action-value functions · V-function and Q-function · 价值函数与动作价值函数以状态或状态—动作为条件，对未来折扣回报取期望，从而把轨迹目标变成可比较的局部函数。再对它取条件期望，Bellman 方程由一步展开而来。
MDP 是动态规划、强化学习、排队控制、库存管理和机器人控制的共同接口。模型已知时可以直接使用转移核规划；模型未知时，学习器只能从交互样本估计价值、模型或策略。两种情形共享目标定义，但统计误差与探索问题只出现在后者。
参考资料
- Martin L. Puterman, Markov Decision Processes: Discrete Stochastic Dynamic Programming, Wiley, 1994, Chs. 2–3.
- Richard S. Sutton and Andrew G. Barto, Reinforcement Learning: An Introduction, 2nd ed., MIT Press, 2018, Secs. 3.1–3.3.
- Dimitri P. Bertsekas, Dynamic Programming and Optimal Control, Vol. I, 4th ed., Athena Scientific, 2017, Ch. 1.
