马尔可夫决策过程

MDP 把“行动会改变以后看到什么”纳入模型。监督学习的一条样本通常在预测后结束；MDP 中今天的动作既产生即时奖励，也改变明天的状态分布，因此贪图眼前奖励可能损失长期价值。状态的职责不是保存所有原始历史，而是保存对未来决策有用的那部分信息。

可以把 $P$ 看成世界的动力学，把奖励看成任务给这套动力学贴上的偏好标签。同一仓库机器人动力学可以配上“速度优先”或“能耗优先”的奖励，形成不同决策问题；同一奖励在不同转移核下也可能要求完全不同的行为。MDP 本身尚未指定如何行动，行动规则由MDP 中的策略理路MDP 中的策略Policy in an MDP · MDP policy · MDP 策略规定每个决策时刻如何由可用信息选择动作，并区分平稳、马尔可夫、历史依赖与随机策略。补上。

设机器有健康态 $H$ 和故障态 $F$。在 $H$ 可选“运行”或“保养”：运行立即得 $4$，下一步以 $3/4$ 留在 $H$、以 $1/4$ 到 $F$；保养立即得 $1$，并必然回到 $H$。在 $F$ 只能“维修”，立即得 $-2$，下一步必回 $H$。例如从 $H$ 运行一次再观测，下一状态分布就是

两步确定计划“先运行，若故障则维修，否则继续运行”的期望未折扣奖励为

这个计算同时展示了分支概率、动作依赖转移和状态反馈；不能把第二步奖励简单写成两个动作奖励的平均数。

边界在于状态必须真的足够。若机器的失效概率还取决于未记录的累计磨损，仅用 $H/F$ 就不是马尔可夫状态；可以把磨损加入状态，或改用部分可观测模型。若转移规律随日历时间漂移，固定核 $P$ 也失效。把越来越长的历史机械拼入状态虽然形式上可恢复马尔可夫性，却可能使学习与规划在计算上不可行。

固定平稳马尔可夫策略会诱导时间齐次马尔可夫链；只依赖当前状态和时刻的策略则一般诱导非齐次链。历史依赖策略下，原状态过程未必仍是马尔可夫链。例如动作 $a\in \{0,1\}$ 总把下一状态设为 $a$，初始状态是公平比特；先统一选动作 $0$，再按记住的初始比特选动作。第二次决策时当前状态都为 $0$，下一状态却仍由更早的历史决定。优化时须明确允许哪一类控制器。折扣回报理路折扣回报Discounted return · Discounted cumulative reward · 折扣累计奖励将轨迹上未来奖励按几何权重汇总，并用递归分解连接即时奖励与后续决策价值。把一条随机轨迹压成标量，状态值与动作值函数理路状态值与动作值函数State-value and action-value functions · V-function and Q-function · 价值函数与动作价值函数以状态或状态—动作为条件，对未来折扣回报取期望，从而把轨迹目标变成可比较的局部函数。再对它取条件期望，Bellman 方程由一步展开而来。

MDP 是动态规划、强化学习、排队控制、库存管理和机器人控制的共同接口。模型已知时可以直接使用转移核规划；模型未知时，学习器只能从交互样本估计价值、模型或策略。两种情形共享目标定义，但统计误差与探索问题只出现在后者。