有限时域LQG的最优输出反馈

控制器看见的是带噪声的读数，付费的却是真实状态偏差和实际用力。先估计状态，再把估计代入 LQR，听起来合理；但“合理”还没有排除另一种非线性策略利用整段历史取得更低成本。本页补上这份最优性证明，并把看不清状态所增加的成本单独算出来。

形式陈述

模型、时序与允许的策略

固定整数 $N\ge1$ 。已知确定性实矩阵 $A_t\in\mathbb R^{n\times n}$ 、 $B_t\in\mathbb R^{n\times m}$ 、 $C_t\in\mathbb R^{p\times n}$ ，其中 $n,m,p\ge1$ 。系统为

x_{t+1}=A_tx_t+B_tu_t+w_t,\qquad y_t=C_tx_t+v_t, \quad 0\le t<N. \tag{1}

先取得 $y_t$ ，再选择 $u_t$ ，随后过程噪声 $w_t$ 进入下一状态。因此做决定时的信息是

\mathcal I_t=\sigma(y_0,\ldots,y_t,u_0,\ldots,u_{t-1}).

$\sigma(\cdots)$ 表示这些已知量能够区分的事件。允许的策略为有限值 Borel 函数

u_t=\pi_t(y_0,\ldots,y_t,u_0,\ldots,u_{t-1}),

并要求 $E\|u_t\|^2<\infty$ 。Borel 可测保证这是合法的随机变量；允许依赖全部已见历史，也允许非线性。没有把待比较的策略预先限制为线性增益。固定策略后，过去输入已由过去读数决定，把它们写进信息集是为了明确控制器记得自己做过什么。

初态和所有各期噪声相互独立，且

x_0\sim N(\mu_0,\Pi_0),\quad w_t\sim N(0,W_t),\quad v_t\sim N(0,V_t),\qquad \Pi_0,W_t\succeq0,\quad V_t\succ0.

高斯分布允许退化的状态和过程噪声。矩阵、传感器与噪声分布都不随所选动作改变。目标是在上述策略中最小化

J(\pi)=E\left[\sum_{t=0}^{N-1} (x_t^{\mathsf T}Q_tx_t+u_t^{\mathsf T}R_tu_t) +x_N^{\mathsf T}P_fx_N\right], \quad Q_t,P_f\succeq0,\ R_t\succ0. \tag{2}

这里的权重与协方差均对称； $\succeq0$ 和 $\succ0$ 分别是半正定与正定。这是无约束、风险中性的期望成本问题。有限时域下不要求可控、可观、可稳定或可检测。 $V_t\succ0$ 是保证普通创新逆存在的充分条件，不宣称它是所有 LQG 模型的必要条件。

平方可积输入经有限次线性递推产生平方可积状态，故 (2) 有限。若进一步允许任意有限值 Borel 策略，有限成本仍因 $R_t\succ0$ 强制每期输入平方可积；其余无限成本策略不可能改进下面的有限最小值。

结论：两套递推与一份代价证书

从 $P_N=P_f$ 开始，复用离散 LQR 的有限配平方递推，逐期取相应矩阵：

\begin{aligned} H_t&=R_t+B_t^{\mathsf T}P_{t+1}B_t,\\ K_t&=H_t^{-1}B_t^{\mathsf T}P_{t+1}A_t,\\ P_t&=Q_t+A_t^{\mathsf T}P_{t+1}A_t -A_t^{\mathsf T}P_{t+1}B_tH_t^{-1}B_t^{\mathsf T}P_{t+1}A_t, \qquad t=N-1,\ldots,0. \end{aligned}\tag{3}

同一个逐期配平方理由保证 $P_t\succeq0,H_t\succ0$ ；不需要取无限时域极限。 $P_t$ 是控制价值矩阵， $K_t$ 采用负反馈符号。

另一方面，以 $m_0^-=\mu_0,\Sigma_0^-=\Pi_0$ 初始化Kalman 过滤递推：

\begin{aligned} F_t&=C_t\Sigma_t^-C_t^{\mathsf T}+V_t,\qquad G_t=\Sigma_t^-C_t^{\mathsf T}F_t^{-1},\\ m_t&=m_t^-+G_t(y_t-C_tm_t^-),\\ \Sigma_t&=\Sigma_t^--G_tF_tG_t^{\mathsf T},\\ m_{t+1}^-&=A_tm_t+B_tu_t,\qquad \Sigma_{t+1}^-=A_t\Sigma_tA_t^{\mathsf T}+W_t. \end{aligned}\tag{4}

最后一行只需执行到 $t=N-2$ ，因为终端没有决策。 $F_t\succ0$ 由 $V_t\succ0$ 保证。 $G_t$ 是估计增益， $\Sigma_t$ 是估计误差协方差，不能与 (3) 的 $K_t,P_t$ 混用。

有限时域 LQG 最优性。 对每个允许策略，(4) 都给出 $m_t=E[x_t\mid\mathcal I_t]$ 和确定性的条件协方差 $\Sigma_t$ ，后者不依赖读数或策略。可实施的最优控制为

\boxed{u_t^*=-K_tm_t.}\tag{5}

观察前的最小期望成本为

\boxed{\begin{aligned} J^*={}&\mu_0^{\mathsf T}P_0\mu_0+\operatorname{tr}(P_0\Pi_0) +\sum_{t=0}^{N-1}\operatorname{tr}(P_{t+1}W_t)\\ &+\sum_{t=0}^{N-1}\operatorname{tr}(K_t^{\mathsf T}H_tK_t\Sigma_t). \end{aligned}}\tag{6}

$\operatorname{tr}$ 是矩阵对角元之和。第一行是同一随机系统在每期真实状态可见、但不能预知未来噪声时的最优成本；第二行是只看含噪输出的额外信息代价。达到最优的策略必须在自己生成的历史上满足 (5) 几乎必然；这不要求策略函数在概率为零的历史上逐点相同。

直觉

两套递推回答两个不同的问题。 $P_t$ 从终点向前看：现在的状态误差会让余下过程付出多少代价？ $\Sigma_t$ 随时间正向更新：此刻仍有多少状态误差没有被数据解释？控制目标决定 $K_t$ ；先验、过程噪声和测量质量决定 $G_t$ 。两者在线连接时，估计器仍须知道已实施的输入。

控制价值从终点反向计算，状态信息从初始先验正向更新；当前观测先进入条件均值，再生成输入，已实施输入用于下一次预测 — 两套递推与因果时序

“把估计当状态”称为确定性等价，但它不表示不确定性没有成本。即使最优控制满足 $u_t+K_tm_t=0$ ，真实量 $u_t+K_tx_t=K_t(x_t-m_t)$ 仍会波动，式 (6) 最后一项正是这些波动的平均二次代价。

本页的最优分离与确定性观测器的稳定分离回答不同的问题。后者把连续无噪声闭环分成两个稳定块，并保留估计暂态的额外成本；本页在给定随机模型、先验和有限目标下比较所有因果观测策略。不能仅凭闭环极点稳定就得到 (5) 的最优性，也不能从有限最优性推出无限运行时的稳定保证。

例子与边界

两次观测之后，究竟施加什么输入

取 $N=2$ ，全部标量矩阵 $A=B=C=Q=R=P_f=1$ 。 $x_0,w_0,w_1,v_0,v_1$ 相互独立且都服从 $N(0,1)$ 。

反向计算得到

P_2=1,\ H_1=2,\ K_1=\tfrac12,\ P_1=\tfrac32, \quad H_0=\tfrac52,\ K_0=\tfrac35,\ P_0=\tfrac85.

正向估计的方差为

G_0=\tfrac12,\quad\Sigma_0=\tfrac12,\quad \Sigma_1^-=\tfrac32,\quad G_1=\tfrac35,\quad\Sigma_1=\tfrac35.

实际读数为 $y_0=2,y_1=1$ 时，先有

m_0=1,\qquad u_0=-\tfrac35.

下一次预测必须包含刚刚施加的控制： $m_1^-=m_0+u_0=2/5$ 。于是

m_1=\tfrac25+\tfrac35(1-\tfrac25)=\tfrac{19}{25}, \qquad u_1=-\tfrac{19}{50}.

漏掉 $u_0$ 就会用错误的预测基准解释第二次读数。这条读数路径确定两次控制，却没有告诉我们真实状态与实际总成本；下面的 $97/20$ 是观察前对全部噪声平均的成本。

三个能独立复算的成本

先按 (6) 分解：

J_{\rm full}=\tfrac85+\tfrac32+1=\tfrac{41}{10}, \quad J_{\rm info}=\left(\tfrac35\right)^2\tfrac52\tfrac12 +\left(\tfrac12\right)^2 2\tfrac35 =\tfrac9{20}+\tfrac3{10}=\tfrac34.

所以 $J^*=97/20$ 。这里 $J_{\rm full}$ 包含过程噪声；它不是把噪声删除后的确定性 LQR 成本。

还可完全绕开 (6)，用原始独立坐标 $z=(x_0,w_0,w_1,v_0,v_1)^{\mathsf T}$ 验算。由 (4)(5) 展开得

\begin{aligned} u_0&=-\tfrac3{10}x_0-\tfrac3{10}v_0,\\ x_1&=\tfrac7{10}x_0+w_0-\tfrac3{10}v_0,\\ u_1&=-\tfrac14x_0-\tfrac3{10}w_0+\tfrac1{20}v_0-\tfrac3{10}v_1,\\ x_2&=\tfrac9{20}x_0+\tfrac7{10}w_0+w_1-\tfrac14v_0-\tfrac3{10}v_1. \end{aligned}

独立零均值、单位方差使每个线性式的二阶矩等于系数平方和。因此 $x_0,u_0,x_1,u_1,x_2$ 依次贡献

1,\quad\tfrac9{50},\quad\tfrac{79}{50},\quad \tfrac{49}{200},\quad\tfrac{369}{200},

总和仍是 $97/20$ 。这是第二条核验路径，不是把答案再代回原公式。

若直接采用 $u_0=-3y_0/5,u_1=-y_1/2$ ，同样展开得到五项成本

1,\quad\tfrac{18}{25},\quad\tfrac{38}{25},\quad \tfrac{63}{100},\quad\tfrac{163}{100},

总和为 $11/2$ ，多花 $13/20$ 。错误发生在把含噪输出当成条件均值，而非 LQR 增益算错。

只把第二次测量变得更嘈杂

令 $\operatorname{Var}(v_1)=4$ ，其他条件不变。控制目标与动力学没有变，所以 $P_t,H_t,K_t$ 全部不变。估计侧则变为

G_1=\frac{3/2}{3/2+4}=\tfrac3{11},\qquad \Sigma_1=\tfrac{12}{11}.

对相同读数 $2,1$ ，有 $m_1=31/55,u_1=-31/110$ ；观察前成本为

\tfrac{41}{10}+\tfrac9{20}+\tfrac6{11} =\tfrac{1121}{220}.

相较原模型增加 $27/110$ 。用原始坐标验算时也必须把 $v_1$ 的方差改成 $4$ ，不能只改滤波增益却仍用单位方差求和。

非高斯时，失效的是哪一步

改成一阶段系统 $x_1=x_0+u_0$ ，初态等概率取 $\pm1$ ，读数 $y=x_0+v$ ， $v\sim N(0,1)$ 与初态独立。最小化 $E[x_0^2+u_0^2+x_1^2]$ ，仍只准按 $y$ 决策。

两个似然之比是 $e^{2y}$ ，故

P(x_0=1\mid y)=\frac{e^{2y}}{1+e^{2y}},\qquad m(y)=E[x_0\mid y]=\tanh y.

条件于 $y$ ，目标恰为

2+2u_0^2+2u_0\tanh y =2-\tfrac12\tanh^2y+2(u_0+\tfrac12\tanh y)^2.

因此真正最优输入是 $-\tanh(y)/2$ 。若误把同均值方差的初态当高斯，Kalman 会给出 $y/2$ ，相应控制是 $-y/4$ ，条件成本差为

\frac{(y-2\tanh y)^2}{8}.

在 $y=1$ 处约为 $0.0342157512$ ；连续性使它在附近仍严格为正，而 $y$ 的混合密度处处为正，故整体期望也严格增加。这里条件均值反馈仍然最优，失去的是“Kalman 线性估计等于条件均值”。不能把非高斯笼统解释成一切分离结论都失败。

推论与应用

第一步：对任意因果策略证明条件高斯闭包

先固定一个允许策略，并把全部初态、噪声放在同一个概率空间上。按“状态、读数、输入、下一状态”的顺序逐步生成，有限值 Borel 策略给出唯一可测轨迹，没有同一时刻需要互相求解的代数闭环。 $x_t,u_t$ 只依赖当时及此前已进入系统的原始量，因此新的 $w_t$ 独立于它们。

初次更新中 $(x_0,y_0)$ 联合高斯。联合高斯的条件公式允许状态协方差退化，只需被观测块 $F_0$ 可逆；因此得到 (4) 的 $m_0,\Sigma_0$ 。

归纳假设 $x_{t-1}\mid\mathcal I_{t-1}\sim N(m_{t-1},\Sigma_{t-1})$ ，且 $\Sigma_{t-1}$ 是不依赖策略的确定矩阵。给定 $\mathcal I_{t-1}$ 后，已实施的 $u_{t-1}$ 是已知平移量，而 $w_{t-1}$ 独立，故

x_t\mid\mathcal I_{t-1}\sim N(A_{t-1}m_{t-1}+B_{t-1}u_{t-1},\, A_{t-1}\Sigma_{t-1}A_{t-1}^{\mathsf T}+W_{t-1}).

再加入独立的 $v_t$ ，给定旧历史的 $(x_t,y_t)$ 联合高斯。对本次读数条件化，便得到 (4)。 $u_{t-1}$ 已可由旧历史确定，所以加入它没有额外揭示隐藏状态；这次更新的信息正是 $\mathcal I_t$ 。

协方差公式只含旧协方差和给定矩阵，从而 $\Sigma_t$ 仍确定、与策略及读数无关，归纳完成。证明使用的是给定历史后的高斯性。例如允许策略 $u_0=y_0^2$ 本身就不是高斯随机变量；不能先假设任意反馈产生的整个闭环联合高斯，再调用条件公式。对连续时间模型，这个信息问题还需额外适定性分析，不能把本段离散归纳直接取形式极限。^[1]

第二步：随机配平方保留过程噪声

记 $a_t=A_tx_t+B_tu_t$ 。 $w_t$ 零均值且与 $a_t$ 独立，所以

E[x_{t+1}^{\mathsf T}P_{t+1}x_{t+1}] =E[a_t^{\mathsf T}P_{t+1}a_t]+\operatorname{tr}(P_{t+1}W_t).

这里使用协方差的二阶矩恒等式：对零均值 $z$ ，展开坐标就有 $E[z^{\mathsf T}Mz]=\sum_{ij}M_{ij}E[z_iz_j]=\operatorname{tr}(M\operatorname{Cov}z)$ 。

把旧 LQR 的逐期配平方关系用于 $x_t,u_t,a_t$ ，再取期望，得到

\begin{aligned} &E[x_t^{\mathsf T}Q_tx_t+u_t^{\mathsf T}R_tu_t] +E[x_{t+1}^{\mathsf T}P_{t+1}x_{t+1}]\\ &\quad=E[x_t^{\mathsf T}P_tx_t] +E[(u_t+K_tx_t)^{\mathsf T}H_t(u_t+K_tx_t)] +\operatorname{tr}(P_{t+1}W_t). \end{aligned}

从 $0$ 累加到 $N-1$ ，中间状态价值逐项抵消，终端由 $P_N=P_f$ 对齐：

J(\pi)=E[x_0^{\mathsf T}P_0x_0] +\sum_t\operatorname{tr}(P_{t+1}W_t) +\sum_t E[(u_t+K_tx_t)^{\mathsf T}H_t(u_t+K_tx_t)]. \tag{7}

全部项可积，因此这里没有把两个无穷量相减；比较也没有限于线性策略。

第三步：条件正交隔离无法消除的误差

令 $e_t=x_t-m_t$ 。 $u_t+K_tm_t$ 是 $\mathcal I_t$ 可测且平方可积的量，而 $E[e_t\mid\mathcal I_t]=0$ 。复用条件期望的 $L^2$ 正交性，交叉项的期望为零，故

\begin{aligned} &E[(u_t+K_tx_t)^{\mathsf T}H_t(u_t+K_tx_t)]\\ &=E[(u_t+K_tm_t)^{\mathsf T}H_t(u_t+K_tm_t)] +\operatorname{tr}(K_t^{\mathsf T}H_tK_t\Sigma_t). \end{aligned}\tag{8}

最后一步还用了 $E[e_te_t^{\mathsf T}\mid\mathcal I_t]=\Sigma_t$ 和塔式法则。第一步已经证明这个矩阵不随策略改变，因此 (7)(8) 给出真正可比较的恒等式

J(\pi)=J^*+\sum_t E[(u_t+K_tm_t)^{\mathsf T}H_t(u_t+K_tm_t)], \tag{9}

其中 $J^*$ 就是 (6)，是所有策略共享的常数。不能在没有证明协方差不变时，把一个可能随控制改变的“估计误差项”擅自移出最小化。^[2]

$H_t\succ0$ 使剩余项非负。现在按 (4)(5) 正向构造策略：每一步只用已见信息，均值和输入都是有限次线性运算，故 Borel 且平方可积；它令所有平方为零，确实达到下界。反之最优时每项期望都为零，正定性推出 (5) 几乎必然。至此完成存在、可实施性及整个策略类中的最优性证明。式 (6) 的初态项来自 $E[x_0^{\mathsf T}P_0x_0]=\mu_0^{\mathsf T}P_0\mu_0+\operatorname{tr}(P_0\Pi_0)$ 。^[3]

实现与使用范围

离线反向求出 $K_t$ ；协方差和 $G_t$ 也可提前正向计算。在线只保存当前均值，依次“预测、读数更新、输出控制”。实现 (3)(4) 时分别对 $H_t,F_t$ 用Cholesky 分解与线性求解，不必显式形成逆矩阵；后验协方差的数值稳定更新可沿用 Kalman 页的 Joseph 形式。

有限时域没有稳定性结论。例如 $N=1,A=2,B=C=0,Q=R=P_f=1,\Pi_0=V_0=1,W_0=0,\mu_0=0$ ，完全不可控、不可观，仍有合法最优输入 $u_0=0$ 和成本 $1+4=5$ 。观察噪声不能揭示状态，却不妨碍这个有限优化问题有解。

若动作改变传感器或噪声分布，第一步的协方差不变性不再自动成立；若加入输入或状态约束，(9) 的平方零点可能不可行。持续过程噪声下无限总成本还可能发散，平均成本与稳态稳定性应另行分析。本证明也没有借用有限折扣、有限状态 Bellman 算子的压缩结论来处理无界二次成本。

验收练习。 从原始五个独立噪声坐标重算 $97/20$ 和 $11/2$ ，将第二次观测方差改成 $4$ 后重算 $1121/220$ ；最后解释 $\pm1$ 初态下应当更换估计器，而不是直接否定条件均值反馈。完整题目、结构迁移与可下载核验器见两步 LQG 控制终点。

参考资料

T. T. Georgiou 与 A. Lindquist，The Separation Principle in Stochastic Control, Redux，IEEE TAC 58(10)，2013，pp.2483–2485，特别是 Remark 4、Remark 6：反馈信息依赖与条件高斯的区别。该论文主要处理连续时间；本页仅借其辨析定位证明义务，不援引它替代离散归纳。 ↩︎
Dimitri Bertsekas，MIT 6.231，2015，Lecture 6，讲义第3、6–13页，尤其第9–10页：策略信息、估计误差与控制的分离。该源还讨论非高斯条件均值；本页的高斯闭包证明不声称涵盖全部非高斯模型。 ↩︎
Stephen Boyd，Stanford EE363，2008–09，Lecture 10: Linear Quadratic Stochastic Control with Partial State Observation，10–2至10–15页：有限时域、两组增益与全状态成本/估计成本分解。原稿使用带负号的增益，本页统一为 $u=-Km$ ；两步数值与非高斯对照均由文中明确模型独立计算。10–16起的无限时域平均成本不在本页结论内。 ↩︎

形式陈述 ​

模型、时序与允许的策略 ​

结论：两套递推与一份代价证书 ​

两次观测之后，究竟施加什么输入 ​

三个能独立复算的成本 ​

只把第二次测量变得更嘈杂 ​

非高斯时，失效的是哪一步 ​

第一步：对任意因果策略证明条件高斯闭包 ​

第二步：随机配平方保留过程噪声 ​

第三步：条件正交隔离无法消除的误差 ​

实现与使用范围 ​

反向链接