Rao–Blackwell 定理

形式陈述 ​

设 $T$ 对模型 $\{P_{\theta }:\theta \in \mathrm{\Theta }\}$ 充分，$U=U(X)$ 是可积估计量。由于充分性，可选择一个不依赖未知参数的版本

$$U^{\ast }(T)={\mathbb{E}}_{\theta }[U\mid T].$$

若对每个 $\theta$，行动损失 $L(\theta ,a)$ 关于 $a$ 凸且所需期望有限，则

$$R(\theta ,U^{\ast })={\mathbb{E}}_{\theta }[L(\theta ,U^{\ast })]\le {\mathbb{E}}_{\theta }[L(\theta ,U)]=R(\theta ,U).$$

证明是在条件于 $T$ 后应用 Jensen 不等式：

$$L(\theta ,\mathbb{E}[U\mid T])\le \mathbb{E}[L(\theta ,U)\mid T],$$

再取总期望。若损失严格凸，等号通常要求 $U=\mathbb{E}[U\mid T]$ 几乎处处，即 $U$ 已是 $T$ 的函数；具体等号条件还依赖损失严格凸区间与条件分布。

平方损失下有精确分解

$${\mathbb{E}}_{\theta }[(U-g(\theta ){)}^2]={\mathbb{E}}_{\theta }[(U^{\ast }-g(\theta ){)}^2]+{\mathbb{E}}_{\theta }[{\mathrm{Var}}_{\theta }(U\mid T)].$$

所以风险减少量就是被条件化消除的平均条件方差。

充分性的角色 ​

对任意统计量 $T$，条件期望都能在平方损失下减少相对于固定常数目标的均方误差，并保持无偏性：

$${\mathbb{E}}_{\theta }[U^{\ast }]={\mathbb{E}}_{\theta }[U].$$

但若 $T$ 不充分，${\mathbb{E}}_{\theta }[U\mid T]$ 的函数形式可能依赖未知 $\theta$，无法由数据独立实施为同一估计规则。充分性公理库充分统计量Sufficient statistic给定该统计量后，样本剩余条件分布不再依赖未知参数的数据压缩。保证有参数无关条件核，使 $U^{\ast }(t)$ 成为合法统计量。

例子与计算 ​

令 $X_1,\dots ,X_n$ 独立 Bernoulli$(p)$，目标估计 $p$。粗糙无偏估计量取 $U=X_1$，充分统计量为 $S=\sum _i{X}_i$。给定 $S=s$，成功位置在 $n$ 个坐标中均匀，因此

$$U^{\ast }(S)=E[X_1\mid S]=\frac{S}{n}=\overline{X}.$$

原估计方差为 $p(1-p)$，改进后为

$${\mathrm{Var}}_p(S/n)=\frac{p(1-p)}{n}.$$

方差减少因子为 $n$，且两者都无偏。状态轨迹是从“只看第一次试验”到“在给定总成功数后平均第一位置的不确定性”，最终得到全样本比例。

若 $U$ 已等于 $S/n$，再次条件化不变，风险等号成立。这展示 Rao–Blackwell 算子是投影：对已经 $\sigma (T)$-可测的估计量保持不动。

边界与失败情形 ​

结论不声称 $U^{\ast }$ 在所有估计量中最优，只说明它不劣于给定 $U$。要得到唯一 UMVU 还需要完备充分统计量与无偏类限制。

损失非凸时 Jensen 方向可能失效。$0$–$1$ 精确命中损失下，条件均值未必是合理行动；应直接最小化条件风险。

条件期望需要可积性，平方损失还需二阶矩。重尾估计量若方差无穷，方差分解没有有限意义。

充分统计量本身可能难计算或与完整样本同维，定理是统计风险结论，不保证计算节省。

平方损失下降还能由方差全公式逐项核对：$\mathrm{Var}(U)=E[\mathrm{Var}(U\mid T)]+\mathrm{Var}(E[U\mid T])$。第一项正是条件化消除的随机性。Bernoulli 例中，它对应已知总成功数后第一位置仍随机的部分，而第二项是样本比例的方差。

向量行动可在闭凸空间中应用条件 Jensen，但必须声明损失的凸性与行动空间。若条件均值落在允许集合之外，或损失非凸，正确对象应是给定 $T$ 的条件风险最小行动，不能继续把逐坐标均值当作普遍 Rao–Blackwell 化。

推论与应用 ​

Rao–Blackwell 化可迭代，但一旦条件到充分统计量，进一步条件到其更粗函数可能失去参数无关性或信息。最小充分统计量提供自然终点。

在 Monte Carlo 中也常把模拟量对某个 $\sigma$-代数条件化降方差；那里不一定涉及参数充分性，数学核心仍是条件期望投影。

条件化还可保留对所有参数的期望函数，而不只保留无偏零：$E_{\theta }[U^{\ast }]=E_{\theta }[U]$。因此若原规则的偏差已知，Rao–Blackwell 化保持同一偏差并降低方差；平方损失下 MSE 也随之不增。它不是靠偏差—方差交换取得改善。

参考资料

• Calyampudi R. Rao, “Information and the Accuracy Attainable in the Estimation of Statistical Parameters,” Bulletin of the Calcutta Mathematical Society 37, 1945。
• David Blackwell, “Conditional Expectation and Unbiased Sequential Estimation,” Annals of Mathematical Statistics 18(1), 1947。
• Erich L. Lehmann and George Casella, Theory of Point Estimation, 2nd ed., Springer, 1998，§1.7。