Score 与 Fisher 信息 | Codeboy's Blog

形式陈述

设共同支配模型有密度 $p_\theta=dP_\theta/d\mu$ ，参数空间 $\Theta\subseteq\mathbb R^k$ 。在固定 $\theta$ 处，若 $\vartheta\mapsto p_\vartheta(x)$ 对 $\mu$ -几乎处处的 $x$ 具有多元导数，单个观测的 score 向量定义为

s_\theta(x)=\nabla_\theta\log p_\theta(x) =\frac{\nabla_\theta p_\theta(x)}{p_\theta(x)},

其中只需在 $p_\theta(x)>0$ 的 $P_\theta$ -几乎处处集合上定义。样本 score 是联合对数似然的梯度；若各观测在参数给定后独立且密度均为 $p_\theta$ ，则

S_n(\theta)=\nabla\ell_n(\theta) =\sum_{i=1}^ns_\theta(X_i).

若 score 二阶可积，单观测 Fisher 信息矩阵以期望定义为

I(\theta) =\mathbb E_\theta[s_\theta(X)s_\theta(X)^{\mathsf T}].

它总是半正定，可能奇异。

不要求逐点导数的均方得分

在内点 $\theta$ 处，还可通过平方根密度的二次均值可微性定义得分：若存在 $s_\theta\in L^2(P_\theta;\mathbb R^k)$ ，使

\int\left\{\sqrt{p_{\theta+h}}-\sqrt{p_\theta} -\frac12h^{\mathsf T}s_\theta\sqrt{p_\theta}\right\}^2d\mu =o(\|h\|^2),

则称 $s_\theta$ 为均方得分，Fisher 信息仍定义为 $E_\theta[s_\theta s_\theta^{\mathsf T}]$ 。得分在 $P_\theta$ -几乎处处意义下唯一；把上述展开代入密度归一化，平方范数的一阶项为 $h^{\mathsf T}E_\theta s_\theta$ ，故 $E_\theta s_\theta=0$ 。

这一定义控制积分平方误差，本身不要求每个数据点的密度导数存在。若平方根密度关于参数几乎处处为 $C^1$ ，且某邻域内的导数受一个 $L^2(\mu)$ 包络控制，则微分可在 $L^2$ 中进行；在 $p_\theta>0$ 处，均方得分等于 $2\nabla\sqrt{p_\theta}/\sqrt{p_\theta}=\nabla\log p_\theta$ 。因此它包含通常的光滑模型，却不能反过来由均方可微性断言逐点可微。

经典得分的正则条件

若参数点位于 $\Theta$ 内部、支持集在该点附近不随参数变化，并存在可积包络允许把一阶微分移入 $\int p_\theta d\mu=1$ ，则

\mathbb E_\theta[s_\theta(X)]=0,

若再有二阶可微与相应的微分—积分交换条件，才有曲率形式的信息等式

I(\theta) =-\mathbb E_\theta[ \nabla_\theta^2\log p_\theta(X)].

在各观测 score 零均值的正则条件下，独立同分布样本的信息相加为 $I_n(\theta)=nI(\theta)$ ；独立但不同分布时则是各项信息之和。若 score 均值不为零，展开联合 score 的外积还会出现交叉项，不能只靠独立性删去。观测信息 $J_n(\theta;x)=-\nabla^2\ell_n(\theta;x)$ 随数据变化，其模型期望在正则条件下才等于 $I_n(\theta)$ 。

直觉

Score 记录沿某个参数方向轻推模型时，这次观测的对数似然立即上升还是下降；Fisher 信息把这些随机斜率的外积在模型下平均，刻画相邻参数分布分离的二阶尺度。多参数情形中它是一张局部椭球：有信息的方向曲率大，平坦或不可识别方向会出现零特征值。

信息等式推导

由归一化 $\int p_\theta(x)d\mu(x)=1$ ，在上述一阶正则条件下

0=\nabla_\theta\int p_\theta d\mu =\int p_\theta\nabla_\theta\log p_\theta d\mu =\mathbb E_\theta[s_\theta(X)].

对零均值恒等式再微分，乘积法则给

0=\nabla_\theta\mathbb E_\theta[s_\theta(X)] =\mathbb E_\theta\!\left[ \nabla_\theta^2\log p_\theta(X) +s_\theta(X)s_\theta(X)^{\mathsf T} \right],

移项便得到曲率公式。推导中的每个等号都有支配、可微与可积义务；支持边界移动时，第一个微分就会多出边界项。

例子与边界

若仪器读数 $X\sim N(\mu,\sigma^2)$ 且 $\sigma$ 已知，

s_\mu(X)=\frac{X-\mu}{\sigma^2},

所以

I(\mu)=\mathbb E_\mu \left[\frac{(X-\mu)^2}{\sigma^4}\right] =\frac1{\sigma^2}.

对 $n$ 个观测，score 方程 $\sum_i(X_i-\mu)/\sigma^2=0$ 的内部解为 $\bar X$ ；总信息 $n/\sigma^2$ 的逆恰是 $\bar X$ 的方差。这个吻合依赖正态位置模型的正则性，也依赖样本均值恰好达到信息界。

二元结局 $X\sim\operatorname{Bernoulli}(p)$ 中

s_p(X)=\frac Xp-\frac{1-X}{1-p} =\frac{X-p}{p(1-p)},

故内部参数处 $I_p(p)=1/[p(1-p)]$ 。该数在 $p$ 接近边界时发散，主要反映概率坐标被压缩；它不能解释成单次稀有事件观测携带了无限的坐标无关信息。

对 logit 参数 $\eta=\log[p/(1-p)]$ ，链式法则给 $dp/d\eta=p(1-p)$ ，所以

I_\eta(\eta)=I_p(p)\left(\frac{dp}{d\eta}\right)^2=p(1-p).

两个公式一个趋于无穷、一个趋于零，却描述同一分布族。一般地，若 $\theta=h(\eta)$ 且 $J=\partial\theta/\partial\eta$ ，则

s_\eta=J^{\mathsf T}s_\theta, \qquad I_\eta=J^{\mathsf T}I_\theta J.

坐标变换保持的是信息二次型，而非某个矩阵元素的裸数值。

边界与失败情形

Uniform $(0,\theta)$ 的支持为 $[0,\theta]$ 。若忽略似然中的边界指示，只对 $-\log\theta$ 求导，会得到恒为 $-1/\theta$ 的“score”，其期望显然不为零。归一化积分的上限也在移动，遗漏的边界项正好说明常规零均值与 Hessian 等式为何失效。

信息矩阵奇异可能来自不可识别、冗余坐标，也可能来自参数点处的一阶变化退化。例如 $X\sim N(\theta^3,1)$ 的参数化是一一的，但

s_\theta(X)=3\theta^2(X-\theta^3),\qquad I(\theta)=9\theta^4.

在 $\theta=0$ 信息为零，是因为均值对参数的一阶导数为零。此处 IID 样本的 MLE 为 $\widehat\theta=\sqrt[3]{\bar X}$ ；因 $\sqrt n\bar X\sim N(0,1)$ ，有 $n^{1/6}\widehat\theta\overset d=\sqrt[3]{Z}$ ，其中 $Z\sim N(0,1)$ 。速率与极限形状均偏离常规正态理论。此时不能直接把 $I^{-1}$ 当成协方差；常规 Cramér–Rao 界和 $\sqrt n$ 渐近正态公式需要重新检查切空间与更高阶变化。

Fisher 信息是模型内、参数局部的辨别尺度，与 Shannon 熵或文件所含“信息量”并非同一概念。模型失配时，score 外积的期望 $B$ 与负期望 Hessian $A$ 往往不同，极值估计的协方差呈 $A^{-1}BA^{-\mathsf T}$ ，不能继续以单个 $I^{-1}$ 代替。

有限且正的信息也不保证 MLE 存在、唯一或无偏。信息只描述真参数附近的二阶模型几何，无法单独控制全局似然形状和参数空间边界。

真参数处的样本 score 通常仍是随机量，正则条件只使它的模型期望为零。MLE 处 score 等于零则是内部优化的一阶条件；前一个“零”沿重复抽样平均，后一个“零”沿参数方向求极值，两者不能互相推出。

若只观察不依赖未知参数的统计量 $T(X)$ ，假设其诱导模型正则，且允许在每个 $\sigma(T)$ 事件的概率积分中把参数微分移入积分，则它自己的 score 是完整数据 score 的条件期望，故条件方差不等式给 $I_T(\theta)\preceq I_X(\theta)$ 。当 $T$ 充分时，参数相关部分全部经 $T$ 保留，信息不损失；一般数据处理则只会丢失局部辨别能力。

推论与应用

正则 MLE 的一阶条件与似然 Taylor 展开把样本 score、观测 Hessian 和渐近正态性连起来；在正确指定且信息非奇异的模型中，常得到

\sqrt n(\widehat\theta_n-\theta_0)\Rightarrow N_k(0,I(\theta_0)^{-1}).

极限协方差是 $I(\theta_0)^{-1}$ ；未缩放估计量的常用近似协方差才是 $I(\theta_0)^{-1}/n$ 。弱收敛本身不保证二阶矩收敛，因此把该近似进一步写成真实协方差的渐近等式，还需矩的一致可积等条件。

Cramér–Rao 下界通过 Cauchy–Schwarz 把信息转成正则无偏估计的方差界；Wald 与 Score 检验在零假设附近使用同一局部几何。计算上，Newton 法使用观测 Hessian，Fisher scoring 用期望信息替代它；更新矩阵相似不意味着二者在有限样本中相同。

Cox 部分似然的每次事件得分贡献，就是实际事件者协变量减去风险集加权均值。Schoenfeld 残差把这些贡献逐次保留：即使总得分为零，早晚残差的趋势仍可揭示固定系数遗漏的时间结构。

参考资料

A. W. van der Vaart, Asymptotic Statistics, Cambridge University Press, 1998，§7.2。
Erich L. Lehmann and George Casella, Theory of Point Estimation, 2nd ed., Springer, 1998，Ch. 2。
David R. Cox and David V. Hinkley, Theoretical Statistics, Chapman & Hall, 1974，Ch. 9。
John Duchi, Stats 300b: Local Asymptotics and Optimality, Stanford, 2021，幻灯片 14–6 至 14–7：二次均值可微、均方得分的零均值与 Fisher 信息。

形式陈述 ​

不要求逐点导数的均方得分 ​

经典得分的正则条件 ​

信息等式推导 ​

边界与失败情形 ​

反向链接

形式陈述

不要求逐点导数的均方得分

经典得分的正则条件

信息等式推导

边界与失败情形