矩估计

方法定义 ​

设模型参数 $\theta \in \mathrm{\Theta }\subseteq {\mathbb{R}}^k$，选择 $k$ 个可积函数 $h_1,\dots ,h_k$，定义理论矩映射

$$m(\theta )=({\mathbb{E}}_{\theta }[h_1(X)],\dots ,{\mathbb{E}}_{\theta }[h_k(X)]).$$

给定独立同分布样本，作为统计量公理库统计量与抽样分布Statistic · Sampling distribution由样本计算且不含未知参数的可测函数，以及它在重复抽样下诱导的概率分布。的样本矩为

$${\hat{m}}_n=(\frac{1}{n}\sum _{i=1}^n{h}_1(X_i),\dots ,\frac{1}{n}\sum _{i=1}^n{h}_k(X_i)).$$

矩估计量是方程

$$m({\hat{\theta }}_n)={\hat{m}}_n$$

的可测解。若精确方程无解或矩的数量多于参数维数，可最小化加权距离

$${\hat{\theta }}_n\in \underset{\theta \in \mathrm{\Theta }}{\mathrm{argmin}}({\hat{m}}_n-m(\theta ){)}^{\mathsf{T}}{W}_n({\hat{m}}_n-m(\theta )),$$

这进入广义矩估计框架；权重、解选择和参数约束必须明确。

操作轨迹 ​

方法依次完成四步：选择存在且能区分参数的理论矩；计算其模型表达；用样本平均替换期望；在参数空间内求解并规定多解规则。大数定律只负责第三步收敛，参数一致性还需要 $m$ 在真值处可识别且逆映射连续。

低阶矩容易计算却可能浪费信息，高阶矩可能更能区分参数却对尾部和异常值敏感。矩的选择是估计设计的一部分，不由定义自动决定。

例子与计算 ​

设 $X_i\sim \mathrm{Gamma}(a,b)$，采用形状 $a>0$、尺度 $b>0$ 参数化。理论均值与方差为

$$\mathbb{E}[X]=ab,\mathrm{Var}(X)=a{b}^2.$$

用样本一阶、二阶中心矩 $\overline{X}$ 与

$$M_{2,n}=\frac{1}{n}\sum _i(X_i-\overline{X}{)}^2$$

匹配，解得

$${\hat{a}}_{MM}=\frac{{\overline{X}}^2}{M_{2,n}},{\hat{b}}_{MM}=\frac{M_{2,n}}{\overline{X}},$$

前提是 $\overline{X}>0$ 且 $M_{2,n}>0$。状态轨迹是：数据先压成 $(\overline{X},M_{2,n})$，再通过理论矩映射的逆恢复 $(a,b)$。

对 Uniform$(0,\theta )$，均值为 $\theta /2$，故矩估计 $\hat{\theta }=2\overline{X}$。它与最大似然的样本最大值不同，展示同一模型可有不同构造原则。

该估计量有限样本方差为 $4\mathrm{Var}(X)/n={\theta }^2/(3n)$，且无偏。相比之下，样本最大值的 MLE 有偏但误差尺度为 $1/n$，快于矩估计的 $1/\sqrt{n}$。所以“矩估计解出了正确期望方程”不意味着它利用了模型中所有可用信息。

边界与失败情形 ​

矩可能不存在。Cauchy 位置族没有有限一阶矩，用样本均值“匹配理论均值”没有定义；样本均值仍可算，但不存在它声称匹配的总体量。

矩映射可能不可识别。若只用 $\mathbb{E}[X^2]={\theta }^2+1$ 估计正态均值 $\theta$，则 $\theta$ 与 $-\theta$ 给出同一矩，方程有两个解；添加一阶矩或限制参数空间才可区分。

有限样本矩可能落在 $m(\mathrm{\Theta })$ 之外。例如由均值、方差反解某些受约束分布时会得到负形状参数。必须说明投影、边界解或失败，而不能输出不属于参数空间的数字。

多解规则必须可重复且不能窥视未知参数。选择“最接近真值的根”不是估计量；可以规定最小非负根、由独立初值决定的局部根，或把整个解集作为输出，再分别分析其统计性质。

矩估计不自动无偏、有效或唯一。大数定律给样本矩收敛，也只有在所需绝对矩有限时成立；高阶矩估计在重尾下可能波动巨大。

性质与应用 ​

若 ${\hat{m}}_n\to m({\theta }_0)$ 依概率，$m$ 在 ${\theta }_0$ 附近一一且逆连续，则连续映射定理给出 ${\hat{\theta }}_n\to {\theta }_0$。进一步的渐近正态性需要矩向量中心极限定理和逆映射 Jacobian 非奇异。

标量情形若 $m^{\prime }({\theta }_0)\ne 0$ 且 ${\mathrm{Var}}_{{\theta }_0}(h(X))=v<\mathrm{\infty }$，Delta 方法给 $\sqrt{n}({\hat{\theta }}_n-{\theta }_0)\Rightarrow N(0,v/m^{\prime }({\theta }_0{)}^2)$。导数接近零会放大样本矩噪声；等于零时常规 $\sqrt{n}$ 正态近似失效，即使矩方程仍有唯一解。

矩估计常提供封闭形式初值，再交给似然优化精化。它的价值是计算透明，不是普遍最优。

参考资料

• A. W. van der Vaart, Asymptotic Statistics, Cambridge University Press, 1998，Ch. 5。
• George Casella and Roger L. Berger, Statistical Inference, 2nd ed., Duxbury, 2002，§7.2。
• Lars Peter Hansen, “Large Sample Properties of Generalized Method of Moments Estimators,” Econometrica 50(4), 1982。