形式陈述
设模型参数 ,选择 个可积函数 ,用期望公理库期望Expectation · Expected value实值或复值随机变量关于概率测度的 Lebesgue 积分,概括加权平均与总体质量平衡。定义理论矩映射
给定独立同分布样本,作为统计量公理库统计量与抽样分布Statistic · Sampling distribution样本的可测数据摘要,以及该摘要在指定统计模型与重复抽样设计下的推前分布。的样本矩为
矩估计量是方程
的可测解。若精确方程无解或矩的数量多于参数维数,可最小化加权距离
这进入广义矩估计框架;权重、解选择和参数约束必须明确。
直觉
方法依次完成四步:选择存在且能区分参数的理论矩;计算其模型表达;用样本平均替换期望;在参数空间内求解并规定多解规则。大数定律只负责第三步收敛,参数一致性还需要 在真值处可识别且逆映射连续。
低阶矩容易计算却可能浪费信息,高阶矩可能更能区分参数却对尾部和异常值敏感。矩的选择是估计设计的一部分,不由定义自动决定。
样本矩反解模型参数
例子与边界
设 ,采用形状 、尺度 参数化。理论均值与方差为
用样本一阶、二阶中心矩 与
匹配,解得
前提是 且 。状态轨迹是:数据先压成 ,再通过理论矩映射的逆恢复 。
对 Uniform,均值为 ,故矩估计 。它与最大似然公理库最大似然估计Maximum likelihood estimation · MLE在参数空间内选择使已观测数据似然达到上确界的参数估计方法。的样本最大值不同,展示同一模型可有不同构造原则。
该估计量有限样本方差为 ,且无偏。相比之下,样本最大值的 MLE 有偏但误差尺度为 ,快于矩估计的 。所以“矩估计解出了正确期望方程”不意味着它利用了模型中所有可用信息。
边界与失败情形
矩可能不存在。Cauchy 位置族没有有限一阶矩,用样本均值“匹配理论均值”没有定义;样本均值仍可算,但不存在它声称匹配的总体量。
矩映射可能不可识别。若只用 估计正态均值 ,则 与 给出同一矩,方程有两个解;添加一阶矩或限制参数空间才可区分。
有限样本矩可能落在 之外。例如由均值、方差反解某些受约束分布时会得到负形状参数。必须说明投影、边界解或失败,而不能输出不属于参数空间的数字。
多解规则必须可重复且不能窥视未知参数。选择“最接近真值的根”不是估计量;可以规定最小非负根、由独立初值决定的局部根,或把整个解集作为输出,再分别分析其统计性质。
矩估计不自动无偏、有效或唯一。大数定律给样本矩收敛,也只有在所需绝对矩有限时成立;高阶矩估计在重尾下可能波动巨大。
推论与应用
若 依概率, 在 附近一一且逆连续,则连续映射定理给出一致性公理库估计量的一致性Consistency of estimators · Consistent estimator估计误差随实验规模增长而消失的点态、统一、弱与强收敛性质及其证明边界。 。进一步的渐近正态性公理库估计量的渐近正态性Asymptotic normality of estimators估计误差在明确中心、速率与协方差下趋于正态律,以及线性化、标准化和边界失效机制。需要矩向量中心极限定理和逆映射 Jacobian 非奇异。
标量情形若 且 ,Delta 方法公理库Delta 方法Delta method用可微映射的一阶 Taylor 展开传播估计量的渐近分布与协方差。给 。导数接近零会放大样本矩噪声;等于零时常规 正态近似失效,即使矩方程仍有唯一解。
矩估计常提供封闭形式初值,再交给似然优化精化。它的价值是计算透明,不是普遍最优。
参考资料
- A. W. van der Vaart, Asymptotic Statistics, Cambridge University Press, 1998,Ch. 5。
- George Casella and Roger L. Berger, Statistical Inference, 2nd ed., Duxbury, 2002,§7.2。
- Lars Peter Hansen, “Large Sample Properties of Generalized Method of Moments Estimators,” Econometrica 50(4), 1982。