形式陈述
设模型参数 θ ∈ Θ ⊆ R k ,选择 k 个可积函数 h 1 , … , h k ,用期望 理路 期望 Expectation · Expected value 实值或复值随机变量关于概率测度的 Lebesgue 积分,概括加权平均与总体质量平衡。 定义理论矩映射
m ( θ ) = ( E θ [ h 1 ( X ) ] , … , E θ [ h k ( X ) ] ) . 给定独立同分布样本,作为统计量 理路 统计量与抽样分布 Statistic · Sampling distribution 样本的可测数据摘要,以及该摘要在指定统计模型与重复抽样设计下的推前分布。 的样本矩为
m ^ n = ( 1 n ∑ i = 1 n h 1 ( X i ) , … , 1 n ∑ i = 1 n h k ( X i ) ) . 矩估计量是方程
m ( θ ^ n ) = m ^ n 的可测解。若精确方程无解或矩的数量多于参数维数,可给定对称正定权重矩阵 W n ,最小化加权距离
θ ^ n ∈ argmin θ ∈ Θ ( m ^ n − m ( θ ) ) T W n ( m ^ n − m ( θ ) ) , 这进入广义矩估计框架;权重、解选择和参数约束必须明确。
广义矩估计 理路 广义矩估计 Generalized method of moments · GMM · 广义矩方法 在多于参数的矩约束之间作有尺度的最小距离折中,证明权重效率并用剩余投影方向构造过度识别检验。 把这一步继续落实为固定维过度识别理论:先以全局准则定位,再用积分Jacobian得到线性表示;逆矩协方差权重具有明确的渐近效率比较,剩余正交方向形成J检验。矩数多于参数只表示有额外约束,不自动证明识别,也不让任意权重下的最小准则都服从同一个卡方律。
直觉
方法依次完成四步:选择存在且能区分参数的理论矩;计算其模型表达;用样本平均替换期望;在参数空间内求解并规定多解规则。大数定律 理路 强大数定律 Law of large numbers · Strong law of large numbers · SLLN 独立同分布且可积时,样本均值沿几乎每条无限样本路径收敛到共同期望。 只负责第三步收敛,参数一致性还需要 m 在真值处可识别且逆映射连续。
低阶矩容易计算却可能浪费信息,高阶矩可能更能区分参数却对尾部和异常值敏感。矩的选择是估计设计的一部分,不由定义自动决定。
图片加载失败 样本矩反解模型参数
例子与边界
设 X i ∼ Gamma ( a , b ) ,采用形状 a > 0 、尺度 b > 0 参数化。理论均值与方差为
E [ X ] = a b , Var ( X ) = a b 2 . 用样本一阶、二阶中心矩 X ¯ 与
M 2 , n = 1 n ∑ i ( X i − X ¯ ) 2 匹配,解得
a ^ M M = X ¯ 2 M 2 , n , b ^ M M = M 2 , n X ¯ , 前提是 X ¯ > 0 且 M 2 , n > 0 。状态轨迹是:数据先压成 ( X ¯ , M 2 , n ) ,再通过理论矩映射的逆恢复 ( a , b ) 。
对 Uniform( 0 , θ ) ,均值为 θ / 2 ,故矩估计 θ ^ = 2 X ¯ 。它与最大似然 理路 最大似然估计 Maximum likelihood estimation · MLE 在参数空间内选择使已观测数据似然达到上确界的参数估计方法。 的样本最大值不同,展示同一模型可有不同构造原则。
该估计量有限样本方差为 4 Var ( X ) / n = θ 2 / ( 3 n ) ,且无偏。相比之下,样本最大值的 MLE 有偏但误差尺度为 1 / n ,快于矩估计的 1 / n 。所以“矩估计解出了正确期望方程”不意味着它利用了模型中所有可用信息。
边界与失败情形
矩可能不存在。Cauchy 位置族没有有限一阶矩,用样本均值“匹配理论均值”没有定义;样本均值仍可算,但不存在它声称匹配的总体量。
矩映射可能不可识别。若只用 E [ X 2 ] = θ 2 + 1 估计正态均值 θ ,则 θ 与 − θ 给出同一矩,方程有两个解;添加一阶矩或限制参数空间才可区分。
有限样本矩可能落在 m ( Θ ) 之外。例如由均值、方差反解某些受约束分布时会得到负形状参数。必须说明投影、边界解或失败,而不能输出不属于参数空间的数字。
多解规则必须可重复且不能窥视未知参数。选择“最接近真值的根”不是估计量;可以规定最小非负根、由独立初值决定的局部根,或把整个解集作为输出,再分别分析其统计性质。
矩估计不自动无偏、有效或唯一。大数定律给样本矩收敛,也只有在所需绝对矩有限时成立;高阶矩估计在重尾下可能波动巨大。
若输入直接给定准确矩,而不把它们视作抽样估计,任务又会不同。平坦矩证书 理路 平坦 Hankel 矩的正测度证书 Flat Hankel moment certificate · Univariate flat moment certificate · 一元平坦矩证书 以前一阶矩阵正定和最后Schur余量为零,构造唯一的有限正原子测度;给出循环自伴证明、全部正测度中的唯一性及半正定和噪声边界。 判断全部正测度中的存在与唯一;Christoffel平方证书 理路 Christoffel 函数与矩约束原子上界 Christoffel function moment bound · Christoffel variational principle · 克里斯托费尔函数 以固定点取值为一的最小平方多项式定义Christoffel函数,从有限矩认证原子质量上界,并区分等号测度、不达上确界、支撑限制及矩误差。 只界定某点可能有的原子质量。将样本矩直接当成准确总体矩,可能错误宣布低秩或原子数。带误差时应先给联合矩误差合同,再把固定多项式的系数转成明确预算;本页的一致性或渐近正态性不自动提供这样的有限样本合同。
推论与应用
若 m ^ n → m ( θ 0 ) 依概率,m 在 θ 0 附近有连续的局部逆,并且估计量使用的正是这个分支,则连续映射定理 理路 连续映射定理 Continuous mapping theorem · Mann–Wald theorem 当可测映射的不连续点不承载极限概率时,沿它推前保留弱收敛;阈值映射说明边界质量为何决定成败。 给出一致性 理路 估计量的一致性 Consistency of estimators · Consistent estimator 估计误差随实验规模增长而消失的点态、统一、弱与强收敛性质及其证明边界。 θ ^ n → θ 0 。这里要求样本矩以趋于一的概率进入该局部逆的定义域,域外可预先规定一个可测输出。只知局部可逆却选择另一个远处的根,并不能推出一致性。进一步的渐近正态性 理路 估计量的渐近正态性 Asymptotic normality of estimators 估计误差在明确中心、速率与协方差下趋于正态律,以及线性化、标准化和边界失效机制。 需要矩向量中心极限定理和逆映射 Jacobian 非奇异。
对上述局部逆分支,标量情形若 m ′ ( θ 0 ) ≠ 0 且 Var θ 0 ( h ( X ) ) = v < ∞ ,Delta 方法 理路 Delta 方法 Delta method 用可微映射的一阶 Taylor 展开传播估计量的渐近分布与协方差。 给 n ( θ ^ n − θ 0 ) ⇒ N ( 0 , v / m ′ ( θ 0 ) 2 ) 。导数接近零会放大样本矩噪声;等于零时常规 n 正态近似失效,即使矩方程仍有唯一解。
当精确矩方程有解时,其加权平方差为零,因此也是该非负随机准则的全局极小点;无解时,上面的广义矩估计直接最小化同一准则。这把这些构造放入M-估计 理路 M-估计 M-estimation · M-estimator 通过随机准则的精确或近似极值选择参数,并把样本准则与总体识别目标分开。 框架,但不自动带来额外的渐近保证。
矩估计常提供封闭形式初值,再交给似然优化精化。它的价值是计算透明,不是普遍最优。
参考资料
A. W. van der Vaart, Asymptotic Statistics , Cambridge University Press, 1998,Ch. 5。
George Casella and Roger L. Berger, Statistical Inference , 2nd ed., Duxbury, 2002,§7.2。
Lars Peter Hansen, “Large Sample Properties of Generalized Method of Moments Estimators,” Econometrica 50(4), 1982。