Sandwich 协方差估计

中间的 $B$ 描述观测推力怎样波动，两侧的 $A^{-1}$ 把推力单位换成参数单位。只看曲率而忽略推力方差，相当于假定二者满足正确似然下的信息等式；异方差或模型错配时，这种抵消通常不存在。

可执行的计算顺序 ​

先固定估计目标、得分符号和独立抽样单元，再拟合参数并检查残差与根选择。随后逐行求得分和 Jacobian，累积 $\hat{A}$、$\hat{B}$，检查 $\hat{A}$ 的秩与条件数。通过线性方程求解实现夹乘，通常不显式形成逆矩阵；最后除以 $n$，对所报目标传播协方差。

固定维、每行得分和 Jacobian 可在 $O(p^2)$ 计算时，累计成本 $O(n{p}^2)$、存储 $O(p^2)$，矩阵分解成本 $O(p^3)$；模型拟合成本另计。若 $\hat{A}$ 奇异，算法应返回“无法按此公式构造协方差”，不能静默使用广义逆后为不可识别坐标报告普通标准误。

五行回归从残差算到 HC0 ​

用截距和斜率拟合五行数据

写 $z_i=(1,x_i{)}^{\mathsf{T}}$、${\psi }_i(\beta )=z_i(y_i-z_i^{\mathsf{T}}\beta )$。正规方程给 $\hat{\beta }=(2,13/10{)}^{\mathsf{T}}$，残差依次为

这份数据用于复核算术，不能仅凭五个残差认定真实总体异方差。按上面的得分符号，

例如非对角元由 $\sum _i{x}_i{e}_i^2/5=24/25$ 得到，不能因 $\sum _i{x}_i=0$ 就把它删掉。夹乘并除以 $n=5$ 后，HC0 协方差为

截距与斜率的标准误约为 $0.451664$ 和 $0.332566$。若报告 $x=1$ 处的拟合均值，目标是 ${\beta }_0+{\beta }_1$，估计值为3.3，方差为

标准误约0.711758。它不包含新个体响应的随机噪声，因此不是预测区间的尺度。

普通同方差公式使用 $s^2=\sum e_i^2/(5-2)=17/10$，给协方差 $\mathrm{diag}(17/50,17/100)$。HC0 与它不同，不表示 HC0 在这个五点样本上已获得精确覆盖。HC1 会把 HC0 乘以 $n/(n-p)=5/3$；这类自由度修正也不会自动恢复经典精确 $t$ 分布。

明确的异方差总体 ​

考虑无截距标量回归。令 $X$ 等概率取1或2，$U$ 独立等概率取 $\pm 1$，$Y=\beta X+XU$。于是 $E(Y\mid X)=\beta X$，但条件方差为 $X^2$。有

故根号样本量下的真实方差为 $V=34/25$。同方差公式的极限却为 $E[(XU{)}^2]/E{X}^2=1$。因此普通标准误把方差系数从1.36报成1；不是 OLS 中心错误，而是分母尺度错误。所有变量有界，设计二阶矩正，固定维 IID 的大数律、中心极限定理与残差插件条件都可直接检查。

固定阈值 Huber 的小样本桥梁 ​

对旧M-估计理路M-估计M-estimation · M-estimator通过随机准则的精确或近似极值选择参数，并把样本准则与总体识别目标分开。中的数据 $(-1,0,1,100)$，固定阈值1、固定尺度1，估计位置为 $1/2$。四个得分是 $(-1,-1/2,1/2,1)$，样本中两个残差严格落在截断区间内部，所以

这里没有观测恰落在截断点，故样本导数计数无歧义。要把这项算术升级为抽样保证，还需总体根唯一、截断点无原子、$P(|X-{\theta }_0|<1)>0$，以及相应的非光滑渐近线性证明；不能直接调用前页的处处连续可微版本。若阈值或尺度由本样本选择，固定值的得分协方差也不是完整误差账本。

若固定对比满足 $c^{\mathsf{T}}Vc>0$，由上述一致性及Slutsky 定理理路Slutsky 定理Slutsky's theorem依分布收敛随机量与依概率收敛常量组合时，和、积与合法商保持相应分布极限。，

这才支持渐近 Wald 区间。有限样本出现零分母、负的数值舍入对角元或病态 $\hat{A}$ 时，应报告失败并检查模型、矩阵和样本量，不把数值补丁说成理论保证。

异方差稳健与普通最小二乘的精确同方差推断理路普通最小二乘推断Ordinary least squares inference · OLS inference在线性模型假设下推导 OLS 系数分布、标准误及有限样本 t/F 推断。服务不同假设。相关行必须按实际独立单元计算得分协方差，时间序列还涉及长期协方差；直接把每行外积相加不估计这些跨行项。模型错配时区间中心通常是准则的伪真目标理路伪真参数与错配目标Pseudo-true parameter在真实分布不属于工作模型时，明确准则实际收敛的目标，并分开目标偏差、抽样方差和数值误差。，稳健标准误不会修复中心与科学目标之间的系统差异。

自测与答案 ​

1. 若把全部得分乘 $-1$，$\hat{A}$、$\hat{B}$ 和标准误怎样变？答案：$\hat{A}$ 变号，$\hat{B}$ 不变，两侧负号抵消，标准误不变。
2. 把每条观测复制一次并声称样本量翻倍，会怎样？答案：平均的 $\hat{A}$、$\hat{B}$ 不变，错用新行数会让标准误缩小到原来的 $1/\sqrt{2}$。复制并未产生独立信息，正是IID前提被破坏。

按时间排列的得分怎样估计协方差 ​

若得分跨时点相关，HAC协方差与Bartlett窗口理路HAC协方差估计与Bartlett窗口HAC covariance estimation · Newey–West covariance estimator · Bartlett HAC estimator将按时间排列的得分转成半正定Bartlett长期协方差，证明有限窗口恒等式，并在明确的高斯有限MA模型下完成一致性、均值标准误与失败诊断。补入加权滞后外积，并用窗口平方和证明有限样本半正定。平均方程下仍须在夹乘后除以样本量；平稳依赖、拟合得分一致性及CLT要另行验证。它提供三点硬截断负方差的复算与高斯有限MA均值的完整保证。