普通最小二乘推断 | Codeboy's Blog

形式陈述

Y=X\beta+\varepsilon, \qquad X\in\mathbb R^{n\times p},

其中 $X$ 满列秩， $E[\varepsilon\mid X]=0$ ， $\operatorname{Cov}(\varepsilon\mid X)=\sigma^2I_n$ 。由最小二乘与正规方程得到

\widehat\beta=(X^{\mathsf T}X)^{-1}X^{\mathsf T}Y.

代入模型得到精确误差表示

\widehat\beta-\beta =(X^{\mathsf T}X)^{-1}X^{\mathsf T}\varepsilon,

所以条件于 $X$ ，

E[\widehat\beta\mid X]=\beta, \qquad \operatorname{Cov}(\widehat\beta\mid X) =\sigma^2(X^{\mathsf T}X)^{-1}.

这些有限样本均值、协方差结论不需要误差正态，但需要零条件均值、同方差无相关与满秩。

正态模型下的精确分布

以下精确推断要求 $n>p\ge1$ 、 $\sigma>0$ ，并进一步假设联合正态误差 $\varepsilon\mid X\sim N_n(0,\sigma^2I)$ 。于是

\widehat\beta\mid X \sim N_p\left(\beta,\sigma^2(X^{\mathsf T}X)^{-1}\right).

残差平方和与方差估计为

\mathrm{RSS}=\|Y-X\widehat\beta\|^2, \qquad s^2=\frac{\mathrm{RSS}}{n-p}.

残差投影 $I-X(X^{\mathsf T}X)^{-1}X^{\mathsf T}$ 的秩为 $n-p$ ；由正态投影平方和的卡方分布，

\frac{(n-p)s^2}{\sigma^2}\sim\chi_{n-p}^2,

且 $\widehat\beta$ 与 $s^2$ 独立。对任意非零对比向量 $c\in\mathbb R^p$ ，

t=\frac{c^{\mathsf T}\widehat\beta-c^{\mathsf T}\beta} {s\sqrt{c^{\mathsf T}(X^{\mathsf T}X)^{-1}c}} \sim t_{n-p}.

取 $0<\alpha<1$ ，由检验反演， $c^T\beta$ 的精确 $1-\alpha$ 区间为估计值加减 $t$ 分位数乘标准误。 $c=0$ 时目标恒为零，无需构造分母为零的 $t$ 统计量。

F 检验

检验 $1\le q\le p$ 个线性约束

H_0:R\beta=r, \qquad\operatorname{rank}(R)=q,

可用

F= \frac{(R\widehat\beta-r)^{\mathsf T} [R(X^{\mathsf T}X)^{-1}R^{\mathsf T}]^{-1} (R\widehat\beta-r)/q}{s^2}.

正态零假设下 $F\sim F_{q,n-p}$ 。等价地可比较受限与完整模型 RSS 的减少量。 $q=1$ 时 $F=t^2$ ，平方后丢失对比方向但给相同双侧 p 值。

直觉

OLS 推断把几何投影与概率校准叠在一起：最小二乘先把响应分解为拟合分量和正交残差，正态同方差模型再让系数方向与残差尺度具有可计算的独立分布。投影恒等式本身并不自动提供 t/F 校准；后者依赖设计秩、误差结构和方差估计。

例子与边界

若某系数估计 $\widehat\beta_j=1.20$ ，标准误 $0.30$ ，残差自由度 $20$ ，检验 $H_0:\beta_j=0$ 得

t=1.20/0.30=4.

$t_{0.975,20}\approx2.086$ ，故 $95\%$ 区间为

1.20\pm2.086(0.30)=[0.574,1.826].

区间排除零与双侧检验拒绝一致。该数值轨迹依赖报告的标准误确由相同模型、设计与残差自由度计算。

边界与失败情形

异方差下 OLS 在零条件均值时仍可无偏，但 $s^2(X^TX)^{-1}$ 错误，精确 $t/F$ 分布失效。heteroskedasticity-consistent sandwich 标准误通常只提供渐近校准，并需杠杆修正选择。

误差相关时，应建模协方差或用聚类、HAC 等适合依赖结构的估计；把相关行当独立可能低估或高估不确定性。

Gauss–Markov 最优性不需要正态，只在“线性无偏估计量”类中比较协方差；它不能证明普通 t/F 在非正态小样本下精确。

高杠杆、近共线性会放大 $(X^TX)^{-1}$ ，即使模型可识别也可能标准误巨大。数据驱动选变量后继续使用未选择模型的普通分布，会忽略选择不确定性。

逐行诊断可使用外部学生化残差，其分母来自删除该行后的拟合。内部学生化仍把本行误差留在尺度中，绝对值受√(n−p)限制，不能直接套同一个t尾。对全体行扫描后才挑最大者，也改变了单个预指定行的参考分布；Cook影响量汇总拟合改变，并不是自动删行的精确p值。

线性对比的标准误必须传播完整协方差： $c^T\widehat\beta$ 的方差为 $\sigma^2c^T(X^TX)^{-1}c$ 。把多个系数标准误平方相加只在交叉协方差恰为零时正确；设计列相关通常让这些项不可忽略。

设计不满秩时，广义逆可返回某个最小范数系数解，但不可识别坐标没有唯一分布含义。推断应限制到可估对比，即 $c\in\operatorname{col}(X^{\mathsf T})$ ，等价于 $c^{\mathsf T}$ 位于 $X$ 的行空间。因为 $X(\beta+v)=X\beta$ 对所有 $v\in\ker X$ 成立，目标能够识别恰好要求 $c^{\mathsf T}v=0$ ；软件自动选出的别名约束不能替代对目标可识别性的说明。

这个可估性条件在c最优实验设计中会主动出现：若只要截距，直线模型可以把全部测量放在中心，使斜率不可识别而截距达到最小方差。固定设计的信息矩阵 $M$ 奇异时，应先检查 $Mu=c$ 是否有解，再以 $c^{\mathsf T}u$ 计算归一化最佳线性无偏方差。若无解，把 $c^{\mathsf T}M^+c$ 当成答案会误报有限值甚至零；给系数加一份软件约束不能恢复这项统计目标。

推论与应用

大样本随机设计下，在适当矩、独立或弱依赖条件下，OLS 可渐近正态并配 sandwich 协方差。有限样本正态模型用Student t 分布和F 分布校准；渐近稳健模型应与它明确分开报告。

均值响应区间只含系数估计不确定性；新观测预测区间还要加入 $\sigma^2$ ，因此更宽。

截距-only的IID正态模型可直接看清这个新增项：独立新值 $Y$ 使 $(Y-\bar X)/(S\sqrt{1+1/n})\sim t_{n-1}$ ，而均值枢轴使用 $S/\sqrt n$ 。两者给参数覆盖和单个新值的边缘预测；若要求以指定置信认证区间包含某个总体比例，则进入总体含量容忍合同，不能只给预测区间换一个名字。

回归也可以作为设计估计的辅助工具。调查校准权重把已知辅助总量与样本估计之差通过加权回归系数转成总量修正，同时保留原抽样设计作为不确定性的来源。

从行独立到群独立

Sandwich 协方差估计给出五行回归的 HC0 完整复算，并用明确的异方差总体说明常规同方差标准误收敛到错误尺度。若独立单元是一整群，聚类稳健协方差先汇总群得分，再形成外积；其大样本依据是独立群数增长，不能用增加群内行数代替。

解释变量与结构误差相关时，改变标准误不能使OLS重新识别结构系数。2SLS在另有有效且相关工具时先改变估计方程；其标准误还必须使用原结构残差 $Y-X\widehat\beta$ ，而不是第二阶段软件的 $Y-\widehat X\widehat\beta$ 。点估计的两阶段等式不提供普通回归全部条件分布。

参考资料

George A. F. Seber and Alan J. Lee, Linear Regression Analysis, 2nd ed., Wiley, 2003，Ch. 2–3。
C. R. Rao and Helge Toutenburg, Linear Models, 2nd ed., Springer, 1999，Ch. 3。
Halbert White, “A Heteroskedasticity-Consistent Covariance Matrix Estimator,” Econometrica 48(4), 1980。

形式陈述 ​

正态模型下的精确分布 ​

F 检验 ​

边界与失败情形 ​

从行独立到群独立 ​

反向链接

形式陈述

正态模型下的精确分布

F 检验

边界与失败情形

从行独立到群独立