多响应线性回归模型

形式陈述

一次实验同时测量多个响应，怎样保留它们的相关性？设固定设计矩阵 $X\in\mathbb R^{n\times k}$ 满列秩， $n>k$ ，响应矩阵 $Y\in\mathbb R^{n\times p}$ 。多响应正态线性模型为

Y=XB+\varepsilon,\qquad \varepsilon\sim\operatorname{MN}_{n,p}(0,I_n,\Sigma),\qquad\Sigma>0.

这里 $B\in\mathbb R^{k\times p}$ ：每一列是一个响应的回归系数，每一行对应同一个解释变量。本模型把单响应线性回归扩展成多个响应列；矩阵正态假设表示不同行独立，而同一行的 $p$ 个响应误差可以相关。

固定列优先向量化后，模型也可写成

\operatorname{vec}(Y)=(I_p\otimes X)\operatorname{vec}(B)+\operatorname{vec}(\varepsilon), \qquad\operatorname{Cov}(\operatorname{vec}\varepsilon)=\Sigma\otimes I_n.

因此在这个表示下，它是允许相关误差的一般线性回归模型的特例；额外限制是共同设计与可分离的高斯误差结构。

系数估计、投影和残差散布分别为

\widehat B=(X^TX)^{-1}X^TY,\qquad P_X=X(X^TX)^{-1}X^T,

\widehat\varepsilon=(I-P_X)Y,\qquad E=\widehat\varepsilon^T\widehat\varepsilon.

精确抽样分布为

\widehat B\sim\operatorname{MN}_{k,p}(B,(X^TX)^{-1},\Sigma), \qquad E\sim W_p(n-k,\Sigma),\qquad\widehat B\perp E.

$E/(n-k)$ 是无偏协方差估计；若 $n-k\ge p$ ， $E$ 几乎必然正定， $E/n$ 才是位于正定参数空间内的协方差极大似然估计。

直觉

同一组解释变量可以一次拟合多列数据。由于每列使用相同的设计空间，把所有残差平方相加时，最优系数仍是每列各做一次 OLS 得到的结果。

但系数数值可以逐列计算，不表示不确定性也能逐列拆开。若两个响应误差经常同向变化，它们的斜率估计也可能同向变化；残差矩阵的交叉乘积正是保存这份信息的地方。

几何上， $P_XY$ 把每一列都投到同一个 $k$ 维设计子空间， $(I-P_X)Y$ 则放到正交的 $n-k$ 维残差子空间。高斯性使这两个正交部分独立，因而给出精确抽样分解。

例子与边界

四行设计、两个响应，全部手算

取截距和解释变量 $t=(-3,-1,1,3)^T$ ，

X=\begin{pmatrix}1&-3\\1&-1\\1&1\\1&3\end{pmatrix},\qquad Y=\begin{pmatrix}-4&7\\-2&-1\\2&3\\8&-1\end{pmatrix}.

因为 $X^TX=\operatorname{diag}(4,20)$ ，而

X^TY=\begin{pmatrix}4&8\\40&-20\end{pmatrix},

所以

\widehat B=\begin{pmatrix}1&2\\2&-1\end{pmatrix}.

第一响应拟合为 $1+2t$ ，第二响应为 $2-t$ 。残差矩阵为

\widehat\varepsilon= \begin{pmatrix}1&2\\-1&-4\\-1&2\\1&0\end{pmatrix},\qquad E=\begin{pmatrix}4&4\\4&24\end{pmatrix}.

残差自由度为 $n-k=2$ ，因此无偏估计为

\widehat\Sigma=\frac E2=\begin{pmatrix}2&2\\2&12\end{pmatrix}.

例如两列截距估计的真实协方差为 $\Sigma_{12}/4$ ，代入估计值为 $1/2$ ；两列斜率估计的协方差为 $\Sigma_{12}/20$ ，代入为 $1/10$ 。单独看每列的标准误无法恢复这些交叉关系。

多个响应与多个解释变量不是同一件事

“多元回归”在不同语境里可能指解释变量多，也可能指响应多。本页明确让 $Y$ 为 $n\times p$ 矩阵， $p>1$ 时才是多响应； $k$ 包括截距等全部设计列。

若不同响应使用不同设计矩阵，逐列 OLS 一般不再等于考虑跨响应协方差的联合广义最小二乘估计。若不同行相关，则 $I_n$ 要换成行协方差因子，也会改变系数估计和推断。

剩余自由度决定协方差可逆性

即使 $X$ 满列秩，若 $n-k<p$ ，残差散布仍必然奇异。增加响应列会增加要估计的方向，却不会增加残差行空间。加岭、收缩或降维可帮助计算，但使用这些修改后必须重新建立检验的参考分布。

非正态误差下，OLS 的某些均值和协方差性质仍可成立，矩阵正态分布、Wishart 律和拟合—残差独立性却不能一起照搬。

推论与应用

为什么相关响应不改变共同设计下的系数解

固定正定 $\Sigma$ ，高斯负对数似然中依赖 $B$ 的部分为

\frac12\operatorname{tr}\{\Sigma^{-1}(Y-XB)^T(Y-XB)\}.

令 $D=B-\widehat B$ 。正规方程给出 $X^T(Y-X\widehat B)=0$ ，所以交叉项消失：

(Y-XB)^T(Y-XB)=E+D^TX^TXD.

第二项半正定，其与正定 $\Sigma^{-1}$ 的迹非负，且满秩设计下只有 $D=0$ 才取零。因此无论共同响应协方差是什么，系数极大似然解都为 $\widehat B$ 。这证明的是共同设计下的系数位置，不是响应之间互不相关。

系数分布与残差 Wishart

系数误差为 $\widehat B-B=(X^TX)^{-1}X^T\varepsilon$ 。用矩阵正态的左乘公式，行协方差因子为

(X^TX)^{-1}X^TX(X^TX)^{-1}=(X^TX)^{-1},

列因子仍为 $\Sigma$ 。因此逐元素有

\operatorname{Cov}(\widehat B_{aj},\widehat B_{bl}) =[(X^TX)^{-1}]_{ab}\Sigma_{jl}.

残差投影 $I-P_X$ 的秩为 $n-k$ ，高斯投影的 Wishart 定理给出 $E$ 的分布。又因 $X^T(I-P_X)=0$ ，系数误差与残差矩阵交叉协方差为零；二者联合正态，故独立，系数也独立于残差的外积和。

协方差估计的两个分母

Wishart 均值公式给出 $\mathbb E[E]=(n-k)\Sigma$ ，其中 $E$ 是残差散布矩阵， $\mathbb E$ 才表示取期望。因此无偏估计为 $E/(n-k)$ 。

若 $E>0$ ，把系数解代回似然，优化 $\frac n2\log\det\Sigma+\frac12\operatorname{tr}(\Sigma^{-1}E)$ 得到 $\widehat\Sigma_{\mathrm{ML}}=E/n$ 。无偏分母与似然分母回答不同问题；在后续精确 F 或 Wishart 校准中不能随意混用。

预测均值与新观测

对给定解释变量列向量 $x_0\in\mathbb R^k$ ，预测响应均值为 $\widehat B^Tx_0$ ，其协方差是

h_0\Sigma,\qquad h_0=x_0^T(X^TX)^{-1}x_0.

一个独立新观测还带有自身误差，所以预测误差协方差为 $(1+h_0)\Sigma$ 。均值置信区域与新观测预测区域因而不同；估计 $\Sigma$ 后，还要用相应的联合抽样分布作校准。

参考资料

Stanford STATS305C，《Multivariate regression》，Model、Estimation of $B$ 、Estimation of $\Sigma$ 、Distribution results 与 Sums of squares matrices。

形式陈述 ​

四行设计、两个响应，全部手算 ​

多个响应与多个解释变量不是同一件事 ​

剩余自由度决定协方差可逆性 ​

为什么相关响应不改变共同设计下的系数解 ​

系数分布与残差 Wishart ​

协方差估计的两个分母 ​

预测均值与新观测 ​

反向链接