矩阵正态分布 | Codeboy's Blog

形式陈述

一张数据表的行之间和列之间都可能相关，怎样为整个表建立一个联合分布？设随机矩阵 $Y\in\mathbb R^{n\times p}$ ，均值矩阵为 $M$ 。固定列优先向量化

\operatorname{vec}(Y)=(Y_{11},\ldots,Y_{n1},Y_{12},\ldots,Y_{np})^T.

若

\operatorname{vec}(Y)\sim N_{np}(\operatorname{vec}(M),V\otimes U),

则称 $Y\sim\operatorname{MN}_{n,p}(M,U,V)$ ，即矩阵正态分布。这里使用联合多元正态， $U\in\mathbb R^{n\times n}$ 、 $V\in\mathbb R^{p\times p}$ 为正定矩阵； $V\otimes U$ 表示第 $(j,l)$ 个块为 $V_{jl}U$ 的 Kronecker 乘积。

最不容易混淆的等价表达是逐元素协方差：

\operatorname{Cov}(Y_{ij},Y_{kl})=U_{ik}V_{jl}.

对矩阵的全部 $np$ 个自由元素，其密度为

f(Y)=\frac{ \exp\!\left[-\frac12\operatorname{tr}\{V^{-1}(Y-M)^TU^{-1}(Y-M)\}\right] }{(2\pi)^{np/2}(\det U)^{p/2}(\det V)^{n/2}}.

$U$ 控制行方向， $V$ 控制列方向。但它们是协方差因子，而非任何情况下都各自等于实际行列协方差：第 $j$ 列协方差为 $V_{jj}U$ ，第 $i$ 行协方差为 $U_{ii}V$ 。

直觉

把独立标准正态填进一个矩阵，再在左边乘一个行变换、右边乘一个列变换，就能生成矩阵正态。左乘让不同行混合，右乘让不同列混合。整个相关结构由两个较小矩阵协同描述。

在固定的列优先向量化表示下，这是一类协方差具有 Kronecker 结构的多元正态分布。“可分离”是一个实质模型限制：某两行之间的相关模式，必须在各列之间以相同方式复用；列方向也是如此。一般的联合高斯矩阵有一个任意 $np\times np$ 协方差，未必能拆成这两个因子的乘积。

列优先还是行优先只是一种记账约定，却会交换 Kronecker 因子的顺序。公式与代码必须采用同一个约定；逐元素协方差式可以用来检查是否放反。

例子与边界

四个元素的相关如何相乘

令 $M=0$ ，

U=\begin{pmatrix}1&1/2\\1/2&1\end{pmatrix},\qquad V=\begin{pmatrix}1&-1/3\\-1/3&1\end{pmatrix}.

按 $(Y_{11},Y_{21},Y_{12},Y_{22})$ 排列，协方差为

V\otimes U= \begin{pmatrix} 1&1/2&-1/3&-1/6\\ 1/2&1&-1/6&-1/3\\ -1/3&-1/6&1&1/2\\ -1/6&-1/3&1/2&1 \end{pmatrix}.

同列不同行的相关为 $1/2$ ，同行不同列为 $-1/3$ ，跨行跨列的 $\operatorname{Cov}(Y_{11},Y_{22})$ 为 $-1/6$ 。它们不是四种独立可调的参数。

这里 $\det U=3/4$ 、 $\det V=8/9$ ，所以 $f(0)=3/(8\pi^2)$ 。在全部元素都为一的矩阵处，指数中的二次型为四，密度变为 $f(0)e^{-2}$ 。两次计算可以同时核对行列顺序与归一化幂次。

每个元素都独立，也未必满足可分离方差

考虑四个独立零均值正态元素，其方差按矩阵位置排列为

\begin{pmatrix}1&1\\1&2\end{pmatrix}.

这当然构成一个联合高斯矩阵。但若能写成 $U_{ii}V_{jj}$ ，四个方差必须满足左上乘右下等于右上乘左下；这里 $2\ne1$ ，所以不能表示为本页的矩阵正态模型。

两个协方差因子的尺度不可分别识别

对任意 $c>0$ ，

(V/c)\otimes(cU)=V\otimes U.

因此 $(U,V)$ 与 $(cU,V/c)$ 给出完全相同的分布。若要分别估计两个因子，必须加一个尺度约定，例如 $\operatorname{tr}(U)=n$ ；数据不能区分本来就是同一个联合协方差的两种参数写法。

若允许半正定因子，可通过线性生成定义退化版本，但上述全维密度需要两个因子都正定。奇异协方差不是靠把行列式零代入分母解决的。

推论与应用

从独立噪声构造矩阵正态

取 $Z$ 的全部元素独立 $N(0,1)$ ，并取 $AA^T=U$ 、 $BB^T=V$ 。令

Y=M+AZB^T.

逐元素展开并使用独立噪声的协方差，

\operatorname{Cov}(Y_{ij},Y_{kl}) =\sum_{a,b}A_{ia}A_{ka}B_{jb}B_{lb} =U_{ik}V_{jl}.

所有元素又都是同一批独立正态的线性组合，所以它们联合正态。这证明了构造与定义等价，也提供了可靠的模拟方法。

密度中的行列式和迹

$U,V$ 的特征值分别为 $u_i,v_j$ ，则 $V\otimes U$ 的特征值是全部乘积 $u_iv_j$ 。因此其行列式为

\det(V\otimes U)=(\det U)^p(\det V)^n.

此外，对 $A=Y-M$ ，直接按索引展开可核对

\operatorname{vec}(A)^T(V^{-1}\otimes U^{-1})\operatorname{vec}(A) =\operatorname{tr}(V^{-1}A^TU^{-1}A).

将这两式代入 $np$ 维正态密度，就得到矩阵形式；无需再假设每一行或每一列独立。

线性变换与独立行特例

对固定 $L\in\mathbb R^{r\times n}$ 、 $C\in\mathbb R^{p\times s}$ ，

LYC\sim\operatorname{MN}_{r,s}(LMC,LUL^T,C^TVC),

若变换后因子奇异，就按退化联合高斯解释。该式可由逐元素协方差或 $L(AZB^T)C$ 的构造直接验证。

特别地， $U=I_n$ 时，不同行交叉协方差为零，联合正态性使这些行独立，每行协方差都是 $V$ 。这正是多响应回归常用的“观测行独立、响应列可以相关”模型。把列相关误当成行相关，会改变系数和残差的抽样分析。

参考资料

SciPy 官方文档，《matrix_normal》，Notes 的矩阵密度、正定条件、列优先向量化与 $V\otimes U$ 约定。
Stanford STATS305C，《Normal Theory》，Normal data matrix 与 Linear transformations of normal data matrices。

形式陈述 ​

四个元素的相关如何相乘 ​

每个元素都独立，也未必满足可分离方差 ​

两个协方差因子的尺度不可分别识别 ​

从独立噪声构造矩阵正态 ​

密度中的行列式和迹 ​

线性变换与独立行特例 ​