模型Model

多元正态分布

Multivariate normal distribution · Multivariate Gaussian distribution · Jointly Gaussian vector

以所有线性组合都正态刻画联合高斯向量，并由特征函数连接线性构造、退化支撑、全维密度与条件分布。

形式陈述

几个坐标各自呈正态，是否就组成了一个正态向量？真正的联合条件要更强。称 $p$ 维随机向量 $X$ 服从多元正态分布，记为 $N_p(\mu,\Sigma)$ ，若对每个 $a\in\mathbb R^p$ ，

a^TX\sim N(a^T\mu,a^T\Sigma a).

这定义了向量空间上的一族概率分布。这里使用一元正态并允许方差为零，此时随机变量为常量。均值为 $\mu=EX$ ，协方差 $\Sigma=\operatorname{Cov}(X)$ 必须对称半正定。

等价地，其联合特征函数为

\varphi_X(t)=E e^{it^TX} =\exp\!\left(it^T\mu-\frac12t^T\Sigma t\right),\qquad t\in\mathbb R^p.

也等价于存在实矩阵 $A$ 和独立标准正态组成的向量 $Z$ ，使 $X\overset d=\mu+AZ$ ，且 $AA^T=\Sigma$ 。

只有 $\Sigma$ 正定时， $X$ 才具有相对于 $p$ 维 Lebesgue 测度的密度

f_X(x)=\frac{1}{(2\pi)^{p/2}(\det\Sigma)^{1/2}} \exp\!\left[-\frac12(x-\mu)^T\Sigma^{-1}(x-\mu)\right].

若秩为 $r<p$ ，分布集中在 $\mu+\operatorname{range}(\Sigma)$ 这一 $r$ 维仿射子空间上。它仍是合法的联合正态，只是不能把奇异矩阵硬塞进上述普通密度。

直觉

从一团独立标准正态噪声出发，先拉伸不同方向，再旋转，最后平移，就得到一般多元正态。协方差的特征向量给方向，特征值给沿该方向的方差。某个特征值为零，意味着那个方向完全不随机，云团被压到低维平面上。

“每个坐标都正态”只检查坐标轴方向；定义要求每一种线性投影都正态。这个全方向要求才足以使均值和协方差唯一确定整个联合律，也才使零协方差能够升级为独立。

条件分布则把已经观测到的方向固定。剩余变量的中心会随观测移动，方差会扣掉已解释的部分；在高斯族内，这种扣除有精确的线性代数公式。

例子与边界

取独立 $Z_1,Z_2\sim N(0,1)$ ，令

X_1=\sqrt3Z_1+Z_2,\qquad X_2=Z_2.

直接计算协方差得

\mu=0,\qquad\Sigma=\begin{pmatrix}4&1\\1&1\end{pmatrix},\qquad\det\Sigma=3.

对任意 $t_1,t_2$ ， $t_1X_1+t_2X_2=\sqrt3t_1Z_1+(t_1+t_2)Z_2$ ，所以

\varphi_X(t)=\exp\!\left[-\frac12\{3t_1^2+(t_1+t_2)^2\}\right].

其密度也可写成容易看懂的形式：

f(x_1,x_2)=\frac1{2\pi\sqrt3} \exp\!\left[-\frac12\left\{\frac{(x_1-x_2)^2}{3}+x_2^2\right\}\right].

固定 $X_2=y$ 后，只剩独立的 $\sqrt3Z_1$ 未知，故 $X_1\mid X_2=y\sim N(y,3)$ 。反向条件分布不同： $X_2\mid X_1=x\sim N(x/4,3/4)$ 。条件方向不能互换系数。

取 $Y=(Z,2Z)$ ，其中 $Z\sim N(0,1)$ 。其协方差为

\begin{pmatrix}1&2\\2&4\end{pmatrix},

秩为一，全部概率位于 $y_2=2y_1$ 。任何线性组合仍是一元正态，但平面上的这条直线面积为零，不可能承载一个普通二维密度的全部质量。

“零协方差推出独立”也必须带上联合正态条件。仅有两个正态边缘不够；随机改变一个正态变量的符号，就可以保留边缘形状却留下绝对值完全相等的依赖。这里的区别是联合律，不是单个直方图看起来像不像钟形。

推论与应用

由全方向定义，对标量 $t^TX$ 使用一元正态特征函数，立即得到联合特征函数公式。反过来，把联合公式限制在直线 $sa$ 上，就得到 $a^TX$ 的一元正态特征函数。

\Sigma=Q\operatorname{diag}(\lambda_1,\ldots,\lambda_p)Q^T, \qquad\lambda_j\ge0.

取 $A=Q\operatorname{diag}(\sqrt{\lambda_1},\ldots,\sqrt{\lambda_p})$ 。独立标准正态的特征函数相乘，说明 $\mu+AZ$ 恰具有前述联合特征函数；唯一性便给出同分布表示，连零特征值也包括在内。

正定时 $A$ 可逆，变量替换 $z=A^{-1}(x-\mu)$ 的Jacobian绝对值为 $1/|\det A|=(\det\Sigma)^{-1/2}$ 。把独立标准正态密度代入，得到全维密度公式。若 $A$ 不可逆，这一步变量替换不成立，必须保留低维构造。

对固定矩阵 $L$ 和向量 $b$ ，任意 $a^T(LX+b)$ 仍是 $X$ 的线性组合加常量，因此

LX+b\sim N(L\mu+b,L\Sigma L^T).

将 $X$ 分成两个坐标块。若交叉协方差为零，特征函数指数中没有混合项，联合特征函数分解成两个边缘特征函数之积，于是两块独立。这个论证对退化块同样成立，不依赖密度存在。

设联合正态向量分块为 $(X_A,X_B)$ ，均值为 $(\mu_A,\mu_B)$ ，协方差块为 $\Sigma_{AA},\Sigma_{AB},\Sigma_{BB}$ ，并假定 $\Sigma_{BB}$ 正定。定义

R=X_A-\mu_A-\Sigma_{AB}\Sigma_{BB}^{-1}(X_B-\mu_B).

$R$ 与 $X_B$ 联合正态，且交叉协方差为零，所以独立。展开 $R$ 的协方差得到

\Sigma_R=\Sigma_{AA}-\Sigma_{AB}\Sigma_{BB}^{-1}\Sigma_{BA}.

故一个正则条件分布版本为

X_A\mid X_B=b\sim N\!\left(\mu_A+\Sigma_{AB}\Sigma_{BB}^{-1}(b-\mu_B),\Sigma_R\right).

这不是对概率零事件随意作除法，而是由独立残差直接构造的条件概率核。 $\Sigma_R$ 可以奇异；例如 $Y=(Z,2Z)$ 在给定 $Y_2$ 后， $Y_1=Y_2/2$ 已完全确定。若被观测块本身奇异，应先选其独立支撑坐标，不能直接写不存在的普通逆。

参考资料

MIT OpenCourseWare，6.436J/15.085J Fall 2018，Lecture 15: Multivariate Normal Distributions Continued; Characteristic Functions，§§1–3 的等价刻画、退化情形与白化，§4.2 的联合特征函数。
Stanford STATS305C，《Normal Theory》，Linear transformations 与正常数据矩阵的独立性部分。