Skip to content

定义Definition

高斯过程

施工中 · 内容逐步修订

Gaussian process · Gaussian random process

任意有限组坐标都服从联合高斯分布、因而由均值函数与半正定协方差核确定其有限维分布的随机过程。

形式陈述 ​

在概率空间 (Ω,F,P) 上,令 T 为任意指标集。实值随机过程 X=(Xt)t∈T 称为高斯过程,若对任意 n≥1、t1,…,tn∈T 与 a1,…,an∈R,线性组合 ∑iaiXti 都是一维高斯随机变量;允许方差为零的退化情形。等价地,每个有限向量 (Xt1,…,Xtn) 都服从联合高斯分布。

一维高斯变量都有有限二阶矩,因此定义均值函数 m(t)=E[Xt] 与协方差核

K(s,t)=E[(Xs−m(s))(Xt−m(t))].

核必须对称,并且对任意有限选择都满足

∑i,j=1naiajK(ti,tj)≥0.

这叫半正定,不要求严格正定;等号对应有限维分布落在低维仿射子空间上。反过来,任意函数 m:T→R 与对称半正定核 K:T2→R 都确定一族相容的高斯有限维分布,Kolmogorov 扩张定理给出乘积空间上的一个过程。这里得到的是坐标过程的存在性。联合可测性、可分离性、连续或可微样本路径都需由 T 的度量和核的增量估计另证。

高斯律由均值与协方差唯一确定,所以两高斯过程若 m,K 相同,便有相同有限维分布;这不表示它们已在同一概率空间逐点相等。若核矩阵奇异,条件分布公式应在非奇异子块上使用,或以广义逆处理支撑子空间,不能直接写普通逆矩阵。

直觉

高斯过程可以看作“无限维高斯向量”:每次只能抽取有限个坐标,但无论怎样抽取,所得截面都保持高斯几何。均值给出轨迹的中心轮廓;核同时编码各点波动大小和共同移动方式。半正定条件来自方差恒非负,因为上式正是 Var(∑iaiXti)。因此它不是技术附注,而是让所谓协方差真正可能存在的代数约束。

核在对角线附近的行为控制短距离增量的均方尺度:

E|Xt−Xs|2=K(t,t)+K(s,s)−2K(s,t)+(m(t)−m(s))2.

这个量很小只说明均方接近;要推出几乎处处连续版本,通常还需更高阶矩界并应用连续性判据。高斯性使高阶增量矩可由方差控制,却仍不能把“核连续”简单等同于“路径连续”。

例子与边界

取独立标准正态 Z0,Z1,令 Xt=Z0+tZ1,t∈[0,1]。这是秩为二的高斯过程,m(t)=0,

K(s,t)=E[(Z0+sZ1)(Z0+tZ1)]=1+st.

对任意 ai,ti,二次型等于 (∑iai)2+(∑iaiti)2≥0,半正定性可直接复算。每条路径其实是随机直线;尽管指标集不可数,随机性只占两个方向。这也说明半正定而非严格正定才是正确要求。

在非负时间 s,t≥0 上,另一个核心核是 K(s,t)=min(s,t)。它满足

∑i,jaiajmin(ti,tj)=∫0∞(∑iai1[0,ti](u))2du≥0,

配合零均值产生Brownian 运动的有限维律。连续路径还来自增量矩估计,而不只是这条积分恒等式。

只检查 K(t,t)≥0 不够。两点集上的矩阵 (1221) 对角线为正,却在向量 (1,−1) 上给出 −2,不可能是协方差矩阵。另一边界是高斯边缘不足以推出高斯过程:令 Z∼N(0,1)、ε 为独立公平符号,取 X1=Z、X2=εZ。两个坐标各自标准正态,但 |X1|=|X2| 几乎处处,联合律集中在两条直线上,并非二维高斯。更直接地,X1+X2 有方差 2,却以概率 1/2 等于零;非退化高斯分布没有原子,故它违反全线性组合的定义。

推论与应用

观测有限向量 Y=(Xt1,…,Xtn)+ϵ,其中 σ2>0,独立噪声 ϵ∼N(0,σ2I)。对新点 t∗,联合高斯条件公式给出

E[Xt∗∣Y]=m∗+k∗⊤(Kn+σ2I)−1(Y−mn),

条件方差为 K(t∗,t∗)−k∗⊤(Kn+σ2I)−1k∗。这条链从核构造联合律,再由条件高斯律得到回归预测与不确定度;加入 σ2I 同时刻画观测噪声并保证矩阵可逆。

固定 Brownian 终点的Brownian 桥给出一个连续路径例子:条件均值成为端点连线,剩余核为 min(s,t)−st/T,不同时间段的增量因终点约束而负相关。

有限坐标线性组合的均方极限仍保留高斯性。具体地,若 Zn 是有限个 Xt 的线性组合,且 E|Zn−Z|2→0,则Cauchy–Schwarz 不等式使均值和二阶矩收敛;同时,对每个实数 u,

|EeiuZn−EeiuZ|≤|u|E|Zn−Z|≤|u|(E|Zn−Z|2)1/2→0.

把各 Zn 的高斯特征函数取极限,得到 Z 的高斯特征函数,允许极限方差为零。若有限个输出各有这样的均方逼近,对其任意线性组合重复论证,便得到联合高斯。积分和均方导数可在各自近似确实均方收敛时使用这条规则;仅在某种路径集合上写出一个未说明连续性和可测性的线性算子,不能自动继承它。时间序列中的平稳高斯过程、空间随机场与贝叶斯非参数模型都沿用同一逻辑:先验证核半正定,再处理所需路径性质,最后才进行条件化或极限运算。

若有限观测天然按行、列组成数据表,矩阵正态模型额外要求协方差可分离成行因子与列因子的 Kronecker 乘积。它是一个有结构限制的联合高斯模型;一般高斯截面的协方差未必能这样分解。

参考资料
  • Carl E. Rasmussen and Christopher K. I. Williams, Gaussian Processes for Machine Learning, MIT Press, 2006, Ch. 2, §2.2, Gaussian-process specification and prediction。
  • Robert J. Adler and Jonathan E. Taylor, Random Fields and Geometry, Springer, 2007, Ch. 1, §§1.2–1.3, Gaussian fields and sample regularity。
  • Mikhail A. Lifshits, Gaussian Random Functions, Kluwer Academic Publishers, 1995, Ch. 1, §§1–2, Gaussian families and covariance functions。
关系图谱22 个相邻概念 · 3 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
分类位置

上位 / 更一般

下位 / 直接特例

类型化关系