Skip to content

高斯过程

Gaussian process · Gaussian random process

任意有限组坐标都服从联合高斯分布、因而由均值函数与半正定协方差核确定其有限维分布的随机过程。

条目类型
定义

形式陈述

在概率空间 (Ω,F,P) 上,令 T 为任意指标集。实值随机过程 X=(Xt)tT 称为高斯过程,若对任意 n1t1,,tnTa1,,anR,线性组合 iaiXti 都是一维高斯随机变量;允许方差为零的退化情形。等价地,每个有限向量 (Xt1,,Xtn) 都是联合高斯的。

若二阶矩有限,定义均值函数 m(t)=E[Xt]协方差

K(s,t)=E[(Xsm(s))(Xtm(t))].

核必须对称,并且对任意有限选择都满足

i,j=1naiajK(ti,tj)0.

这叫半正定,不要求严格正定;等号对应有限维分布落在低维仿射子空间上。反过来,任意函数 m:TR 与对称半正定核 K:T2R 都确定一族相容的高斯有限维分布,Kolmogorov 扩张定理给出乘积空间上的一个过程。这里得到的是坐标过程的存在性。联合可测性、可分离性、连续或可微样本路径都需由 T 的度量和核的增量估计另证。

高斯律由均值与协方差唯一确定,所以两高斯过程若 m,K 相同,便有相同有限维分布;这不表示它们已在同一概率空间逐点相等。若核矩阵奇异,条件分布公式应在非奇异子块上使用,或以广义逆处理支撑子空间,不能直接写普通逆矩阵。

直觉

高斯过程可以看作“无限维高斯向量”:每次只能抽取有限个坐标,但无论怎样抽取,所得截面都保持高斯几何。均值给出轨迹的中心轮廓;核同时编码各点波动大小和共同移动方式。半正定条件来自方差恒非负,因为上式正是 Var(iaiXti)。因此它不是技术附注,而是让所谓协方差真正可能存在的代数约束。

核在对角线附近的行为控制短距离增量的均方尺度:

E|XtXs|2=K(t,t)+K(s,s)2K(s,t)+(m(t)m(s))2.

这个量很小只说明均方接近;要推出几乎处处连续版本,通常还需更高阶矩界并应用连续性判据。高斯性使高阶增量矩可由方差控制,却仍不能把“核连续”简单等同于“路径连续”。

例子与边界

取独立标准正态 Z0,Z1,令 Xt=Z0+tZ1t[0,1]。这是秩为二的高斯过程,m(t)=0

K(s,t)=E[(Z0+sZ1)(Z0+tZ1)]=1+st.

对任意 ai,ti,二次型等于 (iai)2+(iaiti)20,半正定性可直接复算。每条路径其实是随机直线;尽管指标集不可数,随机性只占两个方向。这也说明半正定而非严格正定才是正确要求。

另一个核心核是 K(s,t)=min(s,t)。它满足

i,jaiajmin(ti,tj)=0(iai1[0,ti](u))2du0,

配合零均值产生Brownian 运动的有限维律。连续路径还来自增量矩估计,而不只是这条积分恒等式。

只检查 K(t,t)0 不够。两点集上的矩阵 (1221) 对角线为正,却在向量 (1,1) 上给出 2,不可能是协方差矩阵。另一边界是高斯边缘不足以推出高斯过程:令 ZN(0,1)ε 为独立公平符号,取 X1=ZX2=εZ。两个坐标各自标准正态,但 |X1|=|X2| 几乎处处,联合律集中在两条直线上,并非二维高斯。

推论与应用

观测有限向量 Y=(Xt1,,Xtn)+ϵ,其中 σ2>0,独立噪声 ϵN(0,σ2I)。对新点 t,联合高斯条件公式给出

E[XtY]=m+k(Kn+σ2I)1(Ymn),

条件方差为 K(t,t)k(Kn+σ2I)1k。这条链从核构造联合律,再由条件高斯律得到回归预测与不确定度;加入 σ2I 同时刻画观测噪声并保证矩阵可逆。

在线性算子下,高斯性保持:若 L1,,Lm 是对路径定义良好且均方连续的线性泛函,则 (L1X,,LmX) 仍联合高斯。积分、导数和边界观测因此可以在核上计算,但算子是否存在取决于核正则性。时间序列中的平稳高斯过程、空间随机场与贝叶斯非参数模型都沿用同一逻辑:先验证核半正定,再处理所需路径性质,最后才进行条件化或极限运算。

参考资料
  • Carl E. Rasmussen and Christopher K. I. Williams, Gaussian Processes for Machine Learning, MIT Press, 2006, Ch. 2, §2.2, Gaussian-process specification and prediction。
  • Robert J. Adler and Jonathan E. Taylor, Random Fields and Geometry, Springer, 2007, Ch. 1, §§1.2–1.3, Gaussian fields and sample regularity。
  • Mikhail A. Lifshits, Gaussian Random Functions, Kluwer Academic Publishers, 1995, Ch. 1, §§1–2, Gaussian families and covariance functions。
关系图谱9 个相邻概念 · 3 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
分类位置

上位 / 更一般

暂未标注直接上位概念。

下位 / 直接特例

类型化关系