形式陈述
在概率空间 ( Ω , F , P ) 上,令 T 为任意指标集。实值随机过程 公理库 随机过程 Stochastic process · Random process 由同一随机实验产生、按时间或空间指标组织的一族随机变量。 X = ( X t ) t ∈ T 称为高斯过程,若对任意 n ≥ 1 、t 1 , … , t n ∈ T 与 a 1 , … , a n ∈ R ,线性组合 ∑ i a i X t i 都是一维高斯随机变量;允许方差为零的退化情形。等价地,每个有限向量 ( X t 1 , … , X t n ) 都是联合高斯的。
若二阶矩有限,定义均值函数 m ( t ) = E [ X t ] 与协方差 公理库 协方差 Covariance 两个随机变量中心化乘积的期望,衡量线性共同变化。 核
K ( s , t ) = E [ ( X s − m ( s ) ) ( X t − m ( t ) ) ] . 核必须对称,并且对任意有限选择都满足
∑ i , j = 1 n a i a j K ( t i , t j ) ≥ 0. 这叫半正定,不要求严格正定;等号对应有限维分布落在低维仿射子空间上。反过来,任意函数 m : T → R 与对称半正定核 K : T 2 → R 都确定一族相容的高斯有限维分布,Kolmogorov 扩张定理 公理库 Kolmogorov 扩张定理 Kolmogorov extension theorem · Daniell–Kolmogorov theorem · Kolmogorov consistency theorem 从一族彼此相容的有限维分布构造乘积空间上唯一的概率测度与坐标随机过程。 给出乘积空间上的一个过程。这里得到的是坐标过程的存在性。联合可测性、可分离性、连续或可微样本路径都需由 T 的度量和核的增量估计另证。
高斯律由均值与协方差唯一确定,所以两高斯过程若 m , K 相同,便有相同有限维分布;这不表示它们已在同一概率空间逐点相等。若核矩阵奇异,条件分布公式应在非奇异子块上使用,或以广义逆处理支撑子空间,不能直接写普通逆矩阵。
直觉
高斯过程可以看作“无限维高斯向量”:每次只能抽取有限个坐标,但无论怎样抽取,所得截面都保持高斯几何。均值给出轨迹的中心轮廓;核同时编码各点波动大小和共同移动方式。半正定条件来自方差恒非负,因为上式正是 Var ( ∑ i a i X t i ) 。因此它不是技术附注,而是让所谓协方差真正可能存在的代数约束。
核在对角线附近的行为控制短距离增量的均方尺度:
E | X t − X s | 2 = K ( t , t ) + K ( s , s ) − 2 K ( s , t ) + ( m ( t ) − m ( s ) ) 2 . 这个量很小只说明均方接近;要推出几乎处处连续版本,通常还需更高阶矩界并应用连续性判据。高斯性使高阶增量矩可由方差控制,却仍不能把“核连续”简单等同于“路径连续”。
例子与边界
取独立标准正态 Z 0 , Z 1 ,令 X t = Z 0 + t Z 1 ,t ∈ [ 0 , 1 ] 。这是秩为二的高斯过程,m ( t ) = 0 ,
K ( s , t ) = E [ ( Z 0 + s Z 1 ) ( Z 0 + t Z 1 ) ] = 1 + s t . 对任意 a i , t i ,二次型等于 ( ∑ i a i ) 2 + ( ∑ i a i t i ) 2 ≥ 0 ,半正定性可直接复算。每条路径其实是随机直线;尽管指标集不可数,随机性只占两个方向。这也说明半正定而非严格正定才是正确要求。
另一个核心核是 K ( s , t ) = min ( s , t ) 。它满足
∑ i , j a i a j min ( t i , t j ) = ∫ 0 ∞ ( ∑ i a i 1 [ 0 , t i ] ( u ) ) 2 d u ≥ 0 , 配合零均值产生Brownian 运动 公理库 Brownian 运动 Brownian motion · Wiener process · 布朗运动 · Wiener 过程 从零出发、具有独立平稳高斯增量与几乎处处连续路径的连续时间随机过程。 的有限维律。连续路径还来自增量矩估计,而不只是这条积分恒等式。
只检查 K ( t , t ) ≥ 0 不够。两点集上的矩阵 ( 1 2 2 1 ) 对角线为正,却在向量 ( 1 , − 1 ) 上给出 − 2 ,不可能是协方差矩阵。另一边界是高斯边缘不足以推出高斯过程:令 Z ∼ N ( 0 , 1 ) 、ε 为独立公平符号,取 X 1 = Z 、X 2 = ε Z 。两个坐标各自标准正态,但 | X 1 | = | X 2 | 几乎处处,联合律集中在两条直线上,并非二维高斯。
推论与应用
观测有限向量 Y = ( X t 1 , … , X t n ) + ϵ ,其中 σ 2 > 0 ,独立噪声 ϵ ∼ N ( 0 , σ 2 I ) 。对新点 t ∗ ,联合高斯条件公式给出
E [ X t ∗ ∣ Y ] = m ∗ + k ∗ ⊤ ( K n + σ 2 I ) − 1 ( Y − m n ) , 条件方差为 K ( t ∗ , t ∗ ) − k ∗ ⊤ ( K n + σ 2 I ) − 1 k ∗ 。这条链从核构造联合律,再由条件高斯律得到回归预测与不确定度;加入 σ 2 I 同时刻画观测噪声并保证矩阵可逆。
在线性算子下,高斯性保持:若 L 1 , … , L m 是对路径定义良好且均方连续的线性泛函,则 ( L 1 X , … , L m X ) 仍联合高斯。积分、导数和边界观测因此可以在核上计算,但算子是否存在取决于核正则性。时间序列中的平稳高斯过程、空间随机场与贝叶斯非参数模型都沿用同一逻辑:先验证核半正定,再处理所需路径性质,最后才进行条件化或极限运算。
参考资料
Carl E. Rasmussen and Christopher K. I. Williams, Gaussian Processes for Machine Learning , MIT Press, 2006, Ch. 2, §2.2, Gaussian-process specification and prediction。
Robert J. Adler and Jonathan E. Taylor, Random Fields and Geometry , Springer, 2007, Ch. 1, §§1.2–1.3, Gaussian fields and sample regularity。
Mikhail A. Lifshits, Gaussian Random Functions , Kluwer Academic Publishers, 1995, Ch. 1, §§1–2, Gaussian families and covariance functions。