形式陈述
对均值为 μ 的实值弱平稳过程 理路 弱平稳过程 Weakly stationary process · Covariance-stationary process · 二阶平稳过程 均值不随时间改变、协方差只取决于时间差且具有有限二阶矩的随机过程。 ( X t ) ,自协方差函数定义为
γ ( h ) = Cov ( X t + h , X t ) = E [ ( X t + h − μ ) ( X t − μ ) ] , h ∈ Z . 弱平稳性保证右侧与基准时刻 t 无关。实值过程满足 γ ( − h ) = γ ( h ) 、| γ ( h ) | ≤ γ ( 0 ) ,且 γ ( 0 ) 就是过程方差。成对的绝对值约束还不够;更关键的联合约束是相应协方差矩阵的半正定性 理路 正定与半正定矩阵 Positive definite matrix · Positive semidefinite matrix · PSD matrix 由二次能量严格为正或非负定义的实对称与复 Hermitian 矩阵。 :任取整数 t 1 , … , t n 和实数 a 1 , … , a n ,
∑ i , j = 1 n a i a j γ ( t i − t j ) = Var ( ∑ i = 1 n a i X t i ) ≥ 0. 反过来,任意偶、实值、非负定函数都可作为某个零均值弱平稳过程的自协方差;例如取核 K ( s , t ) = γ ( s − t ) ,由高斯过程 理路 高斯过程 Gaussian process · Gaussian random process 任意有限组坐标都服从联合高斯分布、因而由均值函数与半正定协方差核确定其有限维分布的随机过程。 的半正定核构造得到相应过程。有限样本常用估计量 γ ^ ( h ) = n − 1 ∑ t = 1 n − | h | ( X t + | h | − X ¯ ) ( X t − X ¯ ) 。在 | h | ≥ n 时补零,分母取 n 的整组估计形成半正定 Toeplitz 结构;取 n − | h | 可减轻某些偏差,却未必保持联合半正定。
直觉
γ ( h ) 把一条无限协方差矩阵压缩成按对角线编号的一列数。正值表示相隔 h 期的偏差倾向同向,负值表示倾向反向,接近零只说明线性二阶关联弱。量纲是原变量单位的平方,所以不同量纲或不同方差的序列不能直接比较自协方差大小;这种比较应转向归一化的相关系数。
期望是对过程重复实现取平均,单条观测序列提供的是它的估计。大滞后只剩少量可配对的观测,不同滞后的估计又共享数据,因此解释曲线时需要同时考虑各点的误差与相互关联。
在弱平稳模型中,自协方差的衰减描述线性预测中的记忆。样本曲线的慢衰减则可能来自长记忆,也可能来自单位根或未去除的趋势;后两种情形涉及非平稳性,需要先检查模型是否适用。
例子与边界
令 ε t 为均值 0 、方差 4 、跨期不相关的白噪声,并取
X t = ε t + 1 2 ε t − 1 . 则 E X t = 0 ,展开乘积可复算
γ ( 0 ) = 4 + 1 4 ⋅ 4 = 5 , γ ( 1 ) = E [ ( ε t + 1 + 1 2 ε t ) ( ε t + 1 2 ε t − 1 ) ] = 2 , 而 | h | ≥ 2 时两式没有共同创新,故 γ ( h ) = 0 。例如 ( X t , X t + 1 ) 的协方差矩阵为 ( 5 2 2 5 ) ,特征值 7 , 3 均非负;这也验证了两个时点组成的协方差矩阵非负定。若改取候选值 γ ( 0 ) = 1 , γ ( 1 ) = 2 ,二维矩阵行列式 1 − 4 < 0 ,它不可能是任何过程的自协方差。
即使每一对都满足 | γ ( h ) | ≤ γ ( 0 ) ,三个时点也可能互相冲突。取候选 γ ( 0 ) = 1 , γ ( 1 ) = 0.9 , γ ( 2 ) = − 0.9 ,则线性组合 X 0 − 2 X 1 + X 2 的候选方差为
1 + 4 + 1 + 2 [ ( − 2 ) ( 0.9 ) + ( − 2 ) ( 0.9 ) + 1 ( − 0.9 ) ] = − 3. 方差不能为负,所以它不可能来自任何弱平稳过程。检查几个滞后的数值范围只是必要条件,联合半正定性才排除了这种矛盾。
边界上,γ ( h ) = 0 不推出独立,除非再有联合高斯等条件。确定性常数过程的 γ 恒为零,却不是随机噪声;方差无穷的稳定分布过程则根本没有传统自协方差。对非平稳过程,应写两参数协方差 C ( s , t ) ;按相同滞后混合不同 t 的观测,会掩盖随时间变化的协方差结构。
推论与应用
共同分母为何保留半正定性,可以直接看见。令 z t = x t − x ¯ (1 ≤ t ≤ n ),在其余整数处补零,则 γ ^ ( h ) = n − 1 ∑ s z s + h z s 。任取有限系数 a i 与整数时点 t i ,有
∑ i , j a i a j γ ^ ( t i − t j ) = 1 n ∑ s ( ∑ i a i z s + t i ) 2 ≥ 0. 逐滞后换成 n − | h | 分母后,不再是同一个平方和,因而不能沿用这项保证。
当 γ ( 0 ) > 0 时,除以它得到自相关函数 理路 自相关函数 Autocorrelation function · ACF 将自协方差按零滞后方差归一化后得到的无量纲滞后依赖函数。 ρ ( h ) ,保留形状并消去尺度。自协方差还直接给有限过去的最佳线性预测:预测系数满足包含 γ ( 0 ) , … , γ ( p ) 的 Toeplitz 正规方程;协方差矩阵奇异时系数未必唯一,但对应的投影随机变量仍唯一。
只掌握有限滞后时,圆周矩证书 理路 有限圆周矩与Toeplitz原子证书 Truncated trigonometric moment problem · Positive Toeplitz Vandermonde decomposition · 有限圆周矩问题 以有限Hermitian Toeplitz半正定判定正圆周测度存在,证明奇异数据的唯一原子表示、正定数据的多解及指定原子最大质量的准确达到。 先判定这份Toeplitz前缀是否能延拓,再区分唯一谱线与无限多种完整谱。比如 γ ( 0 ) = 1 , γ ( 1 ) = 3 / 4 合法,却不能擅自令后续滞后全零:追加 γ ( 2 ) = 0 后,在向量 ( 1 , − 3 / 2 , 1 ) T 上的三阶候选方差为 − 1 / 4 。同一已知前缀既有两原子谱,也有Poisson连续谱;选择AR尾部是一项额外模型约束。
上面的 MA(1) 例子若只用 X t 预测 X t + 1 ,最小化 E ( X t + 1 − b X t ) 2 = 5 − 4 b + 5 b 2 ,得到 b = 2 / 5 ,预测误差方差为 5 − 4 / 5 = 4.2 。
对自回归模型,这些关系化为Yule–Walker 方程 理路 Yule–Walker 方程 Yule–Walker equations · Yule-Walker equations 将平稳自回归系数与自协方差联系起来的 Toeplitz 线性方程组。 ;对一般纯非确定弱平稳过程,Wold 分解 理路 Wold 分解定理 Wold decomposition theorem · Wold representation theorem 将弱平稳过程唯一拆为由创新驱动的单边线性部分与可由无限过去预测的确定部分。 说明同一 γ 可由白噪声的线性滤波表示。
若 ∑ h | γ ( h ) | < ∞ ,谱密度
f ( λ ) = 1 2 π ∑ h ∈ Z γ ( h ) e − i h λ 连续且非负,反演积分恢复 γ ( h ) 。这把时域的滞后记忆转成频域的功率分配。样本设计中,均值 X ¯ n 的方差为 n − 2 ∑ s , t γ ( s − t ) ;正相关会降低有效信息量,负相关可能提高它。有效信息量因此取决于观测数量和跨期协方差。
参考资料
Peter Bartlett, Introduction to Time Series Analysis , UC Berkeley STAT 153, 2010,Lecture 4 ,自协方差半正定性及样本均值的均方收敛。
Peter J. Brockwell and Richard A. Davis, Time Series: Theory and Methods , 2nd ed., Springer, 1991,§1.5 and Proposition 1.5.1,autocovariance functions and nonnegative definiteness。
Peter J. Brockwell and Richard A. Davis, Introduction to Time Series and Forecasting , 3rd ed., Springer, 2016,§§1.4.1 and 2.4.2,sample and population ACVF/ACF。
Robert H. Shumway and David S. Stoffer, Time Series Analysis and Its Applications , 4th ed., Springer, 2017,§1.3,autocovariance and autocorrelation functions。