Yule–Walker 方程 | Codeboy's Blog

形式陈述

对零均值因果平稳AR($p$) 过程

X_t=\phi_1X_{t-1}+\cdots+\phi_pX_{t-p}+\varepsilon_t,

其中创新与过去正交、方差为 $\sigma^2$ 。方程两边乘 $X_{t-k}$ 取期望，并用自协方差函数 $\gamma(-h)=\gamma(h)$ ，得

\gamma(k)=\sum_{j=1}^p\phi_j\gamma(k-j), \qquad k=1,\ldots,p.

矩阵形式为

\Gamma_p\phi=\gamma_p,\qquad \Gamma_p=[\gamma(i-j)]_{i,j=1}^p,\quad \gamma_p=(\gamma(1),\ldots,\gamma(p))^{\mathsf T}.

零滞后方程另给

\sigma^2=\gamma(0)-\sum_{j=1}^p\phi_j\gamma(j).

若 $\Gamma_p$ 正定，则系数唯一，且正是用 $X_{t-1},\ldots,X_{t-p}$ 线性预测 $X_t$ 的正规方程解。用样本自协方差替代总体量得到 Yule–Walker 估计；这是矩方法，不等同于所有版本的高斯精确最大似然。

直觉

AR 方程描述每期怎样由过去生成，ACVF 描述生成结果呈现怎样的二阶关系。Yule–Walker 把两种语言对齐：创新与过去没有线性关联，所以当前与某个过去值的协方差只能由各滞后回归项贡献。Toeplitz 结构来自平稳性——矩阵每条对角线对应同一个时间差。

求解这些方程相当于把预测误差对每个已用滞后都正交化。若矩阵病态，多个过去值几乎给出同一方向的信息，系数对微小协方差误差极敏感；这在根接近单位圆或阶数过高时常见。方程仍可能在纸面上有唯一解，但有限样本估计会具有大方差，不能用“线性系统解出来了”代替稳定性诊断。

例子与边界

仍取

X_t=\tfrac12X_{t-1}+\tfrac15X_{t-2}+\varepsilon_t, \qquad \sigma^2=1.

前两条方程是

\gamma(1)=\tfrac12\gamma(0)+\tfrac15\gamma(1), \qquad \gamma(2)=\tfrac12\gamma(1)+\tfrac15\gamma(0).

故 $\rho(1)=5/8$ 、 $\rho(2)=41/80$ 。零滞后方程给

1=\gamma(0)-\tfrac12\gamma(1)-\tfrac15\gamma(2) =\gamma(0)\left(1-\frac5{16}-\frac{41}{400}\right) =\frac{117}{200}\gamma(0).

于是 $\gamma(0)=200/117$ 、 $\gamma(1)=125/117$ 、 $\gamma(2)=205/234$ 。反向用相关矩阵

\begin{pmatrix}1&5/8\\5/8&1\end{pmatrix} \begin{pmatrix}\phi_1\\\phi_2\end{pmatrix} =\begin{pmatrix}5/8\\41/80\end{pmatrix}

解得 $(\phi_1,\phi_2)=(1/2,1/5)$ ，完成双向复算。

若用不保证半正定的逐滞后无偏样本协方差， $\widehat\Gamma_p$ 可能非正定，估计创新方差甚至为负。分母统一取 $n$ 的样本 ACVF 保持半正定，但有有限样本偏差。单位根或趋势数据不满足上述平稳推导；把随机游走的巨大样本相关代入，得到的是伪 AR 拟合，不是合法的平稳 Yule–Walker 参数恢复。

推论与应用

Levinson–Durbin 算法利用 Toeplitz 结构逐阶求解，把从阶数 $p-1$ 到 $p$ 的更新与偏自相关联系起来；第 $p$ 步新增系数就是第 $p$ 阶 PACF。它同时递推一步预测误差方差，并可在某一步误差方差非正时暴露不合法的候选协方差。

Yule–Walker 适合快速估计中低阶平稳 AR、初始化更完整的似然优化和构造线性预测。有限样本中应报告所用样本协方差约定、选择的阶数、根位置及残差诊断。高斯时，条件似然、无条件精确似然与 Yule–Walker 在大样本下可接近，却在短样本和近单位根区域明显不同；不能把一个方法的标准误直接嫁接到另一个估计量。

参考资料

Peter J. Brockwell and Richard A. Davis, Introduction to Time Series and Forecasting, 3rd ed., Springer, 2016，§§2.5.3 and 5.1.1，Durbin–Levinson recursion and Yule–Walker estimation。
James D. Hamilton, Time Series Analysis, Princeton University Press, 1994，§3.4，autocovariances and Yule–Walker equations for AR processes。
Norman Levinson, “The Wiener (Root Mean Square) Error Criterion in Filter Design and Prediction,” Journal of Mathematics and Physics 25, 1946, pp. 261–278，doi:10.1002/sapm1946251261，Toeplitz recursion underlying the method。

形式陈述 ​

反向链接

形式陈述