自回归过程 | Codeboy's Blog

形式陈述

阶数为 $p$ 的自回归过程 AR( $p$ ) 满足

X_t-\mu=\phi_1(X_{t-1}-\mu)+\cdots+ \phi_p(X_{t-p}-\mu)+\varepsilon_t,

其中 $(\varepsilon_t)$ 是方差 $\sigma^2>0$ 的白噪声过程， $\phi_p\ne0$ 。用后移算子 $B$ 与自回归多项式

\phi(z)=1-\phi_1z-\cdots-\phi_pz^p

可写为 $\phi(B)(X_t-\mu)=\varepsilon_t$ 。若 $\phi(z)$ 的所有零点都在单位圆外，则存在唯一因果弱平稳解

X_t-\mu=\phi(B)^{-1}\varepsilon_t =\sum_{j=0}^{\infty}\psi_j\varepsilon_{t-j}, \qquad \sum_j|\psi_j|<\infty.

“因果”指 $X_t$ 只依赖当期及过去创新。根在单位圆上时，非退化白噪声驱动下没有弱平稳解；根在单位圆内但不在圆上时，方程可能有依赖未来创新的非因果平稳解，不能因为存在某个平稳解就宣称模型可用于单向实时生成。AR( $p$ ) 是ARMA 过程在移动平均阶数 $q=0$ 时的特例。

直觉

AR 模型把持续性放在观测自身的反馈中：一次创新先改变 $X_t$ ，以后又通过 $\phi_1,\ldots,\phi_p$ 反复回流。根条件检查这种反馈是否最终衰减。零点越靠近单位圆，冲击消退越慢；落在单位圆上，某个方向的冲击不再衰减，方差随时间累积；跨到圆内，按过去递推会爆炸，虽然从双边无限序列反向使用未来冲击可制造数学上的平稳解。

阶数并不是“相关到第 $p$ 期便消失”。AR( $p$ ) 只说给定最近 $p$ 个值后，更早过去不再改善线性一步预测；其 ACF 通常无限拖尾。特征根为实数时常给指数衰减，为共轭复数时产生阻尼振荡。把 ACF 的非零滞后数直接当 AR 阶数，会混淆反馈结构与边际相关范围。

例子与边界

取 AR(2)

X_t=\tfrac12X_{t-1}+\tfrac15X_{t-2}+\varepsilon_t, \qquad \operatorname{Var}(\varepsilon_t)=1.

多项式 $1-\tfrac12z-\tfrac15z^2$ 的两个根是

z=\frac{-0.5\pm\sqrt{1.05}}{0.4} \approx1.31174,\,-3.81174,

模都大于 $1$ ，故因果平稳。由协方差方程， $\rho_1=\phi_1/(1-\phi_2)=5/8$ ， $\rho_2=\phi_1\rho_1+\phi_2=41/80$ ，且

\gamma(0)=\phi_1\gamma(1)+\phi_2\gamma(2)+1 =\frac{83}{200}\gamma(0)+1.

所以 $\gamma(0)=200/117\approx1.7094$ 、 $\gamma(1)=125/117$ 、 $\gamma(2)=205/234$ 。把三者代回原方程即可逐项复核；这也是Yule–Walker 方程的具体解。

AR(1) $X_t=\phi X_{t-1}+\varepsilon_t$ 更清楚展示边界： $|\phi|<1$ 时因果平稳且 $\operatorname{Var}(X_t)=\sigma^2/(1-\phi^2)$ ； $\phi=1$ 是随机游走； $\phi=0.99$ 仍平稳，却有方差约 $50.25\sigma^2$ ，有限样本很难与单位根区分； $\phi=1.1$ 的过去递推不平稳，但双边解 $X_t=-\sum_{j=1}^{\infty}1.1^{-j}\varepsilon_{t+j}$ 平稳而非因果。预测语境不能把最后一种当作通常 AR 生成机制。

推论与应用

对平稳 AR( $p$ )，将模型同 $X_{t-k}$ 取协方差得到 $\gamma(k)=\sum_{j=1}^p\phi_j\gamma(k-j)$ （ $k\ge1$ ，在 $k\le p$ 时利用 $\gamma(-h)=\gamma(h)$ ），形成 Yule–Walker 系统。其偏自相关函数在 $p$ 阶后为零，为阶数诊断提供总体图样，但估计 PACF 不会在有限样本中精确归零。

拟合 AR 时，根检查应针对估计多项式本身，而非只看系数各自是否小于一；AR(2) 以上不存在逐系数的简单充分必要界。趋势、季节均值或结构突变会制造持久的伪自回归。用于预测时还要报告参数估计不确定性；用估计系数递推得到的条件均值只是模型内预测，若创新相关、条件均值错设或根随时间变化，经典误差区间会失准。

参考资料

Peter J. Brockwell and Richard A. Davis, Time Series: Theory and Methods, 2nd ed., Springer, 1991，§3.1，causal ARMA processes and characteristic roots。
James D. Hamilton, Time Series Analysis, Princeton University Press, 1994，§§3.1–3.4，stationary autoregressions and Yule–Walker relations。
George E. P. Box, Gwilym M. Jenkins, Gregory C. Reinsel, and Greta M. Ljung, Time Series Analysis: Forecasting and Control, 5th ed., Wiley, 2015，§3.2 and Ch. 6，autoregressive models and identification。

形式陈述 ​

反向链接

形式陈述