『Disclaimer: 본 글은 대학원의 시계열분석 수업 및 시계열분석 서적에 관한 공부 내용을 정리하는 시리즈입니다. 

본 내용은 필자가 전부 직접 요약하여 적은 개인 노트이며, 개인 공부 및 복습이 주목적일 뿐, 상업적 의도는 없습니다. 

Source: Regression Modeling with Actuarial and Financial Applications by Edward W. Frees』

7-1. Autocorrelation

Autocorrelation식은 아래와 같다.

7-2. Autoregressive Models of Order One

과거의 모든 information은 most recent observation에 담겨 있다는 것을 가정한다. (Markov)

여기서 β₀는 아무 fixed constant일 수 있지만, -1<β₁<1 이어야만 AR(1) series {y_t}가 stationary다.

만약 β₁ = 1이면 모델은 RW 모델이 되고 nonstationary다.

만약 β₁ = 0이면 모델은 WN 모델이 된다. 따라서 AR(1)은 RW, WN 모델의 일반화라고 봐도 된다.

어떤 데이터가 AR 모델이 적합함을 알려면

1) Control chart 등으로 stationarity를 체크

2) Adjacent realization들이 관련됨을 scatter plot 등으로 체크

3) Autocorrelation가 아래의 식을 충족함을 체크

위 식에서 처음 두 등호는 정의이고, 세번째는 stationarity에 의거한다.

위 식을 통해, AR 모델에서 autocorrelation은 lag가 increase함에 따라 geometric rate으로 줄어듬을 알 수 있다.

(실제 autocorrelation r값을 계산하여 이것이 0에 가까우면 WN이다)

실제 r_k값이 0과 significantly 다른지 확인해보려면 아래의 근사를 사용한다.

Rule of thumb은 r_k의 절대값이 2 x se(r_k)를 넘으면 significantly nonzero라고 한다.

7-3. Estimation

Parameter를 estimate하는데는 method of conditional least squares를 사용한다.

이는 least squares estimates that best fit observation conditional on the previous observation이다.

그리고 AR(1)의 residual은,

Cross-sectional regression에서는 설명변수가 nonstochastic이므로 response와 error term의 variance가 갔다.

하지만 시계열 모델에서는 stochastic이므로, AR(1)의 경우

가 되어 response의 variance가 더 크다.

여기서 error variance의 estimate은,

이고 이 s²가 MSE다.

7-4. Prediction

그러면 forecast error는,

7-5. Box Jenkins Models

Autoregressive Integrated Moving Average(ARIMA) 모델은 더 일반화된 모델이다.

7-5-1. AR(p) Model

먼저, AR(1)를 더 일반화한 AR(p)다.

단, seasonality를 모델링할 때 intervening lag들은 포함하지 않는다.

AR(p)는 stationary stochastic process다.

* Backshift Notation

Backshift 혹은 backward-shift operator B는 By_t = y_t-1로 정의된다.

이 operator는 linear하다.

Backshift operator를 사용해서 AR(p)를 표현하면,

따라서 Φ(x) = 0 식에는 p개의 complex root가 있다.

Stationarity를 위해서는 이 root들이 strictly outside of unit circle이어야만 한다.

(Root 중에 unit circle에 가까운게 있으면 model behavior가 불안정하다)

7-5-2. MA(q) Model

위 모델의 한가지 해석은, disturbance term이 true expected value of y_t를 perturb한다는 것이다. 

여기서 비롯된 것이 Moving Average Model of Order q, MA(q) 모델이다.

이 모델에서,

임을 알 수 있는데, 즉 memory를 length q로 limit하는 것이다. 

AR(p) 모델과 달리 MA(q) 모델은 모든 finite value of 베타/세타에 대해 stationary다.

MA(q) 모델을 backshift notation을 사용하여 표현하면,

7-5-3. ARMA Model

AR과 MA모델을 합하면, ARMA(p, q) 모델, Autoregressive Moving Average Model of order p and q가 된다.

7-5-4. ARIMA Model

많은 application에서, stationary를 위해서는 differencing이 필요하다.

w_t = (1 - B)y_t = y_t - y_t-1는 y_t를 한번 differencing하는 것이고, 일반화하면,

실전에서 d는 0, 1, 2 중에 하나고, 2이상이면 회의적으로 모델을 바라볼 필요가 있다.

이를 이용한 모델이 ARIMA(p, d, q) 모델, Autoregressive Integrated Moving Average Model이다.

    

7-5-5. Forecasting

여기서도 conditional expectation을 계산한다. 이제까지의 response realization으로 미래를 forecast한다.

t = T + l으로 두고 7-5-3 ARMA 모델식의 양변에 E_T를 취하면,

그리고 y_T+k의 값은 time T에 이미 known이므로,

특별한 케이스로, AR(1)는 이미 보았고, MA(1)는

l >= 2일 경우,

l = 1일 경우,

아무 ARIMA모델은 MA model로 표현할 수 있는데,

Ψ-coefficient representation이라고 하며, 

즉 process의 current value는 current and previous disturbances의 linear combination으로 표현할 수 있다는 것이다.

AR(1) model의 경우, 

8.6 예시 읽어보기