Модель авторегресії — ковзного середнього

У статистичному аналізі часових рядів моделі авторегресії — ковзного середнього (АРКС, англ. autoregressive–moving-average models, ARMA) пропонують економний опис (слабко) стаціонарного стохастичного процесу в термінах двох многочленів, одного для авторегресії (АР), а другого — для ковзного середнього^[en] (КС). Загальну модель АРКС було описано 1951 року в дисертації Пітера Уіттла^[en] «Перевірка гіпотез в аналізі часових рядів» і популяризовано в книзі Джорджа Бокса^[en] та Ґвилима Дженкінса^[en] 1970 року.

Для заданого часового ряду даних X_t модель АРКС є інструментом для розуміння та, можливо, передбачування майбутніх значень цього ряду. Частина АР передбачає регресування цієї змінної за її власними запізнюваними (тобто, минулими) значеннями. Частина КС передбачає моделювання члену похибки як лінійної комбінації членів похибки, що стаються в поточний момент та в різні моменти часу в минулому. На цю модель зазвичай посилаються як на модель АРКС(p, q), де p — порядок частини АР, а q — порядок частини КС (як визначено нижче).

Моделі АРКС може бути оцінювано за допомогою методу Бокса — Дженкінса^[en].

Авторегресійна модель

Детальніші відомості з цієї теми ви можете знайти в статті Авторегресійна модель.

Позначення АР(p) стосується авторегресійної моделі порядку p. Модель АР(p) записують як

X_{t}=c+\sum _{i=1}^{p}\varphi _{i}X_{t-i}+\varepsilon _{t}.\,

де $\varphi _{1},\ldots ,\varphi _{p}$ є параметрами, $c$ є сталою, а випадкова величина $\varepsilon _{t}$ є білим шумом.

Щоби ця модель залишалася стаціонарною, для значень цих параметрів необхідні деякі обмеження. Наприклад, процеси в моделі АР(1) за $|\varphi _{1}|\geq 1$ стаціонарними не є.

Модель ковзного середнього

Детальніші відомості з цієї теми ви можете знайти в статті Модель ковзного середнього^[en].

Позначення КС(q) стосується моделі ковзного середнього порядку q:

X_{t}=\mu +\varepsilon _{t}+\theta _{1}\varepsilon _{t-1}+\cdots +\theta _{q}\varepsilon _{t-q}=\mu +\varepsilon _{t}+\sum _{i=1}^{q}\theta _{i}\varepsilon _{t-i}\,

де $\theta _{1},\ldots ,\theta _{q}$ є параметрами моделі, $\mu$ є математичним сподіванням $X_{t}$ (що часто вважають рівним 0), а $\varepsilon _{t}$ , $\varepsilon _{t-1}$ , … є, знов-таки, членами похибки білого шуму.

Модель АРКС

Позначення АРКС(p, q) стосується моделі з p авторегресійними членами та q членами ковзного середнього. Ця модель містить моделі АР(p) та КС(q),

X_{t}=c+\varepsilon _{t}+\sum _{i=1}^{p}\varphi _{i}X_{t-i}+\sum _{i=1}^{q}\theta _{i}\varepsilon _{t-i}.\,

Загальну модель АРКС було описано 1951 року в дисертації Пітера Уіттла^[en], який використовував математичний аналіз (ряд Лорана та аналіз Фур'є) та статистичне висновування.^[1]^[2] Моделі АРКС було популяризовано книгою 1970 року Джорджа Бокса^[en] та Дженкінса^[en], які виклали ітераційний метод (Бокса — Дженкінса^[en]) для їхнього вибирання та оцінювання. Цей метод був корисним для многочленів нижчих порядків (третього або нижчого ступеня).^[3]

Зауваження про члени похибки

Члени похибки $\varepsilon _{t}$ , як правило, вважають незалежними однаково розподіленими випадковими величинами (НОР), відбираними з нормального розподілу з нульовим середнім: $\varepsilon _{t}$ ~ N(0, σ²), де σ² є дисперсією. Ці припущення може бути послаблено, але це змінить властивості моделі. Зокрема, зміна припущення про НОР призведе до принципової відмінності.

Визначення в термінах оператора запізнювання

В деяких текстах ці моделі визначатимуть у термінах оператора запізнювання L. В цих термінах модель АР(p) подають як

\varepsilon _{t}=\left(1-\sum _{i=1}^{p}\varphi _{i}L^{i}\right)X_{t}=\varphi (L)X_{t}\,

де $\varphi$ представляє многочлен

\varphi (L)=1-\sum _{i=1}^{p}\varphi _{i}L^{i}.\,

Модель КС(q) подають як

X_{t}=\left(1+\sum _{i=1}^{q}\theta _{i}L^{i}\right)\varepsilon _{t}=\theta (L)\varepsilon _{t},\,

де θ представляє многочлен

\theta (L)=1+\sum _{i=1}^{q}\theta _{i}L^{i}.\,

Нарешті, об'єднану модель АРКС(p, q) подають як

\left(1-\sum _{i=1}^{p}\varphi _{i}L^{i}\right)X_{t}=\left(1+\sum _{i=1}^{q}\theta _{i}L^{i}\right)\varepsilon _{t}\,,

або, лаконічніше,

\varphi (L)X_{t}=\theta (L)\varepsilon _{t}\,

або

{\frac {\varphi (L)}{\theta (L)}}X_{t}=\varepsilon _{t}\,.

Альтернативний запис

Деякі автори, включно з Боксом^[en], Дженкінсом^[en] та Рейнзелем, використовують іншу угоду щодо коефіцієнтів авторегресії.^[4] Це дозволяє всім многочленам, до яких входить оператор запізнювання, всюди мати подібний вигляд. Таким чином модель АРКС буде записано як

\left(1-\sum _{i=1}^{p}\phi _{i}L^{i}\right)X_{t}=\left(1+\sum _{i=1}^{q}\theta _{i}L^{i}\right)\varepsilon _{t}\,.

Більше того, якщо ми встановимо $\phi _{0}=-1$ та $\theta _{0}=1$ , то отримаємо ще елегантніше формулювання: $-\sum _{i=0}^{p}\phi _{i}L^{i}\;X_{t}=\sum _{i=0}^{q}\theta _{i}L^{i}\;\varepsilon _{t}\,.$

Пристосовування моделей

Вибір р та q

Пошук відповідних значень p та q в моделі АРКС(p, q) може бути полегшено шляхом побудови частинних автокореляційних функцій^[en] задля оцінки p, а також використання автокореляційних функцій задля оцінки q. Додаткову інформацію можливо підбирати, розглядаючи ті ж функції для залишків моделі, пристосованої початковим вибором p та q.

Броквел та Девіс для пошуку р та q радять застосовувати інформаційний критерій Акаіке (ІКА).^[5]

Оцінювання коефіцієнтів

Моделі АРКС після вибору р та q загалом може бути пристосовувано за допомогою регресії найменших квадратів задля знаходження значень параметрів, які мінімізують член похибки. Загалом доброю практикою вважають знаходити найменші значення р та q, які забезпечують прийнятну пристосованість до даних. Для чистої моделі АР для забезпечення пристосованості можна використовувати рівняння Юла-Вокера.

Втілення в статистичних пакетах

В R функцію arima (зі стандартного пакунку stats) описано в ARIMA Modelling of Time Series [Архівовано 17 лютого 2019 у Wayback Machine.]. Пакунки розширення містять пов'язану та розширену функціональність, наприклад, пакунок tseries містить функцію arma, описану в «Fit ARMA Models to Time Series»; пакунок fracdiff [Архівовано 8 жовтня 2016 у Wayback Machine.] містить fracdiff() для дробово інтегрованих АРКС-процесів тощо. Перегляд задач CRAN на Time Series [Архівовано 18 січня 2017 у Wayback Machine.] містить посилання на більшість із них.
Mathematica має повну бібліотеку функцій часових рядів, включно з АРКС.^[6]
MATLAB містить такі функції, як arma [Архівовано 11 квітня 2018 у Wayback Machine.] та ar [Архівовано 2 квітня 2018 у Wayback Machine.] для оцінювання моделей АР, АРК (авторегресійні екзогенні) та АРКСК. Для отримання додаткової інформації див. System Identification Toolbox [Архівовано 2 квітня 2018 у Wayback Machine.] та Econometrics Toolbox [Архівовано 16 лютого 2018 у Wayback Machine.].
Julia має деякі підтримувані спільнотою пакунки, що втілюють пристосовування за допомогою моделі АРКС, такі як arma.jl [Архівовано 29 жовтня 2020 у Wayback Machine.].
Модуль Python Statsmodels містить багато моделей та функцій для аналізу часових рядів, включно з АРКС. Колишня частина scikit-learn, він тепер є автономним і добре поєднується з pandas. Докладніше див. тут [Архівовано 19 листопада 2016 у Wayback Machine.].
PyFlux має втілення моделей АРКС на основі Python, включно з баєсовими моделями АРКС.
Чисельні бібліотеки IMSL — це бібліотеки функціональності чисельного аналізу, включно з процедурами АРКС та АРІКС, втіленими стандартними мовами програмування, такими як C, Java, C# .NET та Fortran.
gretl^[en] також може оцінювати моделі АРКС, див. тут, де про це згадувано [Архівовано 4 квітня 2008 у Wayback Machine.].
GNU Octave може оцінювати моделі АР за допомогою функцій з додаткового пакунку octave-forge [Архівовано 17 серпня 2010 у Wayback Machine.].
Stata містить функцію arima, яка може оцінювати моделі АРКС та АРІКС. Докладніше див. тут [Архівовано 26 липня 2020 у Wayback Machine.].
SuanShu — це бібліотека Java чисельних методів, включно з комплексними статистичними пакунками, в яких одновимірні/багатовимірні моделі АРКС, АРІКС, АРКСК та ін. втілено за допомогою об'єктно-орієнтованого підходу. Ці втілення описано в «SuanShu, a Java numerical and statistical library» [Архівовано 22 березня 2018 у Wayback Machine.].
SAS^[en] має економетричний пакунок, ETS, який оцінює моделі АРІКС. Докладніше див. тут.

Застосування

АРКС є доречною, коли система є функцією як ряду не спостережуваних струсів (частина КС, або ковзне середнє), так і своєї власної поведінки. Наприклад, ціни акцій можуть струшуватися основною інформацією, а також демонструвати технічні прямування та ефекти повернення до середнього^[en] через учасників ринку.^{[джерело?]}

Узагальнення

Якщо не вказано інше, то залежність X_t від минулих значень та членів похибки ε_t вважається лінійною. Якщо ця залежність є нелінійною, то модель спеціально називають моделлю нелінійного ковзного середнього (НКС, англ. nonlinear moving average, NMA), нелінійної авторегресії (НАР, англ. nonlinear autoregressive, NAR) або нелінійної авторегресії — ковзного середнього (НАРКС, англ. nonlinear autoregressive–moving-average, NARMA).

Моделі авторегресії — ковзного середнього може бути узагальнювано й іншими способами. Див. також моделі авторегресії — умовної гетероскедастичності (АРУГ, англ. autoregressive conditional heteroskedasticity, ARCH) та моделі авторегресії — інтегрованого ковзного середнього (АРІКС, англ. autoregressive integrated moving average, ARIMA). Якщо потрібно пристосовуватися до декількох часових рядів, то можна пристосовувати векторну модель АРІКС (або ВАРІКС, англ. VARIMA). Якщо часовий ряд, про який йдеться, демонструє довгу пам'ять, то може бути доцільним дробове (англ. fractional) моделювання АРІКС (ДАРІКС, англ. FARIMA, інколи зване АРДІКС, англ. ARFIMA): див. авторегресію — дробово інтегроване ковзне середнє^[en]. Якщо вважається, що дані містять сезонні ефекти, то їх можна моделювати моделлю САРІКС (сезонна АРІКС, англ. SARIMA), або періодичною (англ. periodic) моделлю АРКС.

Іншим узагальненням є багатомасштабна авторегресійна (БАР, англ. multiscale autoregressive, MAR) модель. Модель БАР індексовано вузлами дерева, тоді як стандартну авторегресійну модель (дискретного часу) індексовано цілими числами.

Зауважте, що модель АРКС є одновимірною моделлю. Розширеннями для багатовимірного випадку є векторна авторегресія (ВАР, англ. vector autoregression, VAR) та векторна авторегресія — ковзне середнє (ВАРКС, англ. Vector Autoregression Moving-Average, VARMA).

Модель авторегресії — ковзного середнього з екзогенними входами (модель АРКСК, ARMAX)

Позначення АРКСК(p, q, b) стосується моделі з p авторегресійними членами, q членами ковзного середнього та b членами екзогенних входів. Ця модель містить моделі АР(p) та КС(q), а також лінійну комбінацію останніх b членів відомих і зовнішніх часових рядів $d_{t}$ . Її задають як

X_{t}=\varepsilon _{t}+\sum _{i=1}^{p}\varphi _{i}X_{t-i}+\sum _{i=1}^{q}\theta _{i}\varepsilon _{t-i}+\sum _{i=1}^{b}\eta _{i}d_{t-i}.\,

де $\eta _{1},\ldots ,\eta _{b}$ — параметри екзогенного входу $d_{t}$ .

Було визначено деякі нелінійні варіанти моделей з екзогенними змінними: див., наприклад, нелінійну авторегресійну екзогенну модель.

Статистичні пакети втілюють модель АРКСК за допомогою «екзогенних», або «незалежних» змінних. При інтерпретуванні виходу цих пакетів слід бути обережними, оскільки оцінювані параметри зазвичай (наприклад, в R^[7] та gretl) стосуються регресії

X_{t}-m_{t}=\varepsilon _{t}+\sum _{i=1}^{p}\varphi _{i}(X_{t-i}-m_{t-i})+\sum _{i=1}^{q}\theta _{i}\varepsilon _{t-i}.\,

де до m_t входять всі екзогенні (або незалежні) змінні:

m_{t}=c+\sum _{i=0}^{b}\eta _{i}d_{t-i}.\,

Див. також

Примітки

↑ Hannan, Edward James (1970). Multiple time series. Wiley series in probability and mathematical statistics. New York: John Wiley and Sons. (англ.)
↑ Whittle, P. (1951). Hypothesis Testing in Time Series Analysis. Almquist and Wicksell. (англ.) Whittle, P. (1963). Prediction and Regulation. English Universities Press. ISBN 0-8166-1147-5. (англ.)
Перевидано як Whittle, P. (1983). Prediction and Regulation by Linear Least-Square Methods. University of Minnesota Press. ISBN 0-8166-1148-3. (англ.)
↑ Hannan та Deistler, (1988, p. 227) : Hannan, E. J.; Deistler, Manfred (1988). Statistical theory of linear systems. Wiley series in probability and mathematical statistics. New York: John Wiley and Sons.
↑ Box, George; Jenkins, Gwilym M.; Reinsel, Gregory C. (1994). Time Series Analysis: Forecasting and Control (вид. Third). Prentice-Hall. ISBN 0130607746. (англ.)
↑ Brockwell, P. J.; Davis, R. A. (2009). Time Series: Theory and Methods (вид. 2nd). New York: Springer. с. 273. ISBN 9781441903198. (англ.)
↑ Функції часових рядів в Mathematica [Архівовано 24 листопада 2011 у Wayback Machine.] (англ.)
↑ ARIMA Modelling of Time Series [Архівовано 17 лютого 2019 у Wayback Machine.], документація R

Література

Mills, Terence C. (1990). Time Series Techniques for Economists. Cambridge University Press. ISBN 0521343399. (англ.)
Percival, Donald B.; Walden, Andrew T. (1993). Spectral Analysis for Physical Applications. Cambridge University Press. ISBN 052135532X. (англ.)
Francq, C.; Zakoïan, J.-M. (2005), Recent results for linear time series models with non independent innovations, у Duchesne, P.; Remillard, B. (ред.), Statistical Modeling and Analysis for Complex Data Problems, Springer, с. 241—265. (англ.)

[1] Hannan, Edward James (1970). Multiple time series. Wiley series in probability and mathematical statistics. New York: John Wiley and Sons. (англ.)

[2] Whittle, P. (1951). Hypothesis Testing in Time Series Analysis. Almquist and Wicksell. (англ.) Whittle, P. (1963). Prediction and Regulation. English Universities Press. ISBN 0-8166-1147-5. (англ.)
Перевидано як Whittle, P. (1983). Prediction and Regulation by Linear Least-Square Methods. University of Minnesota Press. ISBN 0-8166-1148-3. (англ.)

[3] Hannan та Deistler, (1988, p. 227) : Hannan, E. J.; Deistler, Manfred (1988). Statistical theory of linear systems. Wiley series in probability and mathematical statistics. New York: John Wiley and Sons.

[4] Box, George; Jenkins, Gwilym M.; Reinsel, Gregory C. (1994). Time Series Analysis: Forecasting and Control (вид. Third). Prentice-Hall. ISBN 0130607746. (англ.)

[5] Brockwell, P. J.; Davis, R. A. (2009). Time Series: Theory and Methods (вид. 2nd). New York: Springer. с. 273. ISBN 9781441903198. (англ.)

[6] Функції часових рядів в Mathematica [Архівовано 24 листопада 2011 у Wayback Machine.] (англ.)

[R.stats.arima-7] ARIMA Modelling of Time Series [Архівовано 17 лютого 2019 у Wayback Machine.], документація R

[1]

[2]

[3]

[4]

[5]

[6]

[7]