Лінійна модель

Лінійна модель

Лінійна модель

У статистиці лінійна модель — будь-яка модель, яка передбачає лінійність системи. Найчастіше цей термін використовують для регресійних моделей і його часто сприймають як синонім лінійної регресійної моделі. Однак цей термін також використовується в аналізі часових рядів з іншим значенням. У кожному випадку позначення «лінійний» використовують для ідентифікації підкласу моделей, для яких можливе суттєве зменшення складності відповідної статистичної теорії.

Означення

Основна стаття: Лінійна регресія

Для випадку регресії, Статистична модель виглядає наступним чином. Нехай задано (випадкову) вибірку $(Y_{i},X_{i1},\dots ,X_{ip}),i=1,\dots ,n$, зв'язок між спостереженнями $Y_{i}$ та незалежними змінними $X_{ij}$, який задано як

$Y_{i}=\beta _{0}+\beta _{1}\phi _{1}(X_{i1})+\dots +\beta _{p}\phi _{p}(X_{ip})+\varepsilon _{i},i=1,\dots ,n,$

де $\phi _{1},\dots ,\phi _{p}$ можуть бути нелінійними функціями. Тут $\varepsilon _{i}$ — випадкові величини, що визначають помилки у взаємозв'язку. Лінійна частина позначення пов'язана з появою коефіцієнтів регресії $\beta _{j}$ у вищенаведеному співвідношенні лінійним чином. Навпаки, можна сказати, що прогнозовані значення, які відповідають наведеній вище моделі, а саме

$Y_{i}=\beta _{0}+\beta _{1}\phi _{1}(X_{i1})+\dots +\beta _{p}\phi _{p}(X_{ip}),i=1,\dots ,n,$

є лінійними функціями від $\beta _{j}$.

Використовуючи Метод найменших квадратів, оцінки невідомих параметрів $\beta _{j}$ визначаються шляхом мінімізації функції суми квадратів

$S=\sum _{i=1}^{n}(Y_{i}-\beta _{0}-\beta _{1}\phi _{1}(X_{i1})-\dots -\beta _{p}\phi _{p}(X_{ip}))^{2}.$

Звідси легко побачити, що "лінійний" аспект моделі означає наступне:

• Функція, яку потрібно мінімізувати, є квадратичною функцією від $\beta _{j}$, для якої мінімізація є відносно простою задачею;
• Похідні функції є лінійними функціями від $\beta _{j}$, що дозволяє легко знайти мінімальні значення;
• Мінімальні значення $\beta _{j}$ є лінійними функціями спостережень $Y_{i}$;
• Мінімізуючі значення $\beta _{j}$ є лінійними функціями випадкових похибок $\varepsilon _{i}$, що дозволяє відносно легко визначити статистичні властивості оцінок $\beta _{j}$.

Моделі часових рядів

Модель авторегресії з ковзним середнім є прикладом лінійної моделі часових рядів. У цій моделі значення часового ряду $X_{t}$ моделюються у вигляді

$X_{t}=c+\varepsilon _{t}+\sum _{i=1}^{p}\phi _{i}X_{t-i}+\sum _{i=1}^{q}\theta _{i}\varepsilon _{t-i},$ де $X_{t}$ — лінійні функції попередніх значень цього ж ряду та поточних та минулих значень інновацій, які є випадковими змінними $\varepsilon _{i}$, представляючи нові випадкові ефекти, що з'являються в певний час, але також впливають на значення $X_{t}$ в пізніші моменти часу.

Використання терміну "лінійна модель" в цьому контексті означає структуру залежності у представленні $X_{t}$ як лінійної функції минулих значень того ж часового ряду та поточних і минулих значень інновацій. Це особливий аспект, що дозволяє відносно просто вивести взаємозв'язки для середнього значення та коваріаційних властивостей часового ряду.

Інші застосування в статистиці

Інколи використовують термін "нелінійна модель" для контрасту з моделями, що мають лінійну структуру, хоча зазвичай термін "лінійна модель" не застосовується безпосередньо. Одним з прикладів такого використання є нелінійне зниження розмірності.

Див. також

• Узагальнена лінійна модель
• Функція лінійного передбачення
• Лінійна система
• Лінійна регресія
• Статистична модель

Література

• Priestley, M.B. (1988). Аналіз нелінійних та нестаціонарних часових рядів. Academic Press. ISBN 0-12-564911-8