Нормальний розподіл

Нормальний розподіл
Функція ймовірностей Червона крива відповідає стандартному нормальному розподілу
Функція розподілу ймовірностей
Параметри	μ ∈ R — математичне сподівання σ2 > 0 — дисперсія
Носій функції	x ∈ R
Розподіл імовірностей	${\frac {1}{\sigma {\sqrt {2\pi }}}}\,e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}}$
Функція розподілу ймовірностей (cdf)	${\frac {1}{2}}\left[1+\operatorname {erf} \left({\frac {x-\mu }{\sqrt {2\sigma ^{2}}}}\right)\right]$
Середнє	μ
Медіана	μ
Мода	μ
Дисперсія	$\sigma ^{2}\,$
Коефіцієнт асиметрії	0
Коефіцієнт ексцесу	0
Ентропія	${\frac {1}{2}}\ln(2\pi e\,\sigma ^{2})$
Твірна функція моментів (mgf)	$\exp\{\mu t+{\frac {1}{2}}\sigma ^{2}t^{2}\}$
Характеристична функція	$\exp\{i\mu t-{\frac {1}{2}}\sigma ^{2}t^{2}\}$
Інформація за Фішером	${\mathcal {I}}(\mu ,\sigma )={\begin{pmatrix}1/\sigma ^{2}&0\\0&2/\sigma ^{2}\end{pmatrix}}$ ${\mathcal {I}}(\mu ,\sigma ^{2})={\begin{pmatrix}1/\sigma ^{2}&0\\0&1/(2\sigma ^{4})\end{pmatrix}}$

Нормальний розподіл (розподіл Ґауса) — розподіл ймовірностей випадкової величини, що характеризується густиною ймовірності

$f(x;\mu ,\sigma )={\frac {1}{\sigma {\sqrt {2\pi }}}}\,\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)$

де $\mu$ — математичне сподівання, $\sigma ^{2}$ — дисперсія випадкової величини. Параметр $\sigma$ також відомий, як стандартне відхилення. Розподіл із $\mu =0$ та $\sigma ^{2}=1$ називають стандартним нормальним розподілом.

Центральна гранична теорема стверджує, що нормальний розподіл виникає тоді, коли дана випадкова величина являє собою суму великого числа незалежних випадкових величин, кожна з яких відіграє незначну роль в утворенні всієї суми. Наприклад, відстань від влучення снаряду гармати до цілі при великій кількості пострілів характеризується саме нормальним розподілом.

Нормально розподілена випадкова величина позначається так: $\xi \sim N(\mu ,\sigma ^{2})$.

Визначення

Стандартний нормальний розподіл

Найпростіший варіант нормального розподілу відомий як стандартний нормальний розподіл. Це особливий випадок, коли $\mu =0$ і $\sigma =1$, і його описують такою функцією густини імовірності:

$\varphi (x)={\frac {1}{\sqrt {2\pi }}}e^{-{\frac {1}{2}}x^{2}}$

Коефіцієнт $1/{\sqrt {2\pi }}$ в даному виразі гарантує, що загальна площа під кривою $\varphi (x)$ дорівнює одиниці. Множник $1/2$ в показнику експоненти гарантує, що розподіл має одиничну дисперсію (тобто дисперсія дорівнює одиниці), а таким чином і одиничне стандартне відхилення. Ця функція симетрична довкола значення $x=0$, де вона набуває свого максимального значення $1/{\sqrt {2\pi }}$ і має дві точки перегину при $x=+1$ і $x=-1$.

В деяких авторів можуть бути відмінності щодо того який нормальний розподіл вважати "стандартним". Гаусс визначив стандартний нормальний розподіл як такий, що має дисперсію $\sigma ^{2}=1/2$, і має функцію густини імовірності:

$\varphi (x)={\frac {e^{-x^{2}}}{\sqrt {\pi }}}$

Стілгер пішов навіть далі, коли визначив стандартний нормальний розподіл із дисперсією $\sigma ^{2}=1/(2\pi )$ так:

$\varphi (x)=e^{-\pi x^{2}}$

Загальний нормальний розподіл

Кожний нормальний розподіл є різновидом стандартного нормального розподілу, область значень якого була розтягнута на величину $\sigma$ (стандартне відхилення) і потім переміщена на $\mu$ (середнє значення):

$f(x\mid \mu ,\sigma ^{2})={\frac {1}{\sigma }}\varphi \left({\frac {x-\mu }{\sigma }}\right).$

Густина імовірності повинна масштабуватися на $1/\sigma$ так щоб інтеграл зберігав значення $1$.

Нехай $Z$ це стандартне нормальний параметр відхилення, тоді $X=\sigma Z+\mu$ матиме нормальний розподіл із сподіванням $\mu$ і стандартним відхиленням $\sigma$. І навпаки, якщо $X$ є нормальним відхиленням із параметрами $\mu$ і $\sigma ^{2}$, тоді $Z=(X-\mu )/\sigma$ матиме стандартний нормальний розподіл. Цей варіант називається стандартизованою формою $X$

Кожен нормальний розподіл є експонентою квадратичної функції:

$f(x)=e^{ax^{2}+bx+c}$

де $a<0$ і $c=b^{2}/(4a)+\ln(-a/\pi )/2$. В даній формі, середнє значення дорівнює $\mu =-b/(2a)$, а дисперсія дорівнює $\sigma ^{2}=-1/(2a)$. У випадку стандартного нормального розподілу, $a=-1/2$, $b=0$, а $c=-\ln(2\pi )/2$.

Позначення

Густина імовірності стандартного Гауссового розподілу (стандартного нормального розподілу) (із нульовим середнім і одиничною дисперсією) часто позначається грецькою літерою $\phi$ (Фі). Також часто використовується інша форма літери фі — $\varphi$.

Нормальний розподіл позначають як $N(\mu ,\sigma ^{2})$ або ${\mathcal {N}}(\mu ,\sigma ^{2})$. Таким чином, якщо випадкова величина $X$ має нормальний розподіл із середнім $\mu$ і дисперсією $\sigma ^{2}$, це можна записати наступним чином

$X\sim {\mathcal {N}}(\mu ,\sigma ^{2}).$

Альтернативні параметризації

Деякі автори виступають за використання параметру $\tau$ як такий, що визначає ширину розподілу, замість відхилення $\sigma$ або дисперсії $\sigma ^{2}$. Цей параметр як правило визначається як обернена дисперсія, $1/\sigma ^{2}$. Формула розподілу тоді приймає наступний вигляд:

$f(x)={\sqrt {\frac {\tau }{2\pi }}}e^{-\tau (x-\mu )^{2}/2}.$

Цей варіант, як стверджують, має переваги при виконанні чисельних розрахунків коли $\sigma$ має значення дуже близьке до нуля і в деяких контекстах спрощує формули, наприклад, у Баєсовій статистиці випадкових величин із багатовимірним нормальним розподілом.

Також коефіцієнт може визначатися як обернене відхилення $\tau ^{\prime }=1/\sigma$, тоді вираз нормального розподілу стане наступним:

$f(x)={\frac {\tau ^{\prime }}{\sqrt {2\pi }}}e^{-(\tau ^{\prime })^{2}(x-\mu )^{2}/2}.$

На думку Стінглера, таке формулювання має переваги у швидкому запам'ятовуванні формули, і дозволяє мати просте наближення формул для квантилів розподілу.

Особливість

Якщо випадкові величини $\,X,\,Y$ мають нормальний розподіл імовірностей, то їх сума $\,Z=X+Y,$  різниця $\,V=X-Y$ також будуть нормально розподілені, а добуток $\,U=XY$ величин $\,X,\,Y$ не буде підпорядкований нормальному розподілу.

Властивості

Нормальний розподіл із функцією густини $f(x)$ (математичним сподіванням $\mu$ і стандартним відхиленням $\sigma >0$) має наступні властивості:

• Він симетричний відносно точки $x=\mu ,$ яка одночасно є модою, медіаною і середнім значенням розподілу.
• Розподіл є одномодальним: його перша похідна додатна при $x<\mu ,$ від'ємна при $x>\mu ,$ і дорівнює нулю лише в точці $x=\mu .$
• Площа, що обмежена під кривою і віссю $x$ дорівнює одиниці.
• Її функція густини має дві точки перегину (де друга похідна функції $f$ дорівнює нулю і змінює знак), що віднесені від середнього на величину одного стандартного відхилення, тобто на $x=\mu -\sigma$ і $x=\mu +\sigma .$
• Густина є логарифмічно угнутою функцією.
• Функція густини є нескінченно диференційованою, і супергладкою порядку 2.

Крім того, густина $\varphi$ стандартного нормального відхилення (тобто, з $\mu =0$ і $\sigma =1$) має також наступні властивості:

• Її перша похідна дорівнює $\varphi ^{\prime }(x)=-x\varphi (x).$
• Її друга похідна дорівнює $\varphi ^{\prime \prime }(x)=(x^{2}-1)\varphi (x).$
• В загальному випадку, її n-та похідна дорівнює $\varphi ^{(n)}(x)=(-1)^{n}\operatorname {He} _{n}(x)\varphi (x),$ де $\operatorname {He} _{n}(x)$ є n-им (імовірнісний) поліномом Ерміта.
• Ймовірність того, що нормально розподілена випадкова величина $X$ із відомими $\mu$ і $\sigma$ знаходиться в певному проміжку, можна розрахувати із відомого факту, що частка $Z=(X-\mu )/\sigma$ має стандартний нормальний розподіл.

Лог-нормальний розподіл

Функція розподілу F(y), в якій логарифм величини є нормально розподіленим:

$F(y)=f_{gauss}(\ln y)$,

де $f_{gauss}(x)$ — функція розподілу Гауса.

Такою функцією описується розподіл частинок аерозолю за розмірами.

Кумулятивна функція розподілу ймовірностей

Кумулятивна функція розподілу ймовірностей стандартного нормального розподілу, зазвичай позначають великою грецькою літерою $\Phi$ (фі), є наступним інтегралом

$\Phi (x)={\frac {1}{\sqrt {2\pi }}}\int _{-\infty }^{x}e^{-t^{2}/2}\,dt$

В статистиці часто застосовують споріднену функції помилок, або $\operatorname {erf} (x)$, що визначена як імовірність випадкової величини із нормальним розподілом, що має нульове середнє і дисперсію $1/2$ потрапити у проміжок значень $[-x,x]$; що записується наступним чином

$\operatorname {erf} (x)={\frac {2}{\sqrt {\pi }}}\int _{0}^{x}e^{-t^{2}}\,dt$

Ці інтеграли не можливо виразити за допомогою елементарних функцій, що часто називають спеціальними функціями. Однак існує багато відомих чисельних апроксимацій; див. below.

Ці дві функції тісно пов'язані одна з одною, а саме:

$\Phi (x)={\frac {1}{2}}\left[1+\operatorname {erf} \left({\frac {x}{\sqrt {2}}}\right)\right]$

Для випадку загального нормального розподілу із густиною $f$, середнім $\mu$ і відхиленням $\sigma$, кумулятивна функція розподілу буде наступною

$F(x)=\Phi \left({\frac {x-\mu }{\sigma }}\right)={\frac {1}{2}}\left[1+\operatorname {erf} \left({\frac {x-\mu }{\sigma {\sqrt {2}}}}\right)\right]$

Компоненту кумулятивної функції стандартного нормального розподілу, $Q(x)=1-\Phi (x)$, часто називають Q-функцією, особливо в технічній сфері. Вона задає ймовірність того що значення стандартної нормальної випадкової величини $X$ буде перевищувати значення $x$: $P(X>x)$. Також іноді можуть використовуватися інші визначення $Q$-функції, усі пов'язані із простими перетвореннями $\Phi$.

Графік кумулятивної функції стандартного нормального розподілу $\Phi$ має $2$-кратну обертову симетрію довкола точки $(0,1/2)$; що задається як, $\Phi (-x)=1-\Phi (x)$. її первісна (невизначений інтеграл) дорівнює

$\int \Phi (x)\,dx=x\Phi (x)+\varphi (x)+C.$

Кумулятивна функція розподілу ймовірностей стандартного нормального розподілу може розкладатися в ряд за допомогою інтегрування частинами:

$\Phi (x)={\frac {1}{2}}+{\frac {1}{\sqrt {2\pi }}}\cdot e^{-x^{2}/2}\left[x+{\frac {x^{3}}{3}}+{\frac {x^{5}}{3\cdot 5}}+\cdots +{\frac {x^{2n+1}}{(2n+1)!!}}+\cdots \right]$

де $!!$ позначає Подвійний факторіал.

Центральна гранична теорема

Із збільшенням кількості дискретних подій, функція починає нагадувати нормальний розподіл

Порівняння функцій густини імовірності, $p(k)$ для суми із $n$ підкидувань 6-гранної гральної кістки, що показує їхню збіжність до нормального розподілу із збільшенням $na$, що відповідає центральній граничній теоремі. На графіку праворуч-внизу, показані масштабовані, накладені один на одного згладжені межі попередніх графіків і їх порівняння із нормальним розподілом (чорна крива).

Центральна гранична теорема стверджує, що при певних умовах, сума багатьох випадкових величин буде мати розподіл близький до нормального розподілу. Зокрема, якщо $X_{1},\ldots ,X_{n}$ — незалежні і однаково розподілені випадкові величини із однаковим розподілом, нульовим середнім, і дисперсією $\sigma ^{2}$ і з $Z$ є їхнім середнім масштабованим на ${\sqrt {n}}$

$Z={\sqrt {n}}\left({\frac {1}{n}}\sum _{i=1}^{n}X_{i}\right)$

Тоді, із збільшенням $n$, розподіл імовірностей величини $Z$ буде збігатися із нормальним розподілом із нульовим середнім і дисперсією $\sigma ^{2}$.

Теорему можна поширити і для випадку коли величини $(X_{i})$ не є незалежними і/або не є однаково розподіленими, але тоді є умови на степені залежності і моменти розподілів.

Багато статистичних критеріїв, функцій внеску, і статистичних оцінок, що застосовуються на практиці містять в своїй основі суми певних випадкових величин, і навіть ще більшу кількість статистичних оцінок можна представити як суму випадкових величин використовуючи функції впливу. Центральна гранична теорема стверджує, що такі статистичні параметри будуть мати асимптотично нормальні розподіли.

Центральна гранична теорема також передбачає, що певні розподіли можливо апроксимувати за допомогою нормального розподілу, наприклад:

• Біноміальний розподіл $B(n,p)$ є наближено нормальним із середнім $np$ і дисперсією $np(1-p)$ при великих $n$ і при $p$, що не є досить близьке до $0$ або $1$.
• Розподіл Пуассона із параметром $\lambda$ є наближено нормальним із середнім $\lambda$ і дисперсією $\lambda$, при великих значеннях $\lambda$.
• Розподіл хі-квадрат $\chi ^{2}(k)$ є наближено нормальним із середнім $k$ і дисперсією $2k$, для великих $k$.
• t-розподіл Стьюдента $t(\nu )$ є наближено нормальним із середнім $0$ і дисперсією $1$ при великих $\nu$.

Наскільки достатньою є точність таких апроксимацій залежить від задачі, в якій вони застосовуються і швидкості збіжності до нормального розподілу. Як правило, такі апроксимації є менш точними на кінцях розподілу.

Загальна верхня межа похибки апроксимації для центральної граничної теореми задається теоремою Беррі — Ессена, поліпшення апроксимації досягається за допомогою рядів Еджворта.

Див. також

• Випадкова величина
• Перетворення Бокса-Мюллера
• Ступінь довіри до вимірів
• Гауссовий q-розподіл
• Розподіл Гауса на локально компактній абелевій групі

Джерела

• Гнєденко Б. В. Курс теорії ймовірностей. — Київ : ВПЦ Київський університет, 2010. — 464 с.
• Карташов М. В. Імовірність, процеси, статистика. — Київ : ВПЦ Київський університет, 2007. — 504 с.
• Гихман И. И., Скороход А. В., Ядренко М. В. Теория вероятностей и математическая статистика. — Київ : Вища школа, 1988. — 436 с.(рос.)