Закон великих чисел

Ілюстрація закону великих чисел використовуючи певний перебіг кидань кості. З тим як кількість кидків збільшується, середнє значення всіх кидків наближується до 3.5. Різні перебіги показуватимуть різні форми кривої у частині, що відображає малу кількість кидків (ліва частина), у частині, що відображає велику кількість кидків (права частина) вони будуть дуже подібні.

Частина серії статей з статистики
Теорія ймовірностей
Аксіоми
Ймовірнісний простір Простір елементарних подій Елементарна подія Випадкова подія Випадкова величина Міра ймовірності
Доповнювальна подія Спільний розподіл Відособлений розподіл Умовна ймовірність
Незалежність Умовна незалежність Формула повної ймовірності Закон великих чисел Теорема Баєса Нерівність Буля
Діаграма Венна Деревна діаграма

Закон великих чисел в теорії імовірностей стверджує, що емпіричне середнє (арифметичне середнє) великої вибірки із фіксованого розподілу близьке до теоретичного середнього (математичного сподівання) цього розподілу. В залежності від виду збіжності розрізняють слабкий закон великих чисел, коли маємо збіжність за ймовірністю, і посилений закон великих чисел, коли маємо збіжність майже скрізь.

Завжди знайдеться така кількість випробувань, при якій з будь-якою заданою наперед імовірністю частота появи деякої події буде як завгодно мало відрізнятися від її імовірності.

Форми ЗВЧ

Нижче описано дві версії ЗВЧ: Слабкий закон великих чисел та Посилений закон великих чисел. Обидва закони стверджують, що з певною достовірністю середнє вибірки

${\overline {X}}_{n}={\frac {1}{n}}(X_{1}+\cdots +X_{n})$

прямує до математичного сподівання

${\overline {X}}_{n}\,\to \,\mu ,\qquad \ \qquad n\to \infty$

де X₁, X₂, ... — скінченна послідовність н.о.р. випадкові величини зі скінченним математичним сподіванням E(X₁) = E(X₂) = ... = µ < ∞.

Слабкий закон великих чисел

Нехай є нескінченна послідовність однаково розподілених і некорельованих випадкових величин $\{X_{i}\}_{i=1}^{\infty }$, визначених на одному ймовірнісному просторі $(\Omega ,{\mathcal {F}},\mathbb {P} )$. Їх коваріація $\mathrm {cov} (X_{i},X_{j})=0,\;\forall i\not =j$. Нехай $E(X_{i})=\mu ,\;\forall i\in \mathbb {N}$. Позначимо $\displaystyle S_{n}$ вибіркове середнє перших $\displaystyle n$ членів:

$S_{n}={\frac {1}{n}}\sum \limits _{i=1}^{n}X_{i},\;n\in \mathbb {N}$.

Тоді $S_{n}\to ^{\!\!\!\!\!\!\mathbb {P} }\mu$.

Це означає, що для будь-якого додатного числа ε,

$\lim _{n\to \infty }\Pr \!\left(\,|{\overline {X}}_{n}-\mu |>\varepsilon \,\right)=0.$

Інтерпретувати цей результат можна так, що слабкий закон говорить про те, що для будь-якої заданої похибки, не важливо наскільки вона буде малою, для значно великих вибірок буде існувати дуже висока імовірність, що середнє значення для спостережень буде близьким до значення сподівання; так що воно буде знаходитися в межах похибки.

Як уже згадувалося, слабкий закон застосовується для незалежних однаково розподілених випадкових величин, але існують і інші випадки в яких він може застосовуватися. Наприклад, у кожної випадкової величини у вибірці може бути різна дисперсія, але математичне сподівання залишається сталим. Якщо ці дисперсії обмежені, тоді це правило можна застосувати аналогічно як це показав Чебишов в 1867 році. (Якщо математичні сподівання змінюються, тоді ми можемо застосувати цей закон до середнього відхилення від відповідних значень математичних сподівань. Тоді закон стверджуватиме, що це збігатиметься за імовірністю до нуля.) Насправді, доведення Чебишова буде працювати доки дисперсія середнього для перших n значень збігатиметься до нуля при n що прямує до нескінченності. Як приклад, припустимо що кожна випадкова величина у вибірці має розподіл Гауса із нульовим середнім значенням, але із дисперсією що дорівнює $2n/\log(n+1).$ На кожному етапі, середнє матиме нормальний розподіл (оскільки це є середнє множини нормально розподілених величин). Дисперсія суми величин дорівнює сумі дисперсій, яка є асимптотичною до $n^{2}/\log n$. Дисперсія середнього в свою чергу буде асимптотичною до $1/\log n$ і прямує до нуля.

Прикладом це закон великих чисел не виконується Розподіл Коші. Нехай випадкові числа дорівнюють тангенсу кута, що рівномірно розподілений між значеннями −90° і +90°. Медіана дорівнює нулю, але математичне сподівання не існує, і насправді середнє із n таких величин матиме той самий розподіл, що і одна така величина. Воно не прямує до нуля при тому що n прямує до нескінченності.

Але існують і приклади, де слабкий закон великих чисел може бути застосований навіть при умові, що математичне сподівання не існує.

Посилений закон великих чисел

Нехай є нескінченна послідовність незалежних однаково розподілених випадкових величин $\{X_{i}\}_{i=1}^{\infty }$, визначених на одному ймовірнісному просторі $(\Omega ,{\mathcal {F}},\mathbb {P} )$. Нехай $\mathbb {E} X_{i}=\mu ,\;\forall i\in \mathbb {N}$. Позначимо $\displaystyle S_{n}$ вибіркове середнє перших $\displaystyle n$ членів:

$S_{n}={\frac {1}{n}}\sum \limits _{i=1}^{n}X_{i},\;n\in \mathbb {N}$.

Тоді $S_{n}\to \mu$ майже скрізь.

Різниця між слабким і посиленим законами великих чисел

Слабкий закон стверджує, що для великого числа n, середнє значення ${\overline {X}}_{n}$ правдоподібно є близько до μ. Отже, залишається можливість того, що $|{\overline {X}}_{n}-\mu |>\varepsilon$ трапляється нескінченну кількість разів, хоча й на рідкісних інтервалах.

Посилений закон стверджує що це майже напевно не станеться. Зокрема, це означає що з імовірністю 1, для кожного ε > 0 нерівність $|{\overline {X}}_{n}-\mu |<\varepsilon$ виконується для всіх достатньо великих n.

ЗВЧ Бореля

Закон великих чисел Бореля, на честь Еміля Бореля, стверджує, що якщо повторювати експеримент багато раз за тих самих умов і незалежно від інших спроб, то частота певної події наближено дорівнює ймовірності випадання цієї події в кожному окремому експерименті; чим більша кількість повторень тим краще наближення. Точніше, якщо E — подія, p ймовірність цієї події і N_n(E) — число разів коли в експерименті випадає подія E в n перших спробах, тоді з ймовірністю 1:

${\frac {N_{n}(E)}{n}}\to p,\ n\to \infty .\,$

Ця теорема строго формалізує інтуїтивне поняття ймовірності як граничної частоти випадання події в експерименті. Теорема є частковим випадком інших загальніших законів великих чисел в теорії ймовірності.

Приклади

Одне підкидання шестигранної гральної кістки може випасти одним із номерів 1, 2, 3, 4, 5, або 6. Кожна з цих подій має однакову імовірність. Таким чином, математичне сподівання для одного підкидання, буде наступним

${\frac {1+2+3+4+5+6}{6}}=3,5$

Відповідно до закону великих чисел, якщо підкинути гральну кістку велику кількість разів, середнє значення отриманих значень (що називають вибірковим середнім) скоріше за все буде мати значення близьке до числа 3,5, так що точність цього наближення буде збільшуватися із тим чим більше буде виконано кидків.

Із закону великих чисел слідує, що емпірична імовірність успішної події для вибірки випробувань Бернуллі буде збігатися до теоретичної імовірності. Для випадкової величини із розподілом Бернуллі, математичне сподівання дорівнює теоретичній імовірності успішної події, а середнє значення для n таких величин (за умови що вони є незалежними і однаково розподіленими) буде відповідати відносній частоті.

Наприклад, підкидання монети є випробуванням Бернуллі. Якщо монету підкинути один раз, теоретична імовірність випадіння у монети герба буде дорівнювати 1/2. Таким чином, відповідно до закону великих чисел, доля випадання гербів при великій кількості незалежних підкидань монети "повинна" приблизно становити 1/2. Зокрема, доля випадання гербів при n незалежних підкиданнях майже певно буде збігатися до 1/2 при n що прямує до нескінченності.

Історія

Італійський математик Джироламо Кардано (1501–1576) стверджував без доказів про те, що точність емпіричної статистики поліпшується із збільшенням кількості випробувань. Згодом цей факт формалізували як закон великих чисел. Окрему форму закону великих чисел для бінарної випадкової величини вперше довів Якоб Бернуллі. Йому знадобилося більше 20 років, аби випрацювати достатньо точне математичне доведення, яке він опублікував у своїй праці Ars Conjectandi (Мистецтво вгадування) в 1713. Він назвав її "Золотою Теоремою", але згодом вона стала загальновідомою як "Теорема Бернулі". Не слід плутати її із Законом Бернуллі, що названий на честь племінника Якоба Бернулі Даніеля Бернуллі. В 1837, С.Д. Пуассон згодом описав її під назвою "la loi des grands nombres" ("Закон великих чисел"). Після чого вона залишилася відома під обома назвами, але назва "Закон великих чисел" вживається частіше.

Після того, як Бернуллі і Пуассон опублікували свої досягнення, над поліпшенням закону працювали і інші математики, до яких належать Чебишов, Марков, Борель, Кантеллі, Колмогоров і Олександр Хінчін. Марков показав, що при певних слабших припущеннях цей закон можна застосувати до випадкової величини, що не має скінченної дисперсії, а Хінчін в 1929 показав, що якщо вибірка складається із незалежних однаково розподілених випадкових величин, для виконання слабкого закону великих чисел достатньо того, що існує математичне сподівання. Ці подальші дослідження призвели до появи двох відомих форм закону великих чисел. Перший називається "слабким" законом, а інший "посиленим" законом, що відповідає двом різним формам наближення кумулятивного вибіркового середнього до математичного сподівання; зокрема, виконання посиленого закону передбачає і виконання слабкого.

Джерела

• Гнєденко Б. В. Курс теорії ймовірностей. — Київ : ВПЦ Київський університет, 2010. — 464 с.
• Карташов М. В. Імовірність, процеси, статистика. — Київ : ВПЦ Київський університет, 2007. — 504 с.
• Гихман И. И., Скороход А. В., Ядренко М. В. Теория вероятностей и математическая статистика. — Київ : Вища школа, 1988. — 436 с.(рос.)