Ентропійна швидкість

У математичній теорії ймовірності шви́дкість ентропі́ї або шви́дкість джерела́ інформа́ції (англ. entropy rate, source information rate) стохастичного процесу — це, неформально, часова густина усередненої інформації в стохастичному процесі. Для стохастичних процесів зі зліченним індексом швидкістю ентропії Η(X) є границя спільної ентропії n членів процесу X_k, поділена на n, при прямуванні n до нескінченності:

$\mathrm {H} (X)=\lim _{n\to \infty }{\frac {1}{n}}\mathrm {H} (X_{1},X_{2},\dots X_{n})$

коли ця границя існує. Альтернативною, пов'язаною величиною є

$\mathrm {H} '(X)=\lim _{n\to \infty }\mathrm {H} (X_{n}|X_{n-1},X_{n-2},\dots X_{1})$

Для строго стаціонарних стохастичних процесів $\mathrm {H} (X)=\mathrm {H} '(X)$. Швидкість ентропії можна розглядати як загальну властивість стохастичних джерел; це є властивість асимптотичної рівнорозподіленості.

Швидкість ентропії для марковських ланцюгів

Оскільки стохастичний процес, визначений марковським ланцюгом, що є нерозкладним, аперіодичним і позитивно рекурентним, має стаціонарний розподіл, швидкість ентропії не залежить від початкового розподілу.

Наприклад, для такого марковського ланцюга Y_k, визначеного на зліченному числі станів, за заданої матриці переходів P_ij, H(Y) задається як

$\displaystyle \mathrm {H} (Y)=-\sum _{ij}\mu _{i}P_{ij}\log P_{ij}$

де μ_i є асимптотичним розподілом цього ланцюга.

Простим наслідком цього визначення є те, що н. о. р. стохастичний процес має таку же швидкість ентропії, як і ентропія будь-якого з окремих членів цього процесу.

Див. також

• Джерело інформації (математика)
• Марковське джерело інформації
• Властивість асимптотичної рівнорозподіленості

Джерела

• Cover, T. and Thomas, J. (1991) Elements of Information Theory, John Wiley and Sons, Inc., ISBN 0-471-06259-6 [1] (англ.)