Русская Википедия:Энтропийная скорость

Содержание

Текст

Текст

Текст

Текст

Текст

Текст

Текст

Текст

Текст

Шаблон:Теория информации В математической теории вероятности энтропийная скорость случайного процесса является, неформально говоря, временно́й плотностью средней информации в стохастическом процессе. Для стохастических процессов со счётным индексом энтропийная скорость <math>H(X)</math> является пределом Шаблон:Не переведено 5 <math>n</math> членов процесса <math>X_k</math>, поделённым на <math>n</math>, при стремлении <math>n</math> к бесконечности:

<math>H(X) = \lim_{n \to \infty} \frac{1}{n} H(X_1, X_2, \dots X_n)</math>

если предел существует. Альтернативно, связанной величиной является:

<math>H'(X) = \lim_{n \to \infty} H(X_n|X_{n-1}, X_{n-2}, \dots X_1)</math>

Для сильно стационарных стохастических процессов <math>H(X) = H'(X)</math>. Энтропийную скорость можно рассматривать как общее свойство стохастических источников, то есть Шаблон:Не переведено 5. Энтропийная скорость можно использовать для оценки сложности стохастических процессов. Он используется в различных приложениях от описания сложности языков, слепого разделения сигналов до оптимизации преобразователей и алгоритмов сжатия данных. Например, критерий максимальной энтропийной скорость может быть использован для отбора признаков в машинном обученииШаблон:Sfn.

Энтропийная скорость для марковских цепей

Поскольку стохастический процесс, определяемый цепью Маркова, которая неприводима, непериодична и положительно рекурренктна, имеет стационарное распределение, энтропийная скорость независим от начального распределения.

Например, для такой цепи Маркова <math>Y_k</math>, определённом на счётном числе состояний, заданных матрицей переходов <math>P_{ij}</math>, <math>H(Y)</math>, задаётся выражением:

<math>\displaystyle H(Y) = - \sum_{ij} \mu_i P_{ij} \log P_{ij}</math>,

где <math>\mu_i</math> является Шаблон:Iw цепи.

Простое следствие этого определение заключается в том, что независимый одинаково распределённый случайный процесс имеет энтропийную скорость, равную энтропии любого индивидуального члена процесса.

См. также

• Марковский источник информации
• Шаблон:Не переведено 5

Литература

• Шаблон:Статья
• Шаблон:Книга Шаблон:Архивировано