Русская Википедия:Избыточность информации

Материал из Онлайн справочника
Перейти к навигацииПерейти к поиску

Избыточность информации — термин из теории информации, означающий превышение количества информации, используемой для передачи или хранения сообщения, над его информационной энтропией. Для уменьшения избыточности применяется сжатие данных без потерь, в то же время контрольная сумма применяется для внесения дополнительной избыточности в поток, что позволяет производить исправление ошибок при передаче информации по каналам, вносящим искажения (спутниковая трансляция, беспроводная передача и т. д.).

Количественное определение

Информационное содержание одного сообщения в потоке, в наиболее общем случае, определяется как:

<math>r=\mathbb E H(M_t|M_{t-1},M_{t-2},M_{t-3}, \dots) </math>,

где <math>H</math> — условная энтропия, а <math>\mathbb E</math> — математическое ожидание.

Обозначим как R логарифм числа символов в алфавите сообщений:

<math>R = \log |M| </math>

Абсолютная избыточность может быть определена как разность этих двух величин:

<math> D = R - r </math>

Соотношение <math>\frac D R </math> называется относительной избыточностью и дает математическую оценку максимальной степени сжатия, на которую может быть уменьшен размер файла.

Другие определения избыточности

Мера избыточности между двумя случайными величинами — взаимная информация.

См. также

Шаблон:Math-stub Шаблон:Rq Шаблон:Методы сжатия