Русская Википедия:Взаимная информация
Шаблон:Теория информации Взаимная информация — статистическая функция двух случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой.
Взаимная информация определяется через энтропию и условную энтропию двух случайных величин как
- <math>I(X;Y) = H( X ) - H(X \mid Y ) = H( X ) + H( Y ) - H( X,Y )</math>
Свойства взаимной информации
- Взаимная информация является симметричной функцией случайных величин:
- <math>I( X;Y ) = I( Y;X )</math>
- Взаимная информация неотрицательна и не превосходит информационную энтропию аргументов:
- <math>0 \le I( X;Y ) \le \min [ H( X ), H( Y ) ]</math>
В частности, для независимых случайных величин взаимная информация равна нулю:
- <math> I( X;Y ) = H ( X ) - H ( X \mid Y ) = H ( X ) - H ( X ) = 0</math>
В случае, когда одна случайная величина (например, <math>X</math>) является детерминированной функцией другой случайной величины (<math>Y</math>), взаимная информация равна энтропии:
- <math> I( X;Y ) = H ( X ) - H ( X \mid Y ) = H ( X ) - 0 = H ( X )</math>
Условная и относительная взаимная информация
Условная взаимная информация — статистическая функция трёх случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой, при условии заданного значения третьей:
- <math>I( X;Y \mid Z = z ) = H( X \mid Z = z ) - H( X \mid Y,Z = z ) </math>
Относительная взаимная информация — статистическая функция трёх случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой, при условии заданной третьей случайной величины:
- <math>I( X; Y \mid Z ) = H( X \mid Z ) - H( X \mid Y,Z ) = H( X \mid Z ) + H( Y \mid Z ) - H( X, Y \mid Z )</math>
Свойства
- Являются симметричными функциями:
- <math>I( X;Y \mid Z ) = I( Y;X \mid Z )</math>
- <math>I( X;Y \mid Z = z ) = I( Y;X \mid Z = z )</math>
- Удовлетворяют неравенствам:
- <math>0 \le I( X;Y \mid Z ) \le \min [ H ( X \mid Z ), H ( Y \mid Z ) ]</math>
- <math>0 \le I( X;Y \mid Z = z ) \le \min [ H ( X \mid Z = z ), H ( Y \mid Z = z ) ]</math>
Взаимная информация трёх случайных величин
Определяют также взаимную информацию трёх случайных величин:
- <math>I( X; Y; Z ) = I( X; Y ) - I( X; Y \mid Z ) </math>
Взаимная информация трёх случайных величин может быть отрицательной. Рассмотрим равномерное распределение на тройках битов <math>(x,y,z)</math>, таких, что <math>x\oplus y\oplus z = 0</math>. Определим случайные величины <math>X, Y, Z</math> как значения битов <math>x, y, z</math>, соответственно. Тогда
- <math>I( X; Y ) = H( X ) - H( X \mid Y ) = 1 - 1 = 0, </math>
но при этом
- <math>I( X; Y \mid Z ) = H( X \mid Z ) - H( X \mid Y, Z ) = 1 + 0 = 1, </math>
а, следовательно, <math>I( X; Y; Z ) = -1</math>.
Литература
