Русская Википедия:Среднее степенное взвешенное
Среднее степенное взвешенное — разновидность среднего значения. Для набора положительных вещественных чисел <math>x_1, \ldots, x_n</math> с параметром <math> q \ne 0 </math> и неотрицательными весами <math>w_1, \ldots, w_n</math> определяется как
- <math>\bar{x} = \left(\frac{\sum_{i=1}^n w_i x_i^q}{\sum_{i=1}^n w_i}\right)^{1/q}</math>.
Если веса <math>w_1, \ldots, w_n</math> нормированы к единице (то есть их сумма равна единице), то выражение для среднего степенного взвешенного принимает вид
- <math>\bar{x} = \left(\sum_{i=1}^n w_i x_i^q\right)^{1/q}</math>.
Свойства
- В том случае, если все веса <math>w_i</math> равны между собой, среднее степенное взвешенное равно среднему степенному.
- Среднее арифметическое взвешенное и среднее гармоническое взвешенное являются частными случаями среднего степенного взвешенного при соответственно <math>q=1</math> и <math>q=-1</math>.
- В пределе при <math>q \to 0</math> среднее степенное взвешенное сходится к среднему геометрическому взвешенному.
Связь с энтропией Реньи
Информационную энтропию некоторой системы можно определить как логарифм числа доступных состояний системы (или их эффективного количества, если состояния не равновероятны). Учтём, что вероятности <math>p_i</math> пребывания системы в состоянии с номером <math>i</math> (<math>i=1, \ldots, N</math>) нормированы к <math>1</math>. Если состояния системы равновероятны и имеют вероятность <math>p</math>, то <math>N=1/p</math>. В случае разных вероятностей состояний <math>p_i</math> определим эффективное количество состояний <math>\overline{N}</math> как среднее степенное взвешенное от величин <math>x_i=1/p_i</math> с весами <math>p_i</math> и параметром <math>q=1-\alpha</math> (где <math>\alpha \ne 1</math>):
- <math>\overline{N}=\left(\sum_{i=1}^N p_i x_i^q\right)^{1/q} =\left(\sum_{i=1}^N p_i (1/p_i)^{1-\alpha}\right)^{\frac 1 {1-\alpha}} = \left(\sum_{i=1}^N p_i^\alpha\right)^{\frac 1 {1-\alpha}}</math>.
Отсюда получаем выражение для энтропии
- <math>H=\log \overline{N}=\log\left(\sum_{i=1}^N p_i^\alpha\right)^{\frac 1 {1-\alpha}}=\frac 1 {1-\alpha}\log\sum_{i=1}^N p_i^\alpha</math>,
совпадающее с выражением для энтропии РеньиШаблон:Sfn. Нетрудно видеть, что в пределе при <math>\alpha\to 1</math> (или <math>q \to 0</math>) энтропия Реньи сходится к энтропии Шеннона (при том, что среднее степенное взвешенное — к среднему геометрическому взвешенному). По определению энтропии Реньи должно соблюдаться дополнительное ограничение <math>\alpha \geq 0</math> (или <math>q \le 1</math>).
Примечания
Литература
