Русская Википедия:Энтропия Цаллиса
В статистической термодинамике энтропия Цаллиса — обобщение стандартной энтропии Больцмана—Гиббса, предложенное Константино Цаллисом (Constantino Tsallis)[1] в 1988 г. для случая неэкстенсивных (неаддитивных) систем. Его гипотеза базируется на предположении, что сильное взаимодействие в термодинамически аномальной системе приводит к новым степеням свободы, к совершенно иной статистической физике небольцмановского типа.
Определение и основные сведения
Пусть <math>P</math> — распределение вероятностей и <math>\mu</math> — любая мера на <math>X</math>, для которой существует абсолютно непрерывная относительно <math>\mu</math> функция <math>p = \frac{dP}{d\mu}</math>. Тогда энтропия Цаллиса определяется как
- <math> S_q(P) = {k \over q - 1} \left( 1 - \int\limits_{X}^{} {p^q} d\mu \right).</math>
В частности, для дискретной системы, находящейся в одном из <math>N</math> доступных состояний с распределением вероятностей <math>P=\{p_i\,|\,i=1, 2, ..., N\}</math>,
- <math>S_q(P) = {k \over q - 1} \left( 1 - \sum_{i=1}^N p_i^q \right)</math>.
В случае лебеговой меры <math>\mu=x</math>, т.е. когда <math>P</math> — непрерывное распределение с плотностью <math>p(x)</math>, заданной на множестве <math>X</math>,
- <math>S_q(P) = {k \over q - 1} \left( 1 - \int\limits_{X}^{} {p^q(x)} dx \right)</math>.
В этих формулах <math>k</math> — некоторая положительная константа, которая определяет единицу измерения энтропии и в физических формулах служит для связки размерностей, как, например, постоянная Больцмана. С точки зрения задачи оптимизации энтропии данная константа является несущественной, поэтому для простоты часто полагают <math>k=1</math>.
Параметр <math>q</math> — безразмерная величина (<math>q \in R</math>), которая характеризует степень неэкстенсивности (неаддитивности) рассматриваемой системы. В пределе при <math>q \to 1</math>, энтропия Цаллиса сходится к энтропии Больцмана—Гиббса. При <math>q>0</math> энтропия Цаллиса является вогнутым функционалом от распределения вероятностей и, как обычная энтропия, достигает максимума при равномерном распределении. При <math>q<0</math> функционал является выпуклым и при равномерном распределении достигает минимума. Поэтому для поиска равновесного состояния изолированной системы при <math>q>0</math> энтропию Цаллиса нужно максимизировать, а при <math>q<0</math> — минимизировать[2]. Значение параметра <math>q=0</math> — это вырожденный случай энтропии Цаллиса, когда она не зависит от <math>P</math>, а зависит лишь от <math>\mu(X)</math>, т.е. от размера системы (от <math>N</math> в дискретном случае).
В непрерывном случае иногда требуют, чтобы носитель случайной величины <math>X</math> был безразмерным[3]. Это обеспечивает корректность функционала энтропии с точки зрения размерности.
Исторически первыми выражение для энтропии Цаллиса (точнее, для частного её случая при <math>k={q-1 \over 1-2^{1-q}}</math>) получили Дж. Хаврда и Ф. Чарват (J. Havrda and F. Charvát)[4] в 1967 г. Вместе с тем при <math>q>0</math> энтропия Цаллиса является частным случаем f-энтропии[5] (при <math>q<0</math> f-энтропией является величина, противоположная энтропии Цаллиса).
Некоторые соотношения
Энтропия Цаллиса может быть получена из стандартной формулы для энтропии Больцмана—Гиббса путём замены используемой в ней функции <math>\ln x</math> на функцию
- <math>\ln_q x={x^{q-1}-1 \over q - 1}</math>
— так называемый q-деформированный логарифм или просто q-логарифм (в пределе при <math>q \to 1</math> совпадающий с логарифмом)[6]. К. Цаллис использовал[7] несколько иную формулу q-логарифма, которая сводится к приведённой здесь заменой параметра <math>q</math> на <math>2-q</math>.
Ещё один способ[7] получить энтропию Цаллиса основан на соотношении, справедливом для энтропии Больцмана—Гиббса:
- <math>S(P) = -k \lim_{t\rightarrow 1} \frac{d}{dt} \sum_{i=1}^N p_i^t </math>.
Нетрудно видеть, что если заменить в этом выражении обычную производную на q-производную (известную также как производная Джексона), получается энтропия Цаллиса:
- <math>S_q(P) = -k \lim_{t\rightarrow 1} \, \left(\frac{d}{dt}\right)_q \sum_{i=1}^N p_i^t </math>.
Аналогично для непрерывного случая:
- <math>S_q(P) = -k \lim_{t\rightarrow 1} \, \left(\frac{d}{dt}\right)_q \int\limits_{X}^{} {p^t(x)} dx</math>.
Альтернативное определение
Оригинальное определение энтропии Цаллиса является не очень удачным из-за необходимости по-разному работать с функционалом в зависимости от знака <math>q</math>, а также из-за того, что при <math>q<0</math> не выполняется базовое свойство возрастания энтропии при приближении системы к равновесному состоянию. В связи с этим более удобным является следующее определение энтропии Цаллиса, известное также как α-энтропия[8], являющаяся частным случаем f-энтропии:
- <math> S_q(P) = {k \over q(q - 1)} \left( 1 - \int\limits_{X}^{} {p^q} d\mu \right).</math>
α-энтропия в пределе при <math>q \rightarrow 0</math> с точностью до несущественного слагаемого эквивалентна энтропии Берга
- <math> S_0(P) = k \int\limits_{X}^{} {\ln p \, d\mu} .</math>
Нетрудно видеть, что оригинальное и альтернативное определение энтропии Цаллиса эквивалентны с точностью до значения <math>k</math>, кроме случая <math>q=0</math>.
Неэкстенсивность (неаддитивность)
Пусть имеются две независимых системы <math>A</math> и <math>B</math>, т.е. такие системы, что в дискретном случае совместная вероятность появления двух любых состояний <math>a \in A</math> и <math>b \in B</math> в этих системах равна произведению соответствующих вероятностей:
- <math>\operatorname {Prob}(a,b) = \operatorname {Prob}(a) \operatorname {Prob}(b)</math>,
а в непрерывном — совместная плотность распределения вероятностей равна произведению соответствующих плотностей:
- <math>p_{AB}(x,y) = p_A(x) p_B(y)</math>,
где <math>x \in X</math>, <math>y \in Y</math> — области значений случайной величины в системах <math>A</math> и <math>B</math> соответственно.
В отличие от энтропии Больцмана—Гиббса и энтропии Реньи, энтропия Цаллиса, вообще говоря, не обладает аддитивностью, и для совокупности систем справедливо[7]
- <math>S_q(AB)=S_q(A)+S_q(B)+{1-q \over k}S_q(A)S_q(B)</math>.
Поскольку условие аддитивности для энтропии имеет вид
- <math>S(AB)=S(A)+S(B)</math>,
отклонение параметра <math>q</math> от <math>1</math> характеризует неэкстенсивность (неаддитивность) системы. Энтропия Цаллиса является экстенсивной только при <math>q=1</math>.
Дивергенция Цаллиса
Наряду с энтропией Цаллиса, рассматривают также семейство несимметричных мер расхождения (дивергенций) Цаллиса между распределениями вероятностей с общим носителем. Для двух дискретных распределений с вероятностями <math>A=\{a_i\}</math> и <math>B=\{b_i\}</math>, <math>i=1, 2,... , N</math>, дивергенция Цаллиса определяется как[9]
- <math>D_q(A,B) = {k \over q - 1} \left( \sum_{i=1}^N a_i^q b_i^{1-q} - 1 \right)</math>.
В непрерывном случае, если распределения <math>A</math> и <math>B</math> заданы плотностями <math>a(x)</math> и <math>b(x)</math> соответственно, где <math>x \in X</math>,
- <math>D_q(A,B) = {k \over q - 1} \left( \int\limits_{X}^{} {a^q(x) b^{1-q}(x)} dx -1 \right)</math>.
В отличие от энтропии Цаллиса, дивергенция Цаллиса определена при <math>q>0</math>. Несущественная положительная константа <math>k</math> в этих формулах, как и для энтропии, задаёт единицу измерения дивергенции и часто опускается (полагается равной <math>1</math>). Дивергенция Цаллиса является частным случаем α-дивергенции[10] (с точностью до несущественной мультипликативной константы) и, как α-дивергенция, является выпуклой по обоим аргументам при всех <math>q>0</math>. Дивергенция Цаллиса также является частным случаем f-дивергенции. α-дивергенция может служить обобщением дивергенции Цаллиса на все <math>q \in R</math>.
Дивергенция Цаллиса может быть получена из формулы для дивергенции Кульбака—Лейблера путём подстановки в неё q-деформированного логарифма, определённого выше, вместо функции <math>\ln x</math>. В пределе при <math>q \to 1</math> дивергенция Цаллиса сходится к дивергенции Кульбака—Лейблера.
Связь формализмов Реньи и Цаллиса
Энтропия Реньи и энтропия Цаллиса эквивалентны[9][11] с точностью до монотонного преобразования, не зависящего от распределения состояний системы. То же касается соответствующих дивергенций. Рассмотрим, к примеру, энтропию Реньи для системы <math>P</math> с дискретным набором состояний <math>\{p_i|i=1, 2,... , N\}</math>:
- <math> \widetilde{S}_q(P) = {\widetilde{k} \over 1 - q} \ln \sum_{i=1}^N p_i^q </math>, <math>q \geq 0</math>.
Дивергенция Реньи для дискретных распределений с вероятностями <math>A=\{a_i\}</math> и <math>B=\{b_i\}</math>, <math>i=1, 2,... , N</math>:
- <math> \widetilde{D}_q(A,B) = {\widetilde{k} \over q - 1} \ln \sum_{i=1}^N a_i^q b_i^{1-q}</math>, <math>q>0</math>.
В этих формулах положительная константа <math>\widetilde{k}</math> имеет тот же смысл, что и <math>k</math> в формализме Цаллиса.
Нетрудно видеть, что
- <math>S_q(P)=T_{2-q}(\widetilde{S}_q(P))</math>,
- <math>D_q(A,B)=T_q(\widetilde{D}_q(A,B))</math>,
где функция
- <math>T_q(x)=k{\exp(x(q-1)/ \widetilde{k})-1 \over q-1}</math>
определена на всей числовой оси и непрерывно возрастает по <math>x</math> (при <math>q=1</math> полагаем <math>T_q(x) = {k \over \widetilde{k}} x </math>). Приведённые соотношения имеют место и в непрерывном случае.
Несмотря на наличие этой связи, следует помнить, что функционалы в формализмах Реньи и Цаллиса обладают разными свойствами:
- энтропия Цаллиса, вообще говоря, не аддитивна, тогда как энтропия Реньи аддитивна при всех <math>q>0</math>;
- энтропия и дивергенция Цаллиса являются вогнутыми или выпуклыми (кроме <math>q=0</math>), тогда как энтропия и дивергенция Реньи, вообще говоря, не обладают ни тем, ни другим свойством[12].
Примечания
