Русская Википедия:F-дивергенция
f-дивергенцией (f-расхождением) называется класс функционалов <math>D_f(P\parallel Q)</math>, определяющих в общем случае несимметричную меру расхождения между двумя распределениями вероятностей <math>P</math> и <math>Q</math>. Обычно применяется в теории информации и теории вероятностей. Функционал однозначно определяется (порождается) функцией <math>f(t)</math>, удовлетворяющей определённым условиям.
Данный класс дивергенций был введён и изучался независимо друг от друга учёными Шаблон:Harvtxt, Шаблон:Harvtxt и Шаблон:Harvtxt. Поэтому иногда можно встретить названия f-дивергенция Чисара, дивергенция Чисара—Моримото или расстояние Али—Силви.
Определение
Пусть <math>P</math> и <math>Q</math> — распределения вероятностей, заданные на множестве <math>\Omega</math>, такие что <math>P</math> абсолютно непрерывно по отношению к <math>Q</math>. Пусть функция <math>f(t)</math> выпукла при <math>t \geq 0</math> и <math>f(1)=0</math>. Тогда функция <math>f</math> задаёт f-дивергенцию <math>P</math> относительно <math>Q</math> следующим образом:
- <math> D_f(P\parallel Q) = \int_{\Omega} f\left(\frac{dP}{dQ}\right)dQ = \operatorname{E}_Q f\left(\frac{dP}{dQ}\right).</math>
Если <math>\mu</math> — любая мера на <math>\Omega</math>, и оба распределения <math>P</math> и <math>Q</math> непрерывны относительно <math>\mu</math>, т.е. существуют функции <math>p = \frac{dP}{d\mu}</math> и <math>q = \frac{dQ}{d\mu}</math>, тогда f-дивергенция может быть записана как
- <math> D_f(P\parallel Q) = \int_{\Omega} f\left(\frac{p}{q}\right)q\,d\mu.</math>
В случае лебеговой меры <math>\mu=x</math> распределения имеют плотности <math>p(x)</math> и <math>q(x)</math>, тогда f-дивергенция принимает вид
- <math> D_f(P\parallel Q) = \int_{\Omega} f\left(\frac{p(x)}{q(x)}\right)q(x)\,dx.</math>
Для дискретных распределений <math>P=\{p_i\}</math> и <math>Q=\{q_i\}</math>, где <math>i=1,...,N</math>,
- <math> D_f(P\parallel Q) = \sum_{i=1}^N f\left(\frac{p_i}{q_i}\right)q_i. </math>
Нужно заметить, что функция <math>f(t)</math> определена с точностью до слагаемого <math>c(t-1)</math>, где <math>c</math> — произвольная константа. Действительно, вид f-дивергенции не зависит от выбора <math>c</math>, поскольку слагаемое <math>c(t-1)</math> функции <math>f(t)</math> даёт нулевой вклад в значение интеграла. Кроме того, функция <math>f(t)</math> может содержать положительную мультипликативную константу <math>k</math>, которая определяет единицу измерения дивергенции. В связи с этим некоторые авторы (например, Шаблон:Harvtxt) указывают дополнительные ограничения, налагаемые на функцию <math>f(t)</math>:
- <math>f'(1)=0,</math>
- <math>f(1)=1.</math>
Первое из этих ограничений фиксирует константу <math>c</math>, второе — константу <math>k</math>. Условие <math>f'(1)=0</math> может быть полезно тем, что в этом случае <math>f(t) \geq 0</math> с минимумом в точке <math>t=1</math> (см. Шаблон:Harvtxt), и выражение для f-дивергенции интуитивно проще воспринимается. Однако такой способ конкретизировать функцию <math>f(t)</math> не всегда удобен: например, для существования непрерывной версии f-энтропии, связанной с данной f-дивергенцией, может потребоваться другое значение константы <math>c</math>.
f-дивергенция может быть разложена в ряд Тейлора и записана в виде взвешенной суммы расстояний χ-типа (см. Шаблон:Harvtxt).
Частные случаи f-дивергенции
Многие известные дивергенции, такие как дивергенция Кульбака—Лейблера, квадрат расстояния Хеллингера, расстояние хи-квадрат и ряд других, являются частными случаями f-дивергенции, которым соответствует определённый выбор функции <math>f(t)</math>. В следующей таблице приведены некоторые распространённые виды дивергенций между распределениями вероятностей и соответствующая им функция <math>f(t)</math> (см. Шаблон:Harvtxt).
| Дивергенция | Порождающая функция <math>f(t)</math> |
|---|---|
| Дивергенция Кульбака—Лейблера | <math> t \ln t</math> |
| Обратная Дивергенция Кульбака—Лейблера | <math> - \ln t </math> |
| Квадрат расстояния Хеллингера | <math>\frac12(\sqrt{t} - 1)^2,\,1-\sqrt{t},\,t-\sqrt{t}</math> |
| Расстояние полной вариации | t - 1| \,</math> |
| Расстояние <math>\chi^2</math> Пирсона | <math>(t - 1)^2,\,t^2 -1,\,t^2 -t</math> |
| Расстояние <math> \chi^2</math> Неймана | <math>\frac1t-1,\,\frac1t-t</math> |
| Альфа-дивергенция | <math>\begin{cases}
\frac{4}{1-\alpha^2}\big(t - t^{(1+\alpha)/2}\big), & \text{если}\ \alpha\neq\pm1, \\
t \ln t, & \text{если}\ \alpha=1, \\
- \ln t, & \text{если}\ \alpha=-1
\end{cases}</math>
|
| Альфа-дивергенция (другие обозначения) | <math>\begin{cases}
\frac{t^\alpha-t}{\alpha(\alpha-1)}, & \text{если}\ \alpha\neq 0,\, \alpha\neq 1, \\
t \ln t, & \text{если}\ \alpha=1, \\
- \ln t, & \text{если}\ \alpha=0
\end{cases}</math>
|
Свойства
Шаблон:Unordered list{\;=\;} D_f(Q\parallel P) = \int_{\Omega} f\left(\frac{dQ}{dP}\right)dP = \int_{\Omega} f^*\left(\frac{dP}{dQ}\right)dQ = D_{f^*}(P\parallel Q),</math>
где <math>f^*(t)=tf(1/t)</math> — двойственная порождающая функция. Нетрудно видеть, что <math>f^*(1)=f(1)=0</math>, <math>f^*(t)</math> непрерывна (кроме, быть может, точки <math>t = 0</math>) и <math>{f^*}(t)=\frac{1}{t^3}f(1/t) \geq 0</math> почти всюду на <math>t \geq 0</math> в силу выпуклости <math>f</math>, т.е. функция <math>f^*(t)</math> удовлетворяет условиям порождающей функции f-дивергенции. }} С учётом последнего свойства класс f-дивергенций можно было бы эквивалентным образом определить как <math>{D^*}_f(P\parallel Q)=\operatorname{E}_P f\left(\frac{dQ}{dP}\right)</math>. Подобное определение встречается, например, у Шаблон:Harvtxt. Таким образом, интерпретация распределения <math>Q</math> как истинного, которая следует из определения f-дивергенции, не является её фундаментальным свойством, а является лишь следствием соглашения о порядке следования аргументов в определении. Иными словами, аргументы <math>P</math> и <math>Q</math> концептуально равноправны.
Также стоит отметить, что f-дивергенция является безразмерной величиной независимо от размерности множества <math>\Omega</math>.
Связанные понятия
Кроме f-дивергенции, И. Чисар определил связанное с ней понятие f-энтропии (Шаблон:Harvtxt).
Ссылки
- Шаблон:Статья
- Шаблон:Статья
- Шаблон:Статья
- Шаблон:Статья
- Шаблон:Статья
- Шаблон:Статья
- Шаблон:Статья
- Шаблон:Статья
