Русская Википедия:Эпсилон-энтропия
Эпсилон-энтропия или ε-энтропия — термин, введённый А. Н. Колмогоровым для характеристики классов функций. Он определяет меру сложности функции, минимальное количество знаков, необходимое для задания функции с точностью <math>\varepsilon</math>. Шаблон:Викисловарь
Введение в понятие
Рассмотрим компактное метрическое пространство <math>M</math> и зададим в нём эпсилон-сеть, то есть такое конечное (состоящее из <math>N(\varepsilon)</math> точек) множество, что шары радиуса <math>\varepsilon</math> с центрами в этих точках целиком покрывают всё <math>M</math>. Тогда для задания любого элемента <math>M</math> с точностью <math>\varepsilon</math> (то есть, по сути, выбора одного из узлов сети) достаточно порядка <math>\log_2 N(\varepsilon)</math> знаков (бит).
Для отрезка <math>M=[0,\;1]</math> величина <math>N</math> растёт при уменьшении <math>\varepsilon</math> как <math>1/\varepsilon</math>, для квадрата как <math>1/{\varepsilon^2}</math> и т. д. Тем самым показатель определяет размерность Минковского множества <math>M</math>.
В случае пространства <math>M</math> гладких функций (на компактном кубе в <math>n</math>-мерном пространстве и с ограниченными константой производными до порядка <math>p</math>, чтобы это пространство было компактным) размерность пространства бесконечна, но число <math>N(\varepsilon)</math> элементов сети конечно, хотя оно и растёт быстрее любой (отрицательной) степени величины <math>\varepsilon</math>.
Колмогоров доказал, что логарифм числа <math>N(\varepsilon)</math> точек минимальной <math>\varepsilon</math>-сети растёт в этом случае как <math>(1/\varepsilon)^{n/p}</math>.
Применение
Введение понятия эпсилон-энтропии позволило понять и решить 13-ю проблему Гильберта.
Если бы функции <math>k</math> переменных, участвующие в суперпозиции, имели гладкость <math>p</math>, то с их помощью можно было бы получить для представляемых функций сеть, логарифм числа точек которой был бы порядка <math>(1/\varepsilon)^{k/p}</math>. Если это число меньше минимально возможного для функций <math>n</math> переменных гладкости <math>p</math>, то, значит, предполагавшееся представление суперпозициями функций столь большой гладкости невозможно.
Потом Колмогоров показал, что если отказаться от гладкости и допускать к участию в суперпозиции все непрерывные функции, то любая непрерывная функция от <math>n</math> переменных представляется суперпозицией непрерывных функций от всего трёх переменных, а после этого его студент, В. И. Арнольд представил их и суперпозициями непрерывных функций двух переменных. В итоге теорема Колмогорова содержала единственную функцию двух переменных — сумму, а все остальные непрерывные функции, из которых составляется представляющая все непрерывные функции от <math>n</math> переменных суперпозиция, зависят каждая лишь от одной переменной.
Шаблон:Math-stub Шаблон:Нет иллюстрации Шаблон:Нет ссылок
