Русская Википедия:Радиально-базисная функция
Радиальная базисная функция (РБФ) — функция из набора однотипных радиальных функций, используемых как функция активации в одном слое искусственной нейронной сети или как-либо ещё, в зависимости от контекста. Шаблон:Iw — это любая вещественная функция, значение которой зависит только от расстояния до начала координат <math>\phi\left(\mathbf{x}\right) = \phi\left(\left\|\mathbf{x}\right\|\right)</math> или от расстояния между некоторой другой точкой <math>\mathbf{c}</math>, называемой центром: <math>\phi\left(\mathbf{x}, \mathbf{c}\right) = \phi\left(\left\|\mathbf{x}-\mathbf{c}\right\|\right)</math>. В качестве нормы обычно выступает евклидово расстояние, хотя можно использовать и другие метрики.
Линейные комбинации радиальных базисных функций также можно использовать для аппроксимации заданной функции. Аппроксимация может быть интерпретирована как простейшая разновидность нейронной сети; именно в этом контексте радиальные базисные функции были впервые определены в работе Дэвида Брумхэда и Дэвид Лоу в 1988 году[1][2], основанной на фундаментальной работе Майкла Пауэлла 1977 года[3][4][5].
Радиальные базисные функции также используются в качестве ядра в методе опорных векторов.[6]
Виды
Часто используемые радиально-базисные функций включают в себя (<math>r = \left\|\mathbf{x} - \mathbf{x}_i\right\|</math>):
- Функция Гаусса:
- <math>\phi\left(r\right) = e^{-\left(\varepsilon r\right)^2}</math>
- Мультиквадратичная:
- <math>\phi\left(r\right) = \sqrt{1 + \left(\varepsilon r\right)^2} </math>
- Обратная квадратичная:
- <math>{\displaystyle \phi \left(r\right)={\dfrac {1}{1+\left(\varepsilon r\right)^{2}}}}
</math>
- Обратная мультиквадратичная:
- <math>\phi\left(r\right) = \dfrac{1}{\sqrt{1 + \left(\varepsilon r\right)^2}} </math>
- Полигармонический сплайн:
- <math>\begin{aligned}
\phi\left(r\right) &= r^k,& k&=1,3,5,\dotsc \\ \phi\left(r\right) &= r^k \ln\left(r\right),& k&=2,4,6,\dotsc \end{aligned}</math>
- Тонкий сплайн пластины (специальный полигармонический сплайн):
- <math>\phi\left(r\right) = r^{2} \ln\left(r\right)</math>
Приближение
Для аппроксимации функций с помощью радиальных базисных функций обычно берётся их линейная комбинация вида:
- <math>y\left(\mathbf{x}\right) = \sum_{i=1}^{N} w_{i} \, \phi\left(\left\|\mathbf{x} - \mathbf{x}_i\right\|\right)</math>,
где в качестве аппроксимирующей функции <math>y\left(\mathbf{x}\right)</math> берётся сумма <math>N</math> радиальных базисных функций с центрами в точках <math>\mathbf{x}_{i}</math> и коэффициентами <math>w_{i}</math>. Коэффициенты можно вычислить с помощью метода наименьших квадратов, поскольку аппроксимирующая функция является линейной по отношению к коэффициентам <math>w_{i}</math>.
Аппроксимационные схемы такого рода особенно полезныШаблон:Нет АИ в прогнозировании временных рядов, управлении нелинейных систем, демонстрирующих достаточно простое хаотическое поведение, и 3D-моделировании в компьютерной графике.
Нейронные сети на основе РБФ
Шаблон:Основная статья Линейная комбинация:
- <math>y\left(\mathbf{x}\right) = \sum_{i=1}^{N} w_{i} \, \phi\left(\left\|\mathbf{x} - \mathbf{x}_i\right\|\right)</math>
также может быть интерпретирована как простейшая искусственная нейронная сеть с одним слоем, называемая сетью радиально-базисных функций, в которой радиальная базисная функция исполняет роль функции активации. Можно показать, что любая непрерывная функция на компактном интервале в принципе может быть интерполирована с произвольной точностью при достаточно большом <math>N</math>.
Аппроксимации <math>y\left(\mathbf{x}\right)</math> является дифференцируемой по <math>w_{i}</math>. Коэффициенты можно вычислить при помощи любого стандартного итерационного метода для нейронных сетей.
Таким образом, радиальные базисные функции предоставляют собой гибкий инструмент интерполирования при условии, что множество центров более-менее равномерно покрывает область определения искомой функции (в идеале центры должны быть равноудалены от ближайших соседей). Тем не менее, как правило в промежуточных точках аппроксимация достигает высокой точности только если множество радиальных базисных функций дополнено полиномом, ортогональным к каждой из РБФ.
Примечания
Литература
- Шаблон:Статья
- Шаблон:Citation.
- Шаблон:Статья
- Шаблон:Статья
- Шаблон:Citation
- Sirayanone, С., 1988, сравнительные исследования кригинга, мультиквадриков-бигармонический, и других методов решения проблемы минеральных ресурсов, кандидат технических наук. Диссертация, МЭИ. наук о Земле, Университет штата Айова, Эймс, Айова.
- Шаблон:Статья
- ↑ Radial Basis Function networks Шаблон:Webarchive
- ↑ Шаблон:Harvard citation no brackets
- ↑ Шаблон:Статья
- ↑ Шаблон:Cite thesis
- ↑ Шаблон:Harvard citation no brackets: «We would like to thank Professor M.J.D. Powell at the Department of Applied Mathematics and Theoretical Physics at Cambridge University for providing the initial stimulus for this work.»
- ↑ Шаблон:Cite web
