Русская Википедия:Сигмоида
Сигмо́ида (также сигмо́ид) — это гладкая монотонная возрастающая нелинейная функция, имеющая форму буквы «S», которая часто применяется для «сглаживания» значений некоторой величины.
Часто под сигмоидой понимают логистическую функцию
- <math>\sigma(x) = \frac{1}{1 + e^{-x}}</math>.
Сигмоида ограничена двумя горизонтальными асимптотами, к которым стремится при стремлении аргумента к <math>\plusmn\infty</math>. В зависимости от соглашения, этими асимптотами могут быть Шаблон:Math = ±1 (в <math>\plusmn\infty</math>) либо Шаблон:Math = 0 в <math>-\infty</math> и Шаблон:Math = +1 в <math>+\infty</math>.
Производная сигмоиды представляет собой колоколообразную кривую с максимумом в нуле, асимптотически стремящуюся к нулю в <math>+\infty</math>.
Семейство функций класса сигмоид
В семейство функций класса сигмоид входят такие функции, как арктангенс, гиперболический тангенс и другие функции подобного вида.
- <math>f(x)= \frac{1}{1+e^{-2 \alpha x}}, \quad \alpha > 0</math>.
- Рациональная сигмоида:
- <math>f(x)= \frac{x}{|x|+ \alpha}, \quad \alpha > 0</math>.
- <math>f(x)= \operatorname{arctg} x</math>.
- <math>f(x)= \operatorname{th} \frac{x}{\alpha} = \frac{ e^{ \frac{x}{\alpha} } - e^{ - \frac{x}{\alpha}} }
{e^{ \frac{x}{\alpha} } + e^{ - \frac{x}{\alpha}}} </math>.
- Гладкая ступенька N-го порядка:
- <math> f(x) = \begin{cases}
\left(\int_{0}^{1} \big(1 - u^2 \big)^N \ du \right)^{-1} \int_{0}^{x} \big(1 - u^2 \big)^N \ du \quad & |x| \le 1 \\ \sgn(x) & |x| \ge 1 \\ \end{cases} \, \quad N \ge 1 </math>.
- Корневая сигмоида:
- <math> f(x) = \frac{x}{\sqrt{1+x^2}} </math>.
- <math> f(x) = (1+e^{-x})^{-1} </math>.
- <math> f(x) = (1+e^{-x})^{-\alpha}, \quad \alpha > 0 </math>.
- <math> f(x) = \operatorname{erf}(x) = \frac{2}{\sqrt{\pi}}\int_0^x e^{-t^2} \, dt </math>.
- <math> f(x) = \operatorname{gd} x = \int_{0}^{x} \frac{1}{\cosh t} \, dt = \operatorname{arctg}(\operatorname{sh} x)</math>.
Применение
Нейронные сети
Сигмоиды применяются в нейронных сетях в качестве функций активации. Они позволяют нейронам как усиливать слабые сигналы, так и не насыщаться от сильных сигналов[1].
В нейронных сетях часто используются сигмоиды, производные которых могут быть выражены через саму функцию. Это позволяет существенно сократить вычислительную сложность метода обратного распространения ошибки, сделав его применимым на практике:
- <math>\sigma'(x) = (1 + \sigma(x)) \cdot (1 - \sigma(x))</math> — для гиперболического тангенса;
- <math>\sigma'(x) = \sigma(x) \cdot (1 - \sigma(x))</math> — для логистической функции.
Логистическая регрессия
Логистическая функция <math>f(x) = \frac{1}{1 + e^{-x}}</math> используется в решении задач классификации с использованием логистической регрессии. Пусть решается задача классификации с двумя классами (<math>y=0</math> и <math>y=1</math>, где <math>y</math> — переменная, указывающая класс объекта). Делается предположение о том, что вероятность принадлежности объекта к одному из классов выражается через значения признаков этого объекта <math>x_1, x_2, ..., x_n</math> (действительные числа):
- <math>\mathbb{P}\{y=1\mid x_1,\ldots,x_n\} = f(a_1 x_1 + \ldots + a_n x_n) = \frac{1}{1 + \exp(-a_1 x_1 - \ldots - a_n x_n)}</math>,
где <math>a_1, ..., a_n</math> — некоторые коэффициенты, требующие подбора, обычно, методом наибольшего правдоподобия.
Именно такая функция <math>f(x)</math> получается при использовании обобщённой линейной модели и предположения, что зависимая переменная <math>y</math> распределена по закону Бернулли.
См. также
Литература
Примечания
Ссылки
Шаблон:Rq Шаблон:Машинное обучение
.svg){kind=link}