Русская Википедия:Многопеременная логистическая функция

Содержание

Текст

Текст

Текст

Текст

Текст

Текст

Текст

Текст

Текст

Многопеременная логистическая функция (в программировании также используется Шаблон:Lang-en) — это обобщение логистической функции для многомерного случая. Функция преобразует вектор <math>z</math> размерности <math>K</math> в вектор <math>\sigma</math> той же размерности, где каждая координата <math>\sigma_i</math> полученного вектора представлена вещественным числом в интервале [0,1] и сумма координат равна 1.

Координаты <math>\sigma_i</math> вычисляются следующим образом:

<math>\sigma(z)_i = \frac{e^{z_i}}{\displaystyle\sum_{k \mathop =1}^K e^{z_k}}</math>

Применение в машинном обучении

Многопеременная логистическая функция применяется в машинном обучении для задач классификации, когда количество возможных классов больше двух (для двух классов используется логистическая функция). Координаты <math>\sigma_i</math> полученного вектора при этом трактуются как вероятности того, что объект принадлежит к классу <math>i</math>. Вектор-столбец <math>z</math> при этом рассчитывается следующим образом:

<math>z=w^T x - \theta</math>

где <math>x</math> — вектор-столбец признаков объекта размерности <math>M\times 1</math>; <math>w^T</math> — транспонированная матрица весовых коэффициентов признаков, имеющая размерность <math>K\times M</math>; <math>\theta</math> — вектор-столбец с пороговыми значениями размерности <math>K\times 1</math> (см. перцептрон), где <math>K</math>— количество классов объектов, а <math>M</math> — количество признаков объектов.

Часто Softmax используется для последнего слоя глубоких нейронных сетей для задач классификации. Для обучения нейронной сети при этом в качестве функции потерь используется перекрёстная энтропия.