Русская Википедия:Регуляризация (математика)

Содержание

Текст

Текст

Текст

Текст

Текст

Текст

Текст

Текст

Текст

Шаблон:Значения Регуляризация в статистике, машинном обучении, теории обратных задач — метод добавления некоторых дополнительных ограничений к условию с целью решить некорректно поставленную задачу или предотвратить переобучение. Эта информация часто имеет вид штрафа за сложность модели. Например, это могут быть ограничения гладкости результирующей функции или ограничения по норме векторного пространства.

С байесовской точки зрения многие методы регуляризации соответствуют добавлению некоторых априорных распределений на параметры модели.

Некоторые виды регуляризации:

• Шаблон:Не переведено 2, или регуляризация через манхэттенское расстояние:

  <math>L_1 = \sum_i{(y_i - y(t_i))}^2 + \lambda \sum_i {|a_i|}</math>.

• <math>L_2</math>- регуляризация, или регуляризация Тихонова (в англоязычной литературе — Шаблон:Lang-en2 или Tikhonov regularization), для интегральных уравнений позволяет балансировать между соответствием данным и маленькой нормой решения:

  <math>L_2 = \sum_i{(y_i - y(t_i))}^2 + \lambda \sum_i {a_i}^2</math>.

Переобучение в большинстве случаев проявляется в том, что в получающихся многочленах слишком большие коэффициенты. Соответственно, необходимо добавить в целевую функцию штраф за слишком большие коэффициенты.

Нет решения относительно многокритериальной оптимизации или оптимизации, в которой область значения целевой функции есть пространство, на котором нет линейного порядка, или его затруднительно ввести. Почти всегда найдутся точки в области определения функции которую оптимизируют и которые удовлетворяют ограничениям, но значения в точках не сравнимые между собой. Чтобы найти все точки на кривой Парето, используют скаляризациюШаблон:Sfn. В оптимизации регуляризация — это общий метод скаляризации для задачи двухкритериальной оптимизацииШаблон:Sfn. Варьируя параметр лямбда — элемент, который должен быть больше нуля в дуальном конусе относительно которого определён порядок — можно получить разные точки на кривой Парето.

Литература

• Шаблон:Публикация