Русская Википедия:Теорема Цыбенко

Содержание

Текст

Текст

Текст

Текст

Текст

Текст

Текст

Текст

Текст

Теорема Цыбенко, Универсальная теорема аппроксимации — теорема, доказанная Джорджем Цыбенко в 1989 году, которая утверждает, что искусственная нейронная сеть прямой связи (Шаблон:Lang-en; в которых связи не образуют циклов) с одним скрытым слоем может аппроксимировать любую непрерывную функцию многих переменных с любой точностью. Условиями являются: достаточное количество нейронов скрытого слоя, удачный подбор <math>\mathbf{w}_1, \mathbf{w}_2, \dots, \mathbf{w}_N, \mathbf{\alpha},</math> и <math>\mathbf{\theta}</math>, где

<math>\mathbf{w}_i</math> — веса между входными нейронами и нейронами скрытого слоя,

<math>\mathbf{\alpha}</math> — веса между связями от нейронов скрытого слоя и выходным нейроном,

<math>\mathbf{\theta}</math> — смещения для нейронов входного слоя.

Формальное изложение

Пусть <math>\varphi</math> любая непрерывная сигмоидная функция, например, <math>\varphi(\xi) = 1/(1 + e^{-\xi})</math>. Тогда, если дана любая непрерывная функция действительных переменных <math>f</math> на <math>[0, 1]^n</math> (или любое другое компактное подмножество <math>\mathbb{R}^n</math>) и <math>\varepsilon > 0</math>, то существуют векторы <math>\mathbf{w_1}, \mathbf{w_2}, \dots, \mathbf{w_N}, \mathbf{\alpha}</math> и <math>\mathbf{\theta}</math> и параметризованная функция <math>G(\mathbf{\cdot}, \mathbf{w}, \mathbf{\alpha}, \mathbf{\theta}): [0, 1]^n \to R</math> такая, что для всех <math>\mathbf{x} \in [0,1]^n</math> выполняется

<math>\big|G(\mathbf{x}, \mathbf{w}, \mathbf{\alpha}, \mathbf{\theta}) - f(\mathbf{x})\big| < \varepsilon,</math>

где

<math>G(\mathbf{x}, \mathbf{w}, \mathbf{\alpha}, \mathbf{\theta}) = \sum_{i=1}^N \alpha_i \varphi(\mathbf{w}_i^T \mathbf{x} + \theta_i),</math>

и <math>\mathbf{w}_i \in \mathbb{R}^n,</math> <math>\alpha_i, \theta_i \in \mathbb{R},</math> <math>\mathbf{w} = (\mathbf{w}_1, \mathbf{w}_2, \dots, \mathbf{w}_N),</math> <math>\mathbf{\alpha} = (\alpha_1, \alpha_2, \dots, \alpha_N),</math> и <math>\mathbf{\theta} = (\theta_1, \theta_2, \dots, \theta_N).</math>

Ссылка

• Шаблон:Статья
• Шаблон:Книга

См. также

• Теорема Колмогорова — Арнольда
• Теорема сходимости перцептрона
• Перцептрон
• Победитель получает всё