Нейросетевые технологии. Каширина И.Л. - 13 стр.

                                                2 n +1         n
                     F ( x1 , x2 ,..., xn ) =   ∑        g i ( ∑ hij ( x j )) ,
                                                 i =1         j =1
где gi и hij — непрерывные функции, причем hij не зависят от функции F.
     Эта теорема означает, что для реализации функций многих перемен-
ных достаточно операций суммирования и композиции функций одной пе-
ременной. К сожалению, при всей своей математической красоте, теорема
Колмогорова малоприменима на практике. Это связано с тем, что функции
hij — негладкие и трудно вычислимые; также неясно, каким образом мож-
но подбирать функции gj для данной функции F. Роль этой теоремы состо-
ит в том, что она показала принципиальную возможность реализации
сколь угодно сложных зависимостей с помощью относительно простых ав-
томатов типа нейронных сетей. Более значимые для практики результаты в
этом направлении появились только в начале 90-х годов, зато одновремен-
но у нескольких авторов (в том числе у российского математика А.Н. Гор-
баня [3]). Вкратце, суть этих результатов можно сформулировать следую-
щим образом.
      Пусть F(x1, x2, ..., xn) — любая непрерывная функция, определенная
на замкнутом ограниченном множестве, и ε > 0 — любое сколь угодно
малое число, означающее точность аппроксимации.
      Теорема. Существуют такое число m, набор чисел wij, и набор чисел vi,
что функция
                                                 m             n
                     f ( x1 , x2 ,..., xn ) = ∑ viσ ( ∑ x j ⋅ w ji )
                                                i =1          j =0
приближает данную функцию F(x1, x2, ..., xn) с погрешностью не более ε на
всей области определения.
      Через σ здесь обозначена любая непрерывная нелинейная функция
одной переменной (например, сигмоидальная).
      Легко заметить, что эта формула полностью совпадает с выражени-
ем, полученным для функции, реализуемой нейросетью. В терминах тео-
рии нейросетей эта теорема формулируется так.
      Любую непрерывную функцию нескольких переменных можно с
любой точностью реализовать с помощью двухслойной нейросети с
достаточным количеством нейронов и нелинейной активационной
функцией в скрытом слое.

                             § 3. ПЕРСЕПТРОН
    Одной из первых искусственных сетей, способных к перцепции (вос-
приятию) и формированию реакции на воспринятый стимул, явился
PERCEPTRON Розенблатта (F. Rosenblatt, 1957). Персептроном, как
правило, называют однослойную нейронную сеть, при этом каждый пер-
                                            13