Искусственные нейронные сети. Каширина И.Л. - 12 стр.

                                                12
внутренних параметров — весов нейронов. Выпишем точный вид этой функции:
                                         m        n                             1
                F ( x1 , x2 ,..., xn ) =∑ viσ ( ∑ x j ⋅ w ji ) , где σ ( s) =         .
                                        i =1    j =0                         1 +e −as
В 1957 г.            математик А. Н. Колмогоров доказал следующую теорему.
     Теорема Колмогорова. Любая непрерывная функция от n переменных
F(x1, x2, ..., xn) может быть представлена в виде
                                                 2 n +1     n
                          F ( x1 , x2 ,..., xn ) = ∑ g i ( ∑ hij ( x j )) ,
                                                  i =1     j =1
где gi и hij — непрерывные функции, причем hij не зависят от функции F.
    Эта теорема означает, что для реализации функций многих переменных дос-
таточно операций суммирования и композиции функций одной переменной. К
сожалению, при всей своей математической красоте, теорема Колмогорова мало-
применима на практике. Это связано с тем, что функции hij — негладкие и трудно
вычислимые; также неясно, каким образом можно подбирать функции gj для дан-
ной функции F. Роль этой теоремы состоит в том, что она показала принципиаль-
ную возможность реализации сколь угодно сложных зависимостей с помощью
относительно простых автоматов типа нейронных сетей. Более значимые для
практики результаты в этом направлении были открыты только в 1989 г., зато од-
новременно несколькими авторами.
    Пусть F(x1, x2, ..., xn) — любая непрерывная функция, определенная на огра-
ниченном множестве, и ε > 0 — любое сколь угодно малое число, означающее
точность аппроксимации. Через σ обозначена сигмоидальная функцию.
     Теорема. Существуют такое число m, набор чисел wij, и набор чисел vi, что
функция
                                                  m          n
                           f ( x1, x2 ,..., xn ) =∑ viσ ( ∑ x j ⋅ w ji )
                                                  i =1      j =0
приближает данную функцию F(x1, x2, ..., xn) с погрешностью не более ε на всей
области определения.
      Легко заметить, что эта формула полностью совпадает с выражением, полу-
ченным для функции, реализуемой нейросетью. В терминах теории нейросетей
эта теорема формулируется так.
      Любую непрерывную функцию нескольких переменных можно с любой
точностью реализовать с помощью двухслойной нейросети с достаточным
количеством нейронов в скрытом слое.

                                 § 3. ПЕРСЕПТРОН
     Одной из первых искусственных сетей, способных к перцепции (воспри-
 ятию) и формированию реакции на воспринятый стимул, явился PERCEPTRON
 Розенблатта (F.Rosenblatt, 1957). Персептроном, как правило, называют одно-
 слойную нейронную сеть, при этом каждый персептронный нейрон в качестве
 активационной функции использует функцию единичного скачка (пороговую).