Методы искусственного интеллекта для машинного перевода текстов. Роганов В.Р - 45 стр.

    На втором шаге на разных итерациях поочередно в случайном порядке
предъявляются все возможные входные вектора.




     2.2 Нейронные сети. Алгоритм обратного распространения ошибки


    Среди различных структур нейронных сетей (НС) одной из наиболее из-
вестных является многослойная структура, в которой каждый нейрон произ-
вольного слоя связан со всеми аксонами нейронов предыдущего слоя или, в
случае первого слоя, со всеми входами НС. Такие НС называются полносвяз-
ными. Когда в сети только один слой, алгоритм ее обучения с учителем доволь-
но очевиден, так как правильные выходные состояния нейронов единственного
слоя заведомо известны, и подстройка синаптических связей идет в направле-
нии, минимизирующем ошибку на выходе сети. По этому принципу строится,
например, алгоритм обучения однослойного перцептрона. В многослойных же
сетях оптимальные выходные значения нейронов всех слоев, кроме последнего,
как правило, не известны, и двух или более слойный перцептрон уже невоз-
можно обучить, руководствуясь только величинами ошибок на выходах НС.
Один из вариантов решения этой проблемы – разработка наборов выходных
сигналов, соответствующих входным, для каждого слоя НС, что, конечно, явля-
ется очень трудоемкой операцией и не всегда осуществимо. Второй вариант –
динамическая подстройка весовых коэффициентов синапсов, в ходе которой
выбираются, как правило, наиболее слабые связи и изменяются на малую вели-
чину в ту или иную сторону, а сохраняются только те изменения, которые по-
влекли уменьшение ошибки на выходе всей сети. Очевидно, что данный метод
"тыка", несмотря на свою кажущуюся простоту, требует громоздких рутинных
вычислений. И, наконец, третий, более приемлемый вариант – распространение
сигналов ошибки от выходов НС к ее входам, в направлении, обратном прямо-
му распространению сигналов в обычном режиме работы. Этот алгоритм обу-



                                                                          45