Методы искусственного интеллекта для машинного перевода текстов. Роганов В.Р - 51 стр.

кающиеся) множества. Это свойство приближает подобные НС к условиям ре-
альной жизни.
    Рассматриваемая НС имеет несколько "узких мест". Во-первых, в процессе
обучения может возникнуть ситуация, когда большие положительные или от-
рицательные значения весовых коэффициентов сместят рабочую точку на сиг-
моидах многих нейронов в область насыщения. Малые величины производной
от логистической функции приведут в соответствие с (21) и (22) к остановке
обучения, что парализует НС. Во-вторых, применение метода градиентного
спуска не гарантирует, что будет найден глобальный, а не локальный минимум
целевой функции. Эта проблема связана еще с одной, а именно – с выбором ве-
личины скорости обучения. Доказательство сходимости обучения в процессе
обратного распространения основано на производных, то есть приращения ве-
сов и, следовательно, скорость обучения должны быть бесконечно малыми, од-
нако в этом случае обучение будет происходить неприемлемо медленно. С дру-
гой стороны, слишком большие коррекции весов могут привести к постоянной
неустойчивости процесса обучения. Поэтому в качестве η обычно выбирается
число меньше 1, но не очень маленькое, например, 0.1, и оно, вообще говоря,
может постепенно уменьшаться в процессе обучения. Кроме того, для исклю-
чения случайных попаданий в локальные минимумы иногда, после того как
значения весовых коэффициентов застабилизируются, η кратковременно силь-
но увеличивают, чтобы начать градиентный спуск из новой точки. Если повто-
рение этой процедуры несколько раз приведет алгоритм в одно и то же состоя-
ние НС, можно более или менее уверенно сказать, что найден глобальный мак-
симум, а не какой-то другой.




                   2.3 Нейронные сети. Обучение без учителя


    Алгоритм обучения нейронной сети с помощью процедуры обратного рас-
пространения ошибки подразумевает наличие некоего внешнего звена, предос-

                                                                         51