ВУЗ:
Составители:
77
8. Нейронные сети обратного распространения ошибки
(многослойный перцептрон)
Ограниченные возможности однослойных перцептронов, с одной стороны,
и отсутствие теоретически обоснованных алгоритмов обучения многослойных
перцептронов, с другой – были одной из причин долгого охлаждения к ИНС.
Сети обратного распространения ошибки (ОРО, error backpropagation) по
существу открыли новую страницу в теории многослойных ИНС и, главное,
получили широкое практическое распространение и коммерческое
использование. Название сети
обусловлено алгоритмом обучения, в котором
ошибка распространяется от выходного слоя к входному, т.е. в направлении,
противоположном направлению распространения сигналов при нормальном
функционировании сети. По существу в ИНС ОРО была эффективно решена
задача обучения многослойных сетей (многослойных перцептронов). По этой
причине в литературе по ИНС сеть ОРО относят также к
многослойным
перцептронам.
В то же время, для многослойных перцептронов было
предложено также множество других алгоритмов обучения, отличных от ОРО,
поэтому термин многослойная ИНС (многослойный перцептрон) существенно
шире, чем термин ИНС ОРО.
Структура искусственного нейрона. Математическая модель ИН в сети
ОРО отличается от других использованием сигмоидальной активационной
функцией:
,
1
1
)]([)(.3
,)()(.2
),()(.1
)(
1
0
0
1
0
i
tay
ii
ii
N
j
ijji
e
tyFtz
QtVty
txwtV
−
+
=
+
==
−=
=
∑
(8.1)
Использование сигмоидальной активационной функции обусловлено тем,
что эта функция непрерывна и дифференцируема во всем диапазоне изменения
аргумента и имеет очень простое выражение для производной
)]},([1)]{([)]([
iii
tyFtyaFtyF
−
=
′
которое непосредственно используется в алгоритме обучения сети ОРО.
Структура сети. Сеть ОРО состоит из нескольких слоев, причем каждый
нейрон данного слоя связан с каждым нейроном последующего слоя. Т.е. сеть
ОРО относится к нейронным сетям с последовательными связями. Как и другие
многослойные сети, она имеет входной (нулевой) слой, выполняющий функцию
распределения входных сигналов, один или несколько промежуточных
Страницы
- « первая
- ‹ предыдущая
- …
- 75
- 76
- 77
- 78
- 79
- …
- следующая ›
- последняя »
