Интеллектуальный анализ данных в менеджменте. Кричевский М.Л. - 39 стр.

UptoLike

ВУЗ: 

СПб ГУАП | Санкт-Петербург

Составители: 

Рубрика: 

39
1. Метод Левенберга–Маркара можно применять только для се"
тей с одним выходным нейроном.
2. Метод требует памяти, пропорциональной квадрату числа ве"
сов в сети, поэтому его нельзя использовать для сетей большого раз"
мера (порядка 1000 и более весов).
Этот метод предполагает, что функция, моделируемая ИНС, яв"
ляется линейной. В таком предположении минимум определяется за
один шаг вычислений. Затем найденный минимум проверяется, и если
ошибка уменьшилась, весам присваиваются новые значения. Вся
процедура повторяется.
Алгоритм Левенберга–Маркара разработан так, чтобы миними"
зировать функцию ошибок с помощью формулы, которая предпола"
гает, что моделируемая сетью функция является линейной. Вблизи
точки минимума это предположение выполняется с большой точнос"
тью, так что алгоритм может продвигаться очень быстро. Вдали от
минимума это предположение может быть неправильным. Поэтому
метод Левенберга–Маркара находит компромисс между линейной
моделью и градиентным спуском. Шаг делается только в том случае,
если он уменьшает ошибку.
Итерации в этом методе проводятся по следующей формуле:
1
(),
TT
wZZIZ123456
где l – управляющий параметр; I – единичная матрица; e – вектор
ошибок на всех наблюдениях; Z – матрица частных производных от
этих ошибок по весам, равная
()
n
ni
i
Z
w
12
3
1
.
Метод быстрого распространения. Этот метод является разно"
видностью метода ОРО. В методе быстрого распространения (БР) про"
изводится пакетная обработка данных. В методе ОРО веса сети кор"
ректируются после обработки каждого очередного наблюдения; здесь
же вычисляется усредненный градиент поверхности ошибок по все"
му обучающему множеству, и веса корректируются один раз в конце
каждой эпохи.
Метод БР действует в предположении, что поверхность ошибок
является квадратичной. Если это так, то точка минимума на ней на"
ходится через одну"две эпохи. В общем случае такое предположение
неверно, но даже если оно выполняется лишь приблизительно, алго"
ритм все равно быстро сходится к минимуму.
При этом допущении алгоритм БР работает так:

Страницы