Интеллектуальные информационные системы. Макаренко С.И. - 148 стр.

UptoLike

ВУЗ: 

МГГУ им. Шолохова | Москва

Составители: 

Рубрика: 

147
-
-
-
-
-
+
+
+
+
+
+
+
+
-
-
-
w
w’
w’
w
w w-h
→
w w+h
→
Рисунок 15.7 – Интерпретация обучения НС как итерационного изменение
положения разделяющей гиперплоскости при обнаружении примеров
неправильной классификации
Применяемые в настоящее время алгоритмы обучения можно
интерпретировать как методы оптимизации. Для того их построения
вводится функция оценивания (cost function), характеризующая величину
невязки между реальным (y) и желаемым (t) выходами сети (персептрона):
2 2
1 1
1 1
( ) ( ) ( )
2 2
L L
l l l l
l l
E W y t Wx t
L L
= =
= − = −
∑ ∑
,
и используется тот или иной метод поиска ее минимума.
Обычно применяется метод градиентного спуска, при котором
изменение весов связей можно записать в виде
ij
ij
E
w
w
η
∂
∆ = −
.
При выборе функции оценивания в квадратичной форме она
соответствует некоторому параболоиду в многомерном пространстве весов
связей. Но, хотя такая поверхность имеет единственный минимум, он как
правило расположен на дне длинного «оврага». При этом обучение
становится неприемлемо медленным, а вблизи дна оврага возникают
осцилляции (рисунок 15.8). Приходится вводить специальные меры для
ускорения процесса сходимости (например, метод моментов) - рисунок 15.9. 
                                  w → w-h                            w → w+h

                      +
                              + w’        w                           +    w
                                              +                                +
                              +           +
                                                             -                 w’
                                          -                      -
                                  -   -
                                                                           +
                          -               -
                                                                       -




 Рисунок 15.7 – Интерпретация обучения НС как итерационного изменение
   положения разделяющей гиперплоскости при обнаружении примеров
                      неправильной классификации

    Применяемые в настоящее время алгоритмы обучения можно
интерпретировать как методы оптимизации. Для того их построения
вводится функция оценивания (cost function), характеризующая величину
невязки между реальным (y) и желаемым (t) выходами сети (персептрона):
                1 L l l 2 1 L
    E (W ) =       ∑
               2 L l =1
                        (y −t ) =     ∑
                                  2 L l =1
                                           (Wxl − t l )2 ,

и используется тот или иной метод поиска ее минимума.
    Обычно применяется метод градиентного спуска,                                   при   котором
изменение весов связей можно записать в виде
                ∂E
    ∆wij = −η         .
                ∂ wij
    При выборе функции оценивания в квадратичной форме она
соответствует некоторому параболоиду в многомерном пространстве весов
связей. Но, хотя такая поверхность имеет единственный минимум, он как
правило расположен на дне длинного «оврага». При этом обучение
становится неприемлемо медленным, а вблизи дна оврага возникают
осцилляции (рисунок 15.8). Приходится вводить специальные меры для
ускорения процесса сходимости (например, метод моментов) - рисунок 15.9.




                                                      147

Страницы