Нейросетевые структуры и технологии. Часть 1. Электрические и математические модели нейронов. НС прямого распространения. Клюкин В.И - 53 стр.

UptoLike

ВУЗ: 

ВГУ | Воронеж

Составители: 

Рубрика: 

53
Поскольку значения w
i
можно определить решением матрично-векторного
уравнения типа (4.12), то главной проблемой обучения остается выбор
i
c
r
и
s
i
, особенно центров RBF
i
c
r
. Одним из простейших (хотя и не самых эф-
фективных) методов является случайный выбор
i
c
r
на основе равномерного
распределения при σ
2
d
K
= , где d – максимальное расстояние между
i
c
r
.
Очевидно, что ширина радиальных функций пропорциональна максималь-
ному разбросу центров и уменьшается с ростом их количества.
Среди специализированных методов выбора центров RBF прежде всего
следует выделить алгоритмы самоорганизации, когда множество входных обу-
чающих данных разделяется на кластеры, которые в дальнейшем представля-
ются центральными точками, определяющими усредненные значения всех их
элементов. Эти точки в дальнейшем выбираются в качестве центров соответ-
ствующих радиальных функций, то есть количество RBF равно количеству
кластеров. Для разделения данных на кластеры чаще всего используют алго-
ритм К-усреднений Линде–Бузо–Грея в прямом («online») или накопительном
(«offline») варианте. При этом начальные положения центров
i
c
r
выбираются
случайным образом на основе равномерного распределения, а затем произво-
дится их уточнение либо после предъявления каждого очередного
x
(online),
либо после предъявления всех элементов обучающего множества (offline). Ес-
ли обучающие данные представляют непрерывную функцию, начальные зна-
чения
i
c
r
в первую очередь размещают в точках экстремумов (максимумов и
минимумов) функции, а оставшиеся центры распределяют равномерно среди
незадействованных элементов обучающего множества.
В прямой версии («online») после подачи каждого обучающего век-
тора
k
x
r
выбирается ближайший к
k
x
r
центр
i
c
r
и подвергается уточнению в
соответствии с алгоритмом WTA
(
)
(
)
(
)
1
η ,
iiki
ctctxct
éù
+=+-
êú
ëû
rrrr
(4.16)
где
h
<< 1 – коэффициент обучения, уменьшающийся с ростом t, а осталь-
ные центры не изменяются. Все обучающие
k
x
r
предъявляются случайным
образом по несколько раз, вплоть до стабилизации положения
i
c
r
. В режи-
ме «offline» уточнение положения всех
i
c
r
происходит параллельно после
подачи всех обучающих векторов
k
x
r
согласно
( ) ()
1
1
1,
i
N
ij
j
i
ctxt
N
=
+=
å
rr
(4.17)
где N
i
– количество
k
x
r
, приписанных к
i
c
r
в цикле t. На практике чаще при-
меняется прямой алгоритм, имеющий несколько лучшую сходимость. 
Поскольку значения wi можно определить решением матрично-векторного
                                                                       �
уравнения типа (4.12), то главной проблемой обучения остается выбор ci и
                             �
�i, особенно центров RBF ci . Одним из простейших (хотя и не самых эф-
                                                  �
фективных) методов является случайный выбор ci на основе равномерного
                           d                                             �
распределения при σ �          , где d – максимальное расстояние между ci .
                           2K
Очевидно, что ширина радиальных функций пропорциональна максималь-
ному разбросу центров и уменьшается с ростом их количества.
        Среди специализированных методов выбора центров RBF прежде всего
следует выделить алгоритмы самоорганизации, когда множество входных обу-
чающих данных разделяется на кластеры, которые в дальнейшем представля-
ются центральными точками, определяющими усредненные значения всех их
элементов. Эти точки в дальнейшем выбираются в качестве центров соответ-
ствующих радиальных функций, то есть количество RBF равно количеству
кластеров. Для разделения данных на кластеры чаще всего используют алго-
ритм К-усреднений Линде–Бузо–Грея в прямом («online») или накопительном
                                                             �
(«offline») варианте. При этом начальные положения центров ci выбираются
случайным образом на основе равномерного распределения, а затем произво-
                                                                 �
дится их уточнение либо после предъявления каждого очередного x (online),
либо после предъявления всех элементов обучающего множества (offline). Ес-
ли обучающие данные представляют непрерывную функцию, начальные зна-
         �
чения ci в первую очередь размещают в точках экстремумов (максимумов и
минимумов) функции, а оставшиеся центры распределяют равномерно среди
незадействованных элементов обучающего множества.
        В прямой версии («online») после подачи каждого обучающего век-
       �                             �        �
тора xk выбирается ближайший к xk центр ci и подвергается уточнению в
соответствии с алгоритмом WTA
                      �             �               � �
                      ci � t � 1� � ci � t � � η �� xk � ci � t ��� ,   (4.16)

где � << 1 – коэффициент обучения, уменьшающийся с ростом t, а осталь-
                                           �
ные центры не изменяются. Все обучающие xk предъявляются случайным
                                                           �
образом по несколько раз, вплоть до стабилизации положения ci . В режи-
                                       �
ме «offline» уточнение положения всех ci происходит параллельно после
                                 �
подачи всех обучающих векторов xk согласно

                            �            1 Ni �
                            ci � t � 1� � � x j � t �,              (4.17)
                                         N i j �1
                    �                        �
где Ni – количество xk , приписанных к ci в цикле t. На практике чаще при-
меняется прямой алгоритм, имеющий несколько лучшую сходимость.
                                                53

Страницы