Нейросетевые структуры и технологии. Часть 1. Электрические и математические модели нейронов. НС прямого распространения. Клюкин В.И - 54 стр.

UptoLike

ВУЗ: 

ВГУ | Воронеж

Составители: 

Рубрика: 

54
Основная трудность алгоритмов самоорганизации – выбор коэффи-
циента обучения h. При h = const он должен быть очень малым, что, гаран-
тируя сходимость алгоритма, непомерно увеличивает время обучения. Из
адаптивных методов подбора h наиболее известен алгоритм Даркена–
Муди, согласно которому
()
0
η
η ,
1
t
t
T
=
+
(4.18)
где T – постоянная времени, индивидуальная для каждой задачи. Несмотря
на то, что адаптивные методы выбора h более прогрессивны по сравнению
с h = const, они также не могут считаться наилучшим решением, особенно
при моделировании динамических процессов.
После фиксации положения
i
c
r
производится подбор значений s
i
та-
ким образом, чтобы области охвата всех RBF накрывали все пространство
входных данных, лишь незначительно перекрываясь друг с другом. Проще
всего в качестве s
i
выбрать эвклидово расстояние между
i
c
r
и его ближай-
шим соседом
c
r
, то есть
2
σ
iij
cc
=-
rr
, но можно учитывать и более ши-
рокое соседство с помощью
2
1
1
,
p
iij
j
cc
p
s
=
=-
å
rr
(4.19)
где обычно pÎ[3,5]. Заметим, что существуют и другие алгоритмы обуче-
ния НС–RBF (вероятностный, гибридный, на основе ОРО), однако ни один
из них не гарантирует 100 %-й оптимальности результата.
Поскольку RBF–НС используются для решения тех же задач (класси-
фикация, аппроксимация, прогнозирование), что и сигмоидальные НС, основ-
ной проблемой их корректного построения является оптимальный выбор ко-
личества скрытых нейронов, то есть числа RBF. Как правило, величина К за-
висит от многих факторов, прежде всего от размерности
x
r
, объема обучаю-
щих данных p и разброса
ii
dx
Û
r
r
, то есть пространственной структуры ап-
проксимируемой функции. Для подбора К используют:
1) эвристические методы, использующие алгоритмы увеличения
или уменьшения числа RBF по оценке динамики изменения
(
)
Ew
r
;
2) метод ортогонализации Грэма–Шмидта, когда при начальной
фиксации К = р количество скрытых нейронов постепенно уменьшается
путем выделения оптимального числа RBF, дающих наибольший вклад в
энергетическую функцию
(
)
Ew
r
, то есть путем определения необходимой
размерности
w
r
, гарантирующей наилучшие результаты обучения. 
      Основная трудность алгоритмов самоорганизации – выбор коэффи-
циента обучения �. При � = const он должен быть очень малым, что, гаран-
тируя сходимость алгоритма, непомерно увеличивает время обучения. Из
адаптивных методов подбора � наиболее известен алгоритм Даркена–
Муди, согласно которому
                                          η0
                               η�t � �          ,                  (4.18)
                                            t
                                         1�
                                            T
где T – постоянная времени, индивидуальная для каждой задачи. Несмотря
на то, что адаптивные методы выбора � более прогрессивны по сравнению
с � = const, они также не могут считаться наилучшим решением, особенно
при моделировании динамических процессов.
                                   �
       После фиксации положения ci производится подбор значений �i та-
ким образом, чтобы области охвата всех RBF накрывали все пространство
входных данных, лишь незначительно перекрываясь друг с другом. Проще
                                                         �
всего в качестве �i выбрать эвклидово расстояние между ci и его ближай-
               �                � � 2
шим соседом c j , то есть σi � ci � c j , но можно учитывать и более ши-
рокое соседство с помощью
                                   1 p � � 2
                            �i �    � ci � c j ,
                                   p j �1
                                                                   (4.19)

где обычно p�[3,5]. Заметим, что существуют и другие алгоритмы обуче-
ния НС–RBF (вероятностный, гибридный, на основе ОРО), однако ни один
из них не гарантирует 100 %-й оптимальности результата.
      Поскольку RBF–НС используются для решения тех же задач (класси-
фикация, аппроксимация, прогнозирование), что и сигмоидальные НС, основ-
ной проблемой их корректного построения является оптимальный выбор ко-
личества скрытых нейронов, то есть числа RBF. Как правило, величина К за-
                                                        �
висит от многих факторов, �прежде всего от размерности x , объема обучаю-
                                �
щих данных p и разброса di � xi , то есть пространственной структуры ап-
проксимируемой функции. Для подбора К используют:
      1) эвристические методы, использующие алгоритмы увеличения
                                                              �
или уменьшения числа RBF по оценке динамики изменения E � w � ;
      2) метод ортогонализации Грэма–Шмидта, когда при начальной
фиксации К = р количество скрытых нейронов постепенно уменьшается
путем выделения оптимального числа RBF, дающих наибольший вклад в
                              �
энергетическую функцию E � w � , то есть путем определения необходимой
              �
размерности w , гарантирующей наилучшие результаты обучения.
                                          54

Страницы