Нейросетевые структуры и технологии. Часть 1. Электрические и математические модели нейронов. НС прямого распространения. Клюкин В.И - 22 стр.

      Следствием этой конкуренции становится самоорганизация процесса
обучения, ибо уточнение весов происходит таким образом, что для каждой
                                         �
группы близких по значениям обучающих x ( k ) побеждает свой нейрон, кото-
                                                             �
рый при функционировании распознает именно эту категорию x . Серьезной
проблемой при обучении WTA остается проблема «мертвых» нейронов, кото-
рые после инициализации ни разу не победили в конкурентной борьбе, ибо их
наличие уменьшает число прошедших обучение нейронов, соответственно
увеличивая общую погрешность распознавания данных. Для решения пробле-
мы используют модифицированное обучение, основанное на штрафовании
(временной дисквалификации) наиболее активных нейронов.
2.7. Стохастическая модель нейрона
       В отличие от детерминированных моделей (2.1)…(2.6), в стохасти-
ческой модели выходное состояние нейрона зависит не только от взвешен-
ной суммы ui, но и от некоторой случайной переменной, выбираемой при
каждой реализации из интервала (0,1). Это означает, что yi структуры ФН
(рис. 2.1) принимает значения ±1 с вероятностью

                      P( yi � �1) � �� 1 � exp � �2βui ���
                                                                       �1
                                                                            ,   (2.22)

где ui определяется (2.4), а � > 0 (чаще всего � = 1).
       Процесс обучения нейрона стохастической модели состоит из сле-
дующих этапов:
       1) расчет ui (2.4) для каждого нейрона сети;
       2) расчет вероятности P(yi = �1) по формуле (2.22);
       3) генерация значения случайной переменной R � (0,1) и формиро-
вание выходных сигналов yi, если P(yi) > R, или –yi , если P(yi) < R;
       4) адаптация весовых коэффициентов wij (при фиксированных yi) по
используемым правилам, например, при обучении с учителем – по правилу
Видроу–Хоффа

                              �wij � ηx j � di � yi � .                         (2.23)

Доказано, что такой подбор wij минимизирует целевую функцию

                                   1 p n
                                     ��
                                                                      2
                        E ( w) �               �� di( k ) � yi( k ) �� ,        (2.24)
                                   2 k �1 i �1

где n – число нейронов, р – количество обучающих выборок.




                                                  22