Интеллектуальные информационные системы. Дубровин А.Д. - 140 стр.

UptoLike

Составители: 

175
остальных
синапсов
(n-
го
)
слоя
.
Поскольку
в
многослойных
ИНС
применяется
S-
образная
функция
активации
,
то
выходной
нейрон
аккредитуемого
синапса
может
быть
выведен
даже
на
участок
насыщения
или
нечувствительности
его
активационной
функции
к
приращению
аргумента
.
Алгоритм
Кохонена
имеет
несколько
модификаций
,
касающихся
метода
аккредитации
синапсов
.
Иногда
синапсы
,
слишком
часто
получающие
аккредитацию
,
принудительно
исключаются
из
дальнейших
итераций
,
чтобы
«
уравнять
права
»
всех
нейронов
слоя
.
Часто
(
в
простейшем
варианте
)
применяют
«
замораживание
»
выходного
нейрона
«
выигравшего
»
синапса
.
Существует
и
практика
нормализации
входных
образов
на
стадии
инициализации
сети
,
и
нормализации
(
на
ее
основе
)
начальных
значений
весовых
коэффициентов
синапсов
-
это
позволяет
сократить
время
процесса
самообучения
.
В
некоторых
случаях
прибегают
к
инициализации
весовых
коэффициентов
синапсов
случайными
значениями
.
Но
такой
метод
может
привести
к
серьезным
ошибкам
идентификации
-
различные
классы
,
которым
соответствуют
похожие
по
набору
свойств
образы
,
сольются
или
,
наоборот
близкие
образы
одного
класса
распадутся
на
подклассы
.
На
основе
алгоритма
Кохонена
строятся
нейронные
сети
особого
типа
так
называ
-
емые
самоорганизующиеся структуры,
в
которых
после
выбора
из
слоя
(n)
нейрона
с
минимальным
значением
разности
(6.2.7),
аккредитуется
не
только
этот
нейрон
,
но
и
его
«
соседи
»
по
слою
.
Зона
соседства
,
определяется
вначале
произвольно
,
но
(
по
мере
сходимости
итеративного
процесса
ее
уточнения
)
может
сильно
сузиться
.
Существуют
структуры
ИНС
,
сочетающие метод обучения с учителем и метод
самообучения
.
Их
теоретическое
обоснование
и
первые
практические
реализации
были
связаны
с
именами
Хопфилда
,
Хэмминга
,
Хинтона
и
Земела
.
В
таких
ИНС
сетях
значения
весовых
коэффициентов
синапсов
рассчитываются
только
однажды
-
перед
началом
функционирования
сети
на
основе
информации
об
обрабатываемых
данных
.
Все
обучение
сети
сводится
именно
к
анализу
и
систематизации
такого
рода
данных
.
С
одной
стороны
,
приготовление
и
аналитическую
обработку
таких
данных
можно
расценивать
,
как
помощь
учителя
,
а
с
другой
как
базу знаний сети
,
которая
может
оставаться
неизменной
в
течение
длительного
времени
.
Такие
сети
создаются
для
распознавания
концептуальных
образов
и
для
организации
вычислительных
систем
,
в
которых
такие
сети
играют
роль
ассоциативной
памяти
.
Структурная схема сети Хопфилда
приведена
на
рис
.6.2.3 .
Она
состоит
из
единственного
слоя
нейронов
,
которые
являются
одновременно
и
входом
,
и
выходом
сети
.
Каждый
нейрон
связан
синапсами
со
всеми
остальными
нейронами
,
а
также
имеет
один
входной
синапс
,
через
который
осуществляется
ввод
сигнала
.
Выходные
сигналы
,
как
обычно
,
образуются
на
аксонах
.
остальных синапсов (n-го) слоя. Поскольку в многослойных ИНС применяется S-образная
функция активации, то выходной нейрон аккредитуемого синапса может быть выведен
даже на участок насыщения или нечувствительности его активационной функции к
приращению аргумента.
     Алгоритм Кохонена имеет несколько модификаций, касающихся метода аккредитации
синапсов. Иногда синапсы, слишком часто получающие аккредитацию, принудительно
исключаются из дальнейших итераций, чтобы «уравнять права» всех нейронов слоя. Часто
(в простейшем варианте) применяют «замораживание» выходного нейрона «выигравшего»
синапса. Существует и практика нормализации входных образов на стадии инициализации
сети, и нормализации (на ее основе) начальных значений весовых коэффициентов синапсов
- это позволяет сократить время процесса самообучения. В некоторых случаях прибегают к
инициализации весовых коэффициентов синапсов случайными значениями. Но такой метод
может привести к серьезным ошибкам идентификации - различные классы, которым
соответствуют похожие по набору свойств образы, сольются или, наоборот – близкие
образы одного класса распадутся на подклассы.
     На основе алгоритма Кохонена строятся нейронные сети особого типа – так называ-
емые самоорганизующиеся структуры, в которых после выбора из слоя (n) нейрона с
минимальным значением разности (6.2.7), аккредитуется не только этот нейрон, но и его
«соседи» по слою. Зона соседства, определяется вначале произвольно, но (по мере
сходимости итеративного процесса ее уточнения) может сильно сузиться.

     Существуют структуры ИНС, сочетающие метод обучения с учителем и метод
самообучения. Их теоретическое обоснование и первые практические реализации были
связаны с именами Хопфилда, Хэмминга, Хинтона и Земела. В таких ИНС сетях значения
весовых коэффициентов синапсов рассчитываются только однажды - перед началом
функционирования сети на основе информации об обрабатываемых данных. Все обучение
сети сводится именно к анализу и систематизации такого рода данных. С одной стороны,
приготовление и аналитическую обработку таких данных можно расценивать, как помощь
учителя, а с другой – как базу знаний сети, которая может оставаться неизменной в
течение длительного времени. Такие сети создаются для распознавания концептуальных
образов и для организации вычислительных систем, в которых такие сети играют роль
ассоциативной памяти.

    Структурная схема сети Хопфилда приведена на рис.6.2.3 . Она состоит из
единственного слоя нейронов, которые являются одновременно и входом, и выходом сети.
Каждый нейрон связан синапсами со всеми остальными нейронами, а также имеет один
входной синапс, через который осуществляется ввод сигнала. Выходные сигналы, как
обычно, образуются на аксонах.




                                                                                    175