Нейросетевые модели для систем информационной безопасности. Брюхомицкий Ю.А. - 131 стр.

UptoLike

ВУЗ: 

ТТИ ЮФУ | Таганрог

Составители: 

Рубрика: 

131
Эта оценка справедлива при условии применения специального
кодирования, при котором количество компонент со значениями +1 равно
количеству компонент со значениями –1 в каждом биполярном векторе.
Емкость памяти в этом случае оказывается максимальной. Такую оценку можно
считать наиболее оптимистичной.
Данные другой работы, посвященной оценке емкости сетей Хопфилда,
расширенные Ф. Уоссерменом для ДАП, приводят к
гораздо более
пессимистической оценке. Для случайно выбранных L векторов,
представленных в указанной выше форме,
nnL
2
log2/
<
. Например, при
п=1024, L < 51. При условии гарантированного восстановления оценка еще
хуже:
nnL
2
log4/< , что для того же примера дает L < 25.
Хейнс и Хехт-Нильсен приводят описание так называемой негомогенной
ДАП, в которой в отличие от классической гомогенной ДАП пороги нейронов
вместо нулевых подбираются строго индивидуально. Ими показано, что такая
ДАП может иметь до 2
n
стабильных состояний. К сожалению, эти состояния не
могут быть выбраны случайно, и определяются жесткой геометрической
процедурой. Если выбор L состояний осуществляется случайным образом,
причем L меньше
,)4/(log68,0
2
2
2
+nn
и если каждый вектор имеет 4log
2
+n
компонент, равных +1, и остальные, равные –1, то можно сконструировать
негомогенную ДАП, имеющую 98% этих векторов в качестве стабильных
состояний. Например, если п = 1024, L должно быть меньше 3637, что является
существенным улучшением по сравнению с гомогенными ДАП, но намного
меньше 2
1024
возможных состояний.
Непрерывная асинхронная ДАП. В описанной выше ДАП нейроны в
слоях 1 и 2 функционировали синхронно, т.е. изменяли состояния
одновременно под воздействием тактирующих импульсов. Кроме того, в
качестве активационной функции нейронов использовался простой порог,
образующий разрывность передаточной функции нейронов. Синхронность
функционирования и разрывность передаточных функций делают ДАП
биологически неправдоподобной.
Более
близка к биологическому прототипу непрерывная асинхронная ДАП
[16], в которой любой нейрон может изменять состояние в любое время, когда
его входные сигналы предписывают это сделать, а в качестве активационной
функции нейронов используется гладкая сигмоидальная функция (обычно с
величиной λ близкой к 1). Непрерывные асинхронные ДАП также являются
стабильными, однако имеют те же
ограничения на емкость памяти. Они могут
быть реализованы в виде аналоговых схем из резисторов и усилителей, а также
с помощью оптических средств.
Адаптивная ДАП. В версиях ДАП, рассмотренных выше, весовая матрица
вычисляется в виде суммы произведений пар векторов. Этот способ также
отдаляет эти версии ДАП от нейронных сетей живого мозга
. Адаптивная ДАП
[16] изменяет свои веса в процессе функционирования. Это означает, что

Страницы