Составители:
Рубрика:
11
(T. Kohonen) из Хельсинского университета технологии – основопо"
ложника самоорганизующихся сетей. Усилиями этих и других уче"
ных в этот период застоя продолжалась разработка теоретических
основ нейрокомпьютинга.
Следующий шаг в развитии теории нейронных сетей произошел в
конце 70"х гг., когда В. Литтл (W. Little) выявил сходство между
нейронами Маккаллоха–Питтса и системами элементарных магнит"
ных моментов, называемых спинами. В таких системах спин s
i
в каж"
дом узле решетки может иметь только два различных направления:
вверх или вниз, обозначаемые, соответственно, как s
i
= +1 и s
i
= –1.
Аналогия с нейронной сетью следует из идентификации каждого спина
с нейроном и ассоциированием ориентации спина вверх s
i
= +1 с ак"
тивным состоянием нейрона n
i
= 1 и ориентации спина вниз s
i
= –1 с
состоянием покоя.
Эти идеи были развиты далее Д. Хопфилдом (D. Hopfield) [5], ко"
торый изучил, как подобные сети или спиновые системы могут запо"
минать и восстанавливать информацию. Модели В. Литтла и Д. Хоп"
филда различаются способом, по которому изменяется состояние си"
стемы. В модели В. Литтла все нейроны (спины) изменяются синх"
ронно в соответствии с законом (1), в то время как в модели Д. Хоп"
филда нейроны изменяются последовательно во времени (или в неко"
тором фиксированном порядке, или случайным образом). Последо"
вательное изменение имеет значительное преимущество при имита"
ции сети на традиционном цифровом компьютере, а также для теоре"
тического анализа свойств сети. Однако такой режим имеет суще"
ственный недостаток: в реальных нейронных сетях одновременно уча"
ствует большое число параллельных ячеек.
Аналогия со спиновыми системами становится особенно плодо"
творной благодаря прогрессу в понимании термодинамических
свойств неупорядоченных систем спинов (спиновых стекол), достиг"
нутому в последние годы. Для того чтобы применить эти результаты
к нейронным сетям, необходимо заменить детерминированный за"
кон эволюции (1.2) стохастическим законом, где величине n
i
(t + 1)
присваиваются значения в соответствии с вероятностной функцией,
зависящей от интенсивности входа h
i
. Эта функция содержит пара"
метр Т, который играет роль температуры. Однако Т здесь не являет"
ся моделью физической температуры биологической сети, но служит
формальной концепцией для введения элементов случайности в сеть
и применения методов статистической термодинамики.
Четвертый этап (середина 80"х гг.) – последний этап развития
ИНС, котороый получил название возрожденного энтузиазма. Это
Страницы
- « первая
- ‹ предыдущая
- …
- 9
- 10
- 11
- 12
- 13
- …
- следующая ›
- последняя »
