Методы искусственного интеллекта для машинного перевода текстов. Роганов В.Р - 41 стр.

    Продолжая разговор о нелинейности, можно отметить, что она иногда вво-
дится и в синаптические связи. Большинство известных на сегодняшний день
НС используют для нахождения взвешенной суммы входов нейрона формулу
(1), однако в некоторых приложениях ИНС полезно ввести другую запись, на-
пример:
                                n
                           s = ∑ xi2 ⋅ wi                               (9)
                               i =1

или даже
                     n
               s = ∑ xi ⋅ x ((i +1) mod n ) ⋅ wi                       (10)
                    i =1

    Вопрос в том, чтобы разработчик ИНС четко понимал, для чего он это де-
лает, какими ценными свойствами он тем самым дополнительно наделяет ней-
рон, и каких лишает. Введение такого рода нелинейности, вообще говоря, уве-
личивает вычислительную мощь сети, то есть позволяет из меньшего числа
нейронов с "нелинейными" синапсами сконструировать ИНС, выполняющую
работу обычной ИНС с большим числом стандартных нейронов и более слож-
ной конфигурации.
    Теперь рассмотрим один нюанс, преднамеренно опущенный ранее. Из ри-
сунка функции единичного скачка видно, что пороговое значение T, в общем
случае, может принимать произвольное значение. Более того, оно должно при-
нимать некое произвольное, неизвестное заранее значение, которое подбирает-
ся на стадии обучения вместе с весовыми коэффициентами. То же самое отно-
сится и к центральной точке сигмоидной зависимости, которая может сдвигать-
ся вправо или влево по оси X, а также и ко всем другим активационным функ-
циям. Это, однако, не отражено в формуле (1), которая должна была бы выгля-
деть так:
                                n
                           s = ∑ xi ⋅ wi − T                           (11)
                               i =1




                                                                         41