Интеллектуальные информационные системы. Дубровин А.Д. - 136 стр.

                                                       1
                                 f ( x ) = −0.5 +              .
                                                    1 + e −d
(6.2.3)
     Важным параметром ИНС является ее емкость, определяемая числом образов,
предъявляемых на ее входы, которые она должна научиться распознавать. Для сетей, с
числом слоев больше двух, этот вопрос остается открытым. Для ИНС с двумя слоями, то
есть - с выходным слоем и одним скрытым слоем, детерминистская емкость сети Cd
оценивается неравенством:

                         Nw/NyNy;
       - должно соблюдаться условие Nw/Ny>1000.
    Такая оценка была получена для сетей с активационными функциями нейронов в виде
пороговой зависимости. Для сетей с гладкими активационными функциями, например –
(6.1.4), следует ожидать некоторого увеличения емкости сети. Понятие «детерминистская
емкость» означает, что оценка этой характеристики подходит абсолютно для всех
возможных входных образов, которые могут быть представлены Nx входами.
     В действительности, многообразию входных образов, свойственна некоторая
регулярностью. Это позволяет конструкторам ИНС проводить обобщение образов и, таким
образом, увеличивать реальную емкость сети. Но распределение образов по категориям,
допускающее их обобщение, заранее почти всегда бывает неизвестным. А это означает, что
о реальной емкости сети можно судить только предположительно. Однако, если
предположения оказываются реальными, то реальная емкость сети почти вдвое превышает
детерминистскую.
      В продолжение рассуждений о параметрах ИНС логично затронуть вопрос и о
требуемой мощности выходного слоя сети, выполняющего окончательную классификацию
образов. Дело в том, что для разделения множества входных образов, например, по двум
классам достаточно всего одного выхода. При этом каждый логический уровень – «1» и «0»
– будет обозначать отдельный класс. На двух выходах можно закодировать уже 2⋅2 = 4
класса и так далее.
     Однако результаты работы сети, организованной таким образом, можно считать
критическими – они очень не надежны. Для повышения достоверности идентификации
образов желательно иметь запас мощности. Это можно сделать путем выделения каждому
классу образов одного нейрона в выходном слое. Еще лучше, если таких «специальных»
нейронов будет несколько, тогда каждый из них будет обучаться определять
принадлежность образа к классу со своей степенью достоверности, например: высокой,
средней и низкой.
      Такие ИНС смогут осуществлять распознавание или классификацию входных образов,
объединенных в нечеткие (размытые или пересекающиеся) множества. Это свойство
расширяет прикладные возможности ИНС.
       Метод обучения ИНС с использованием алгоритма обратного распространения
ошибки, имеет несколько недостатков.
       Во-первых, в процессе обучения может возникнуть ситуация, когда большие
положительные или отрицательные значения весовых коэффициентов сместят рабочую
точку функций активации многих нейронов с крутого участка в область насыщения (на

                                                                                      171