Интеллектуальные информационные системы. Дубровин А.Д. - 137 стр.

UptoLike

Составители: 

172
пологий
участок
S-
образной
кривой
).
Тогда
корректировки
весов
связей
не
дадут
желаемого
результата
,
обучение
будет
неэффективным
и
работа
сети
может
быть
парализована
.
Во
-
вторых
,
применение
метода
градиентного
спуска
не
всегда
гарантирует
обретения
глобального
минимума
целевой
функции
.
Эта
проблема
связана
с
трудностью
выбора
оптимальной
«
скорости
»
обучения
,
которая
определяется
числом
итераций
,
за
которое
будет
найдено
решение
,
минимизирующее
функцию
E(w).
Доказательство
того
,
что
обучение
ИНС
по
алгоритму
обратного
распространения
ошибки
есть
сходящийся
процесс
(
то
есть
завершающийся
приемлемым
результатом
),
основано
на
приращения
весов
межслойных
(
синаптических
)
связей
.
А
это
означает
,
что
скорость
обучения
не
может
быть
высокой
,
потому
что
сильные
приращения
весов
межслойных
связей
чреваты
опасностью
«
проглядеть
»
оптимальное
сочетание
(
настройку
)
этих
весов
.
Кроме
того
,
для
исключения
случайных
попаданий
в
локальные
минимумы
ошибок
δ
(N),
иногда
(
после
того
,
как
значения
весовых
коэффициентов
стабилизируются
),
приходится
резко
сбросить
уже
сделанную
корректировку
весов
межслойных
связей
,
чтобы
начать
градиентный
поиск
глобального
минимума
ошибки
с
новой
точки
.
Если
повторение
этой
процедуры
в
алгоритме
обучения
несколько
раз
приведет
систему
в
одно
и
то
же
состояние
,
можно
с
определенной
вероятностью
считать
,
что
найден
глобальный
минимум
ошибки
δ
(N),
соответствующий
оптимальному
сочетанию
весов
межслойных
(
синаптических
)
связей
.
Существует
и
иной
путь
исключения
опасности
принять
локальный
минимум
ошибки
распознавания
образа
за
ее
глобальный
минимум
.
Он
заключается
в
создании
алгоритмов
обучения
ИНС
с
применением
вероятностных (стохастических) методов
поиска
,
но
теория
таких
систем
пребывает
в
начальном
состоянии
,
не
позволяющем
говорить
об
их
практической
реализации
.
Рассмотренный
алгоритм
обучения
ИНС
с
помощью
процедуры
обратного
распространения
ошибки
подразумевает
наличие
некоего
внешнего
звена
,
предоставляющего
на
вход
сети
кроме
объектов
,
которые
необходимо
распознать
(
отнести
к
определенному
образу
или
классу
),
еще
и
«
надежные
»
примеры
таких
объектов
.
Эти
примеры
должны
с
высокой
степенью
надежности
соответствовать
признакам
образа
,
подлежащего
распознаванию
.
Алгоритмы
,
основанные
на
подобной
концепции
,
называются
алгоритмами обучения с учителем
.
Для
их
успешного
функционирования
необходимо
наличие
экспертов
,
создающих
для
каждого
распознаваемого
образа
эталонный
набор
объектов
,
по
своим
признакам
идеально
соответствующих
понятию
этого
образа
.
Так
как
создание
искусственного
интеллекта
движется
по
пути
копирования
природных
прообразов
,
ученые
не
прекращают
спор
на
тему
:
можно
ли
считать
алгоритмы
обучения
с
учителем
натуральными
или
же
они
полностью
искусственны
?
Например
,
обучение
человеческого
мозга
,
на
первый
взгляд
,
происходит
без
учителя
.
На
зрительные
,
слуховые
,
тактильные
и
прочие
рецепторы
поступает
информация
извне
,
и
внутри
нервной
системы
происходит
некая
самоорганизация
.
Однако
,
нельзя
отрицать
и
того
,
что
в
жизни
человека
немало
учителей
и
в
буквальном
,
и
в
переносном
смысле
, –
которые
координируют
его
поведение
.
Однако
,
чем
бы
ни
закончился
спор
приверженцев
этих
двух
концепций
обучения
, -
они
должны
признаваться
равноправными
.
Рассмотрим
методы
и
алгоритмы
,
обеспечивающие
работу
ИНС
в режиме
самообучения или
,
как
его
часто
называют
,
в режиме
«
обучение без учителя»
).
Главная
особенность
самообучения
,
делающая
обучение
без
учителя
привлекательным
, –
это
его
«
самостоятельность
».
Процесс
самообучения
,
как
и
в
случае
обучения
с
учителем
,
тоже
предполагает
«
подстраивание
»
весов
межслойных
связей
.
Некоторые
алгоритмы
самообучения
требуют
изменения
структуры
ИНС
.
Но
эти
изменения
не
существенны
для
общего
представления
о
принципе
работы
ИНС
«
без
учителя
».
Очевидно
,
что
настройка
весов
межслойных
связей
может
проводиться
только
на
пологий участок S-образной кривой). Тогда корректировки весов связей не дадут
желаемого результата, обучение будет неэффективным и работа сети может быть
парализована.
      Во-вторых, применение метода градиентного спуска не всегда гарантирует обретения
глобального минимума целевой функции. Эта проблема связана с трудностью выбора
оптимальной «скорости» обучения, которая определяется числом итераций, за которое
будет найдено решение, минимизирующее функцию E(w).
    Доказательство того, что обучение ИНС по алгоритму обратного распространения
ошибки есть сходящийся процесс (то есть завершающийся приемлемым результатом),
основано на приращения весов межслойных (синаптических) связей. А это означает, что
скорость обучения не может быть высокой, потому что сильные приращения весов
межслойных связей чреваты опасностью «проглядеть» оптимальное сочетание (настройку)
этих весов. Кроме того, для исключения случайных попаданий в локальные минимумы
ошибок δ(N), иногда (после того, как значения весовых коэффициентов стабилизируются),
приходится резко сбросить уже сделанную корректировку весов межслойных связей,
чтобы начать градиентный поиск глобального минимума ошибки с новой точки. Если
повторение этой процедуры в алгоритме обучения несколько раз приведет систему в одно и
то же состояние, можно с определенной вероятностью считать, что найден глобальный
минимум ошибки δ(N), соответствующий оптимальному сочетанию весов межслойных
(синаптических) связей.
    Существует и иной путь исключения опасности принять локальный минимум ошибки
распознавания образа за ее глобальный минимум. Он заключается в создании алгоритмов
обучения ИНС с применением вероятностных (стохастических) методов поиска, но
теория таких систем пребывает в начальном состоянии, не позволяющем говорить об их
практической реализации.
    Рассмотренный алгоритм обучения ИНС с помощью процедуры обратного
распространения ошибки подразумевает наличие некоего внешнего звена,
предоставляющего на вход сети кроме объектов, которые необходимо распознать (отнести
к определенному образу или классу), еще и «надежные» примеры таких объектов. Эти
примеры должны с высокой степенью надежности соответствовать признакам образа,
подлежащего распознаванию. Алгоритмы, основанные на подобной концепции, называются
алгоритмами обучения с учителем. Для их успешного функционирования необходимо
наличие экспертов, создающих для каждого распознаваемого образа эталонный набор
объектов, по своим признакам идеально соответствующих понятию этого образа.
    Так как создание искусственного интеллекта движется по пути копирования
природных прообразов, ученые не прекращают спор на тему: можно ли считать алгоритмы
обучения с учителем натуральными или же они полностью искусственны? Например,
обучение человеческого мозга, на первый взгляд, происходит без учителя. На зрительные,
слуховые, тактильные и прочие рецепторы поступает информация извне, и внутри нервной
системы происходит некая самоорганизация. Однако, нельзя отрицать и того, что в жизни
человека немало учителей – и в буквальном, и в переносном смысле, – которые
координируют его поведение. Однако, чем бы ни закончился спор приверженцев этих двух
концепций обучения, - они должны признаваться равноправными.

    Рассмотрим методы и алгоритмы, обеспечивающие работу ИНС в режиме
самообучения или, как его часто называют, в режиме «обучение без учителя»).
    Главная особенность самообучения, делающая обучение без учителя
привлекательным, – это его «самостоятельность». Процесс самообучения, как и в случае
обучения с учителем, тоже предполагает «подстраивание» весов межслойных связей.
    Некоторые алгоритмы самообучения требуют изменения структуры ИНС. Но эти
изменения не существенны для общего представления о принципе работы ИНС «без
учителя». Очевидно, что настройка весов межслойных связей может проводиться только на

                                                                                   172