Интеллектуальный анализ данных в менеджменте. Кричевский М.Л. - 37 стр.

UptoLike

ВУЗ: 

СПб ГУАП | Санкт-Петербург

Составители: 

Рубрика: 

37
Наклон сигмоидной функции может быть изменен с помощью вве"
денного параметра b. Вид сигмоидной функции в этом случае показан
на рис. 1.8.
Альтернативные функции стоимости. Квадратичная функция сто"
имости (1.6) является не единственно возможной. Выражение (t
k
p
– y
k
p
)
может быть заменено любой другой дифференцируемой функцией
f (t
k
p
, y
k
p
), которая достигает минимума при равных аргументах. Диф"
ференцирование такой функции показывает, что изменяется только
величина d
k
p
для весов между выходным и скрытым слоями; осталь"
ные выражения метода ОРО остаются неизменными.
Возможная альтернативная функция стоимости приведена в [8] и
имеет следующий вид:
2
2
,
( ) , если ,
(), если ,
pp
kk
pp
pk
kk
ty signtsigny
E
ty signt signy
1
2 34
5
4
6
343
5
7
8
с параметром g, изменяющимся от 0 до 1. Такое выражение вначале
устанавливает правильным знак t, а затем обращает внимание на
величину расхождения между t и y.
Число нейронов в скрытом слое. Обычно число нейронов в скры"
том слое заранее неизвестно, и для выбора количества скрытых ней"
ронов используют метод проб и ошибок. Возможный подход при вы"
боре скрытых нейронов заключается в том, что на первом этапе число
таких нейронов берется заведомо большим, чем требуется, а затем,
по мере обучения сети, излишние нейроны убираются. Все нейроны,
которые не вносят вклад в решение или дают информацию, не требу"
ющуюся в последующем слое, рассматриваются как лишние и удаля"
ются из скрытого слоя. Для того чтобы найти те нейроны, которые
можно исключить, выходы всех скрытых ячеек запоминаются и ана"
лизируются по всем обучающим примерам после того, как сеть дос"
тигла сходимости. На практике считается, что сеть достигла сходи"
мости, если разность между требуемым и действительным выходами
не превышает 0,1. В случае, если выход некоторой скрытой ячейки
остается примерно постоянным для всех обучающих примеров, этот
нейрон может быть удален из сети, так как он не вносит существен"
ного вклада в решение и действует как дополнительное смещение.
Аналогичным образом, если два скрытых нейрона дают приблизи"
тельно одинаковый выход для всех обучающих примеров, то только
один из них действительно необходим, так как оба нейрона перено"
сят одинаковую информацию. После удаления тех ячеек, которые не
дают вклада в решение, значения веса уменьшенной сети должны

Страницы