Искусственные нейронные сети. Сивохин А.В - 53 стр.

   Во всех этих случаях сеть минимизировала ошибку на некотором
ограниченном обучающем множестве, а не на множестве реальных
входных сигналов при работе модели. Попытки усложнить модель и
снизить ошибку на заданном обучающем множестве могут привести
к обратному эффекту, когда для реальных данных ошибка становится
ещё больше. Эта ситуация называется явлением переобучения ней-
ронной сети.
   Для того чтобы выявить эффект переобучения нейронной сети,
используется механизм контрольной проверки. С этой целью часть
обучающих наблюдений резервируется как контрольные наблюдения
и не используется при обучении сети. По мере обучения контроль-
ные наблюдения применяются для независимого контроля результа-
та. Если на некотором этапе ошибка на контрольном множестве пе-
рестала убывать, обучение следует прекратить даже в том случае,
когда ошибка на обучающем множестве продолжает уменьшаться,
чтобы избежать явления переобучения. В этом случае следует
уменьшить количество нейронов или слоёв, так как сеть является
слишком мощной для решения данной задачи. Если же, наоборот,
сеть имеет недостаточную мощность, чтобы воспроизвести зависи-
мость, то явление переобучения скорее всего наблюдаться не будет и
обе ошибки – обучения и контроля – не достигнут требуемого уровня.
   Таким образом, для отыскания глобального минимума ошибки
приходится экспериментировать с большим числом сетей различной
конфигурации, обучая каждую из них несколько раз и сравнивая по-
лученные результаты. Главным критерием выбора в этих случаях
является контрольная погрешность. При этом применяется правило,
согласно которому из двух нейронных сетей с приблизительно рав-
ными контрольными погрешностями следует выбирать ту, которая
проще.
   Необходимость многократных экспериментов ведёт к тому, что
контрольное множество начинает играть ключевую роль в выборе
нейронной сети, т. е. участвует в процессе обучения. Тем самым его
роль как независимого критерия качества модели ослабляется, по-
скольку при большом числе экспериментов возникает риск переобу-
чения нейронной сети на контрольном множестве. Для того, чтобы
гарантировать надёжность выбираемой модели сети, резервируют


                               53