Методы искусственного интеллекта для машинного перевода текстов. Роганов В.Р - 55 стр.

UptoLike

ВУЗ: 

ПГУ | Пенза

Составители: 

Рубрика: 

55
ются из рассмотрения, чтобы "уравнять права" всех нейронов слоя. Простей-
ший вариант такого алгоритма заключается в торможении только что выиграв-
шего нейрона.
При использовании обучения по алгоритму Кохонена существует практика
нормализации входных образов, а так же – на стадии инициализации – и норма-
лизации начальных значений весовых коэффициентов.
xx x
ii j
j
n
=
=
−
∑
/
2
0
1
, (35)
где x
i
– i-ая компонента вектора входного образа или вектора весовых коэф-
фициентов,
n – его размерность. Это позволяет сократить длительность процесса обуче-
ния.
Инициализация весовых коэффициентов случайными значениями может
привести к тому, что различные классы, которым соответствуют плотно рас-
пределенные входные образы, сольются или, наоборот, раздробятся на допол-
нительные подклассы в случае близких
образов одного и того же класса. Для
избежания такой ситуации используется метод выпуклой комбинации. Суть его
сводится к тому, что входные нормализованные образы подвергаются преобра-
зованию:
xtx t
n
ii
=⋅+− ⋅
αα
() ( ())1
1
, (36)
где x
i
— i-ая компонента входного образа,
n — общее число его компонент,
α
(t) — коэффициент, изменяющийся в процессе обучения от нуля до еди-
ницы, в результате чего вначале на входы сети подаются практически одинако-
вые образы, а с течением времени они все больше сходятся к исходным.
Весовые коэффициенты устанавливаются на шаге инициализации равными
величине
w
n
o
=
1
, (37)
где n — размерность вектора весов для нейронов инициализируемого слоя. 
ются из рассмотрения, чтобы "уравнять права" всех нейронов слоя. Простей-
ший вариант такого алгоритма заключается в торможении только что выиграв-
шего нейрона.
       При использовании обучения по алгоритму Кохонена существует практика
нормализации входных образов, а так же – на стадии инициализации – и норма-
лизации начальных значений весовых коэффициентов.
                                                   n −1
                                  xi = xi /        ∑x
                                                   j=0
                                                          2
                                                          j   ,           (35)

где     xi – i-ая компонента вектора входного образа или вектора весовых коэф-
фициентов,
 n – его размерность. Это позволяет сократить длительность процесса обуче-
ния.
       Инициализация весовых коэффициентов случайными значениями может
привести к тому, что различные классы, которым соответствуют плотно рас-
пределенные входные образы, сольются или, наоборот, раздробятся на допол-
нительные подклассы в случае близких образов одного и того же класса. Для
избежания такой ситуации используется метод выпуклой комбинации. Суть его
сводится к тому, что входные нормализованные образы подвергаются преобра-
зованию:
                                                                  1
                              xi = α (t ) ⋅ xi + (1 − α (t )) ⋅      ,    (36)
                                                                   n

где     xi — i-ая компонента входного образа,
       n — общее число его компонент,
       α(t) — коэффициент, изменяющийся в процессе обучения от нуля до еди-
ницы, в результате чего вначале на входы сети подаются практически одинако-
вые образы, а с течением времени они все больше сходятся к исходным.
       Весовые коэффициенты устанавливаются на шаге инициализации равными
величине
                                          1
                                  wo =         ,                          (37)
                                           n

где n — размерность вектора весов для нейронов инициализируемого слоя.
                                                                            55

Страницы