Лекции по теории информации. Фурсов В.А. - 144 стр.

UptoLike

Составители:

Рубрика:

144

Лекция 4. Меры неопределенности дискретных множеств ............................ 36

4.1 Вероятностное описание дискретных ансамблей и источников ................. 36

4.2 Энтропия, как мера неопределенности выбора............................................ 37

4.3 Свойства энтропии......................................................................................... 38

4.4 Условная энтропия и её свойства.................................................................. 40

Лекция 5. Меры неопределенности непрерывных случайных величин....... 44

5.1 Понятие дифференциальной энтропии......................................................... 44

5.2 Понятие дифференциальной условной энтропии ........................................ 45

5.3 Свойства дифференциальной энтропии........................................................ 47

5.4 Распределения, обладающие максимальной дифференциальной

энтропией........................................................................................................ 48

Лекция 6. Количество информации как мера снятой неопределенности..... 50

6.1 Количество информации при передаче отдельного элемента

дискретного сообщения ................................................................................. 50

6.2 Свойства частного количества информации ................................................ 51

6.3 Среднее количество информации в любом элементе

дискретного сообщения ................................................................................. 51

6.4 Свойства среднего количества информации в элементе сообщения .......... 51

6.5 Количество информации при передаче сообщений

от непрерывного источника........................................................................... 53

6.6 Эпсилон-энтропия случайной величины ...................................................... 54

6.7 Избыточность сообщений.............................................................................. 56

Лекция 7. Оценка информационных характеристик

источников сообщений................................................................................ 57

7.1 Понятие эргодического источника сообщений ............................................ 57

7.2 Теорема о свойствах эргодических последовательностей знаков............... 58

7.3 Производительность источника дискретных сообщений ............................ 60

7.4 Эпсилон-производительность источника непрерывных сообщений .......... 61