Теория передачи сигналов. Женко Л.А. - 10 стр.

UptoLike

Составители:

Рубрика:

других сообщений равны нулю.

3. Энтропия максимальна, если сообщения источника равновероятны.

log

max

∑

=−=

(3.2)

4. В случае равновероятных сообщений энтропия возрастает с увеличением

числа сообщений.

5. Энтропия источника бинарных (двоичных) сообщений изменяется от нуля

до единицы в зависимости от вероятности сообщений и имеет максимум при

5,0)1()0( == PP

. В этом случае мера Шеннона совпадает с мерой Хартли. Источник с

энтропией в 1 бит полностью согласован с каналом, например, реле, имеющим

информационную емкость в 1 бит. При неравновероятности сообщений канал будет

недогружен. Зависимость энтропии от вероятности для бинарного источника

иногда называют функцией Шеннона (рис. 3.)

Рис. 3

Порядок выполнения работы.

Задать нормальный процесс. Для этого достаточно выбрать из таблицы функции

Крампа (табл. 2) несколько значений Ф(х) при различных значениях x.

Считая значения Ф(х)= Р(0), определить по таблице 3 приложения энтропию

источника, количество переносимой символами 1 и 0 информации и построить по

полученным значениям Ф(х) функцию Шеннона.

Построить график зависимости количества информации от

вероятности

символа.

Отчет должен содержать расчетные значения функции Шеннона для всего

диапазона изменения вероятностей.

Контрольные вопросы

.Дайте определение информации. Почему информационная метрика должна

быть аддитивной?